IT@WAR. ІТ-служби на війні. ПУМБ

Сьогодні ще одна мотивуюча історія про те, наскільки стійким і незламним виявився український бізнес. Й власне про те, як ця стійкість і незламність гартується його ІТ-службою, яка, в даному випадку, бездоганно відпрацювала майже два тижні без керівника, поки він вибирався з окупованої території. Наш гість - Андрій Бєгунов, директор департаменту IT банку ПУМБ

Банк до війни

ПУМБ до війни входив до п'ятірки найбільших банків України та розвивався дуже динамічно. У нас було багато проектів, пов'язаних насамперед із цифровими каналами: роздрібний мобільний банкінг, digital.pumb.ua для малого бізнесу, кілька нових продуктів для корпоративних клієнтів. Приріст клієнтської бази у роздрібному бізнесі становив десятки тисяч, у корпоративному – тисячі клієнтів на місяць. Восени 2021 року ми запустили новий мобільний додаток для СМБ та розпочали активне кредитування цієї категорії клієнтів. Ми багато інвестували у мобільність співробітників, у business continuity банку. Щокварталу проводили тести відмовостійкості інфраструктури, по черзі відключаючи кожен із ЦОДів. На 2022-2023 були заплановані мільярдні інвестиції в ІТ (у гривні).

На початок 2022 року команда ІТ становила майже 500 осіб, більша частина яких була зайнята у розробці та розвитку продуктів. Серед українських банків це, звичайно, не найбільший штат розробників, але, як на мене, наша команда – одна з найефективніших у співвідношенні кількості співробітників та вартості розробки до обсягу поточних проектів, продуктів, завдань. Причини нашої ефективності у тому, що ми не економимо на зарплатах – їх можна співставити із зарплатами лідерів ІТ-ринку. ПУМБ – продуктова компанія й це мотивує людей, тому що на відміну від аутсорсингових компаній, всі члени нашої команди розуміють кінцеву мету, потреби клієнта, продукт та свій внесок у його розвиток. Загалом, у нас це чудово виходило, ми робили фокус на подальше зростання і в 2022 році планували збільшити штат ще на 200 людей. Наразі ми тимчасово не приймаємо нових співробітників, але й не звільняємо людей.

Військові втрати та труднощі перших днів

Насамперед, треба зазначити, що банк досить ліквідний, нема відтоку депозитів і ми не бачимо жодних передумов до фінансової кризи, незважаючи на початкові очікування, що «зараз все посиплеться». Тобто війна не зруйнувала основи системи. Більше того, на тлі відпливу клієнтів з деяких банків, які прямо чи опосередковано пов'язані з країною-агресором, ми навіть спостерігаємо їхній приплив.

З іншого боку, у нас як у багатьох українських підприємств є втрати. Частина відділень зруйнована, інші перебувають у зоні бойових дій, і ми не скрізь змогли вивезти техніку. Важливо, що ми заздалегідь убезпечили клієнтські та банківські цінності, на нашу інкасацію в перші тижні лягло просто космічне навантаження, з яким вона чудово впоралася. Великим плюсом є те, що задовго до війни ми перевели клієнтські робочі місця зі стаціонарних ПК на мобільні, починаючи від відділення, від точки продажу, і закінчуючи співробітниками головного офісу. А COVID-19 цей тренд лише прискорив та дозволив перевірити та налагодити на практиці. Ми вкладали по 10-30 млн грн щороку у розвиток інфраструктури робочих місць та їхню безпеку і сьогодні це нам дуже допомагає зменшити втрати.

До речі, ІТ-департамент вже до війни, по суті, був як інтернаціональна компанія – співробітники працювали у всьому світі, не лише на території України. Деякі жили у США, ЄС, у Шрі-Ланці, хтось навіть у мінівені, подорожуючи Європою. Відповідно, для нас зміна локації під час війни стала просто робочим моментом. Показово, незважаючи на мою недоступність протягом 13 днів, коли я застряг на окупованій території, ІТ команда не розгубилася, всі спрацювали бездоганно.

Аналіз втрат ще триває, але загалом можна сказати, що вони невеликі. Звичайно, нам став у нагоді досвід 2014 року, коли банк уже переживав подібне. З того часу у нас з'явилися люди з досвідом екстреного демонтажу та перевезення обладнання, у тому числі ЦОДів. Так, і менеджмент практично у повному складі теж пам'ятає ті часи, виробив необхідні навички, набув антикризового досвіду та успішно керує цими ризиками.

Курйози

Коли США прийняли перший великий пакет санкцій, такі технологічні гіганти як Google і Apple почали обмежувати свої сервіси для компаній, чий бізнес пов'язаний з РФ. Але для нас повною несподіванкою стало те, що це торкнулось і нас (!).
 
Наприкінці березня до нас звернувся клієнт зі словами: «Я не можу на Apple Store скачати вашу програму, її там просто немає!». У нас шок: що відбувається, кому писати! Де Apple, а де ми! Відкрили тикети, почали розбиратися, а вендор не поспішає відповідати, вони тримають паузу і не приймають заявку в роботу, а ми не розуміємо, як діяти. Так ми прожили дві доби, доки нас не повернули назад. Чому це сталось? У нас, як і раніше, немає точної відповіді, але, швидше за все, вони знайшли якісь зовсім старі записи (зв'язки юридичних осіб, client records), що колись ПУМБ був зареєстрований у Донецьку, і у них спрацювали тригери, які нас і винесли із Apple Store.

І тільки ми видихнули, тільки нас повернули в магазин Apple, перепросили, сказали, що розібралися і все нормально, проходить два дні і Google виключає нас із Play Market (!). Історія повторюється, і два дні ми розбиралися вже з ними. Але в результаті все вирішилося благополучно.

ЦОДи

У великій інфраструктурі втрат взагалі нема, ЦОДи не постраждали, працюють стабільно, перебоїв не було, за що окреме дякую партнерам. Щоправда, наші датацентри хоч і перебувають у різних локаціях, але географічно це одна місцевість, тому ризик є. Ми ще до війни розпочали роботи в цьому напрямку, але нікому не спадало на думку, що таке може статися, тому фокусуватися на цьому завданні не стали. Зараз, звісно, думаємо, що можна зробити, але все непросто. Банки дивляться на західний регіон, але є безліч проблем. На відміну від невеликих банків з маленькими ЦОДами, великим потрібно багато місця та ресурсів – починаючи від приміщень та закінчуючи введенням електрики, системами охолодження, безперебійного живлення, дизель-генераторів, безпекою самої локації.

Для невеликих та середніх банків можуть підійти контейнерні рішення, особливо якщо обладнання поміститься в один контейнер. Ми цей варіант теж розглядали ще до війни, але не як основний. Моя суб'єктивна думка – банк має бути прив'язаний до надійного та безпечного місця, а те, що можна краном підняти та відвезти кудись, відключивши охорону – це не для банків.

З резервним ЦОДом ми вже просунулися досить далеко, плюс частину систем ми не виносимо «на землю», а відразу рухаємо в хмару. І у цьому проекті нам важливо не просто перенести сервери, а запустити на новому місці бізнес-системи, забезпечити онлайн-реплікацію даних з іншого ЦОДу та загалом повноцінну роботу банку з будь-яким навантаженням, яке створюють клієнти. Ось завдання такого масштабу ми зараз вирішуємо у дуже стислий термін, буквально за тижні.

Хмари

Ми маємо гібридну модель: використовуємо і наземну інфраструктуру, і хмарну. У хмарі розгорнуто кілька компонентів того ж таки мобільного банкінгу, але все одно, бекенд, core banking – залишаються «на землі». Тому зараз, один із головних фокусів нашої команди – разом із провайдерами ЦОД-послуг поза Києвом нарощувати потужність резервних майданчиків, щоб забезпечити їхню роботу з будь-якими обсягами даних та з піковими навантаженнями «зарплатного дня». У тому числі для хмарних рішень.

Ми завжди займали активну позицію щодо застосування хмар для ІТ-інфраструктури і докладали великих зусиль до того, щоб регулятор дозволив використання хмар для банківської системи в широкому сенсі. Війна показала, наскільки це важливо. Особливо з урахуванням того, що в більшості банків ЦОДи географічно прив'язані до центру України, і з початком обстрілів столиці у всіх гостро постало питання – куди можна перенести інфраструктуру та сервіси. Тому цілком логічно, що регулятор за два тижні затвердив нові правила використання хмарних технологій (Постанова №42 «Про використання банками хмарних технологій» від 8 березня 2022 р.) і банки у пожежному режимі почали застосовувати їх на практиці як мінімум для другорядних завдань. У якомусь сенсі ця постанова і нам розв'язала руки: зараз ми передбачаємо, що в нашій гібридній моделі у нас буде, наприклад, п'ять ЦОДів плюс оренда потужностей у двох великих хмарних провайдерів.

У постанові регулятора закладено термін дії нових заходів щодо використання хмар на період воєнного стану плюс два роки після його скасування. Проте, перехід у хмари – це процес непростий і громіздкий, плюс після закінчення зазначених термінів відкат назад буде недоцільним, знову будуть потрібні додаткові інвестиції та час. Особливо для великих банків, з урахуванням величезної кількості складнощів, взаємозв'язків між системами, налаштувань елементів безпеки, каналів, тисяч та тисяч розподілених компонентів. Тож у мене немає відповіді на запитання, як і навіщо треба потім повертати все у вихідний стан. Але, швидше за все, після війни ставлення регулятора до теми хмар буде переглянуто. І я дуже розраховую на це.

Свого часу ми пропонували Нацбанку розглянути можливість такої моделі, коли банки самі ухвалюють рішення, які елементи інфраструктури вони виносять у хмару. Якщо є побоювання за збереження базових клієнтських даних - нехай система core banking буде "на землі". Але де знаходяться вторинні, «сателітні» системи – це справа банку, це його рішення про прийняття ризиків, адже, зрештою, ми відповідаємо за якість клієнтського сервісу, цілісність і безпеку, безпеку його даних. Я думаю, ми до цієї розмови ще обов'язково повернемось.

ІТ-безпека

Служба ІТ-безпеки за останні півтора-два роки розвивалася дуже швидко. Цьому сприяв і динамічний розвиток ІТ-інфраструктури, і зростання проектів розробки ПЗ. За цей час ми реалізували декілька великих проектів мережевої безпеки (на базі SDN), які дозволили не тільки збільшити пропускну здатність, але й забезпечити автоматизацію управління мережами, включаючи елементи безпеки. Було проведено великі закупівлі, пов'язані з оновленням брандмауерів, антивірусним захистом. Багато уваги приділяли безпечній розробці ПЗ, набували багато рішень для того, щоб убезпечити код та клієнтські продукти. У результаті команда управління безпеки перетворилася на окремий департамент, плюс виникло ще декілька спеціальних підрозділів, наприклад, з анти-фроду.

Зараз практично щодня ми збираємо антикризовий комітет, де обговорюються поточні проекти та ситуація з безпекою. Перша купна DDOS атака на нас і ще на низку великих банків була приблизно рік тому – у лютому 2021 року. Але ні тоді, ні зараз під час війни наш захист не був зламаний.

Закупівлі ІТ

Загалом ми не відчули серйозних проблем з логістикою чи доступністю товарів. Хоча є й неприємні винятки. Наприклад, на початку війни один із вендорів наклав заборону на ввезення обладнання в Україну. Але завдяки нашій активній позиції, інтенсивним переговорам проблема вирішилася, і ми відстали від запланованого графіку всього на пару тижнів, нещодавно в країну заїхала перша партія, а до кінця квітня очікуємо ще десяток серверів даного виробника.

Війна змінила наші закупівельні процедури. Як правило, закупівельний тендер триває не менше місяця, але зараз ми купуємо техніку швидше, ніж було до війни. Наприклад, у нас специфічна платформа процесингу, що працює тільки на IBM DB2, і коли виникла потреба у новому сервері IBM Power, ми його знайшли і сплатили буквально за два дні, а сьогодні він уже включений та працює у новому ЦОДі. Як виявилося, це взагалі була рекордна для нас за термінами закупівля обладнання.

Взагалі, сьогодні багато вендорів та партнерів, треба віддати їм належне, йдуть назустріч, готові обговорювати надання пільгового періоду використання ліцензій, і для нас це дуже важливо.

Поточні проекти

Зараз у банку два основні фокуси стратегії. Перший – максимальна доступність усіх наших сервісів. Другий – продовження розробок. Ми давно перейшли до Agile-планування, де більше оперуємо поняттями беклог (черга завдань та нових продуктів), команда, фокуси бізнесу, але суть та сама – ітераційне та адаптивне планування під ситуацію. І практика Agile – один із факторів, завдяки яким ми навчилися методологічно набагато швидше реагувати на зміни ринку, законодавства.

Поточний проектний портфель досить великий, і у ньому є багато compliance-задач (під обов'язкові регуляторні вимоги). Один з найбільших проектів – ISO 20022 (Проект впровадження міжнародного стандарту обміну платіжними повідомленнями – https://bank.gov.ua/ua/payments/project-iso20022), який спрямований на глобальну перебудову платіжної системи на стандарти ЄС. Незважаючи на війну, у зв'язку з прискореною інтеграцією з ЄС НБУ вирішив не зрушувати терміни впровадження цього проекту і його запуск, як і раніше, планується на серпень. Тому і у наших ІТ-розробників, і у нашого постачальника АБС та допоміжних систем – у всіх за цим проектом багато завдань.

Дуже активно продовжує розвиватися мобільний банкінг – команда розробників випускає за одним-двома великими релізами на місяць, з'являється новий функціонал, у тому числі під «військові» процеси – для підтримки волонтерів, ЗСУ та додаткові функції навколо цього. Для корпоративних клієнтів продовжуємо розвивати digital.pumb.ua – як канал для ФОП та СМБ, і для них також окремий мобільний додаток, там своя команда.

Є кілька великих завдань, пов'язаних із підтримкою кредитних позичальників із роздрібного бізнесу (кредитні канікули, відстрочки для тих, хто через війну втратив джерела доходів і не може виконувати свої зобов'язання). В ІТ у нас у цьому напрямі багато доопрацювань.

Стратегія ІТ

ІТ – це завжди відображення бізнесу. Стратегія банку, по суті, зводилася до вибору між Change the Bank та Run the Bank. Відповідно, стратегія ІТ раніше – пошук балансу в системі ваг, де на одній чаші знаходиться Розвиток, а на іншій – Стабільність.

До війни у пріоритеті була швидкість змін, розробки, впровадження нових фіч для клієнтів, щоб, у результаті, швидше видавати клієнтам нові зручні послуги та продукти.  Звідси особливості архітектури – малопов'язана, розбита на дрібні елементи.

Наразі, з очевидних причин, відбулася зміна пріоритетів. Тепер ми діємо у парадигмі Run the Bank. Ми не готові жертвувати стабільністю, ми фокусуємося на тому, щоб все працювало і клієнти не відчували змін, і це основне зрушення, яке відбулося у нашій ІТ-стратегії з початком війни. Відповідно, ми запровадили жорсткіші процедури моніторингу змін, виділяємо більше циклів на перевірку нового функціоналу. Ну і робимо все можливе, щоб забезпечити повну працездатність банку в будь-яких умовах, з будь-якого ЦОДу та хмар.

Ще один момент, якого раніше не було у топі пріоритетів ІТ-стратегії – збереження команди. Ми вирішили нікого не скорочувати, бо віримо, що все буде Україна!

Обов'язково переможемо!

#IT_and_WAR_in_Ukraine

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365