IT@WAR. ІТ-служби на війні. НЕК «Укренерго»

Друзі, напевно ви будете здивовані, але в один із блоків «нато» ми вже вступили. Причому вступили під час війни, коли бойові дії були в самому розпалі й столиця опинилася під загрозою оточення. Тим самим ми підняли безпеку країни на новий рівень. Я говорю про енергетичну безпеку та про енергетичний аналог НАТО – ENTSO-E. Як це все відбувалося, що передувало і якою була роль ІТ у цьому процесі – дізнався у CIO НЕК «Укренерго» Сергія Галагана.

Але спочатку кілька слів про те, чим саме займається НЕК "Укренерго" - NPC Ukrenergo

Для того, щоб у українців було світло, енергосистема країни має завжди перебувати у балансі між обсягом електроенергії, яка виробляється та яка споживається. При цьому важливо дотримуватися визнаного у Європі стандарту частоти в системі в 50 Гц з мізерними відхиленнями,  оскільки суттєве відхилення може призвести до автоматичного відключення або генеруючого обладнання, або споживачів. До того, ж оскільки електроенергія на відміну від газу або нафти – ресурс, який складно зберігати, а її споживання динамічно змінюється протягом доби, необхідно щохвилини слідкувати за балансом та управляти енергосистемою. Цей процес називається диспетчеризація і цю функцію в Україні виконує державна компанія – оператор енергосистеми НЕК «Укренерго». Крім того, «Укренерго» відповідає за транспортування електроенергії високовольтними мережами по всій території країни, дбає про стан цієї інфраструктури, адмініструє роботу ринку електроенергії та багато інших функцій.

Історично з радянських часів українська енергосистема була з’єднана з російською та білоруською енергосистемами. Фізично це був єдиний енергетичний простір і технічний переток електроенергії між країнами допомагав у балансуванні та регулюванні частоти. В 2017 році Укренерго підписало договір з європейською континентальною мережею ENTSO-E про умови нашого приєднання до неї. По суті ENTSO-E – об’єднання з 39 операторів енергосистем європейських країн, які створюють один енергетичний простір. Ця угода передбачала, що ми вийдемо на синхронну роботу з європейською енергосистемою у 2023 році.

Укренерго та інші українські енергетичні компанії за 6 років мали виконати цілу низку технічних заходів щодо підготовки енергосистеми до переходу на роботу з країнами ЄС. На лютий та червень 2022 року був запланований останній важливий тест для нашої енергосистеми. Вона мала продемонструвати в кожному з цих місяців три дні стабільної роботи в ізольованому від енергосистем росії та білорусі режимі. До речі, такий тест Україна складала разом з енергосистемою Молдови. Під час такої самостійної роботи ми також виконали певну технічну програму та направили зібрані дані про роботу енергоблоків нашим європейським партнерам.

Ізольована робота остаточно продемонструвала ENTSO-E, що приєднання України не принесе їм жодних технічних проблем, а навпаки – є важливим і серйозним партнером у великій енергетичній спільноті. До речі, Україна цікава європейському енергетичному союзу ще й тим, що ми маємо досить високу частку низьковуглецевої електроенергії в нашому балансі – близько 70% (атомна та «зелена» енергія). Комерційні обміни між нашими країнами стануть запорукою декарбонізації економіки як України, так і Європи.

ENTSO-E

Так збіглось, що 23 лютого ми розпочали вихід в ізоляцію від російської та білоруської енергосистем. Остаточно ми від’єднали нашу мережу в 1:30 24 лютого і через 4 години росія розпочала повномасштабне вторгнення в Україну. Ми встигли за один день виконати необхідну технічну програму та відправити дані нашим європейським колегам. Згодом вони підтвердили, що українська енергосистема пройшла тест бездоганно. За графіком ми мали повертатися в синхронний режим з РФ 27 лютого, але було прийнято рішення ніколи не відновлювати спільну роботу з енергосистемою ворога й керівництво Укренерго разом з Молдовою подало до ENTSO-E заявку про екстрене приєднання до європейської континентальної мережі. І вона була погоджена.

За два тижні ми разом з європейцями виконали неймовірний обсяг технічних робіт, які були необхідні для підключення, та які ми раніше до війни планували здійснити до 2023 року. Ми працювали в ізольованому режимі 21 день. Українська енергосистема продемонструвала стабільну роботу, а графік частоти весь час був на рівні 50Гц, що також приємно вразило наших європейських колег. За фактом виявилося, що, всупереч хаосу перших днів війни, постійним обстрілам, захопленню електростанцій окупантами, істотному скороченню споживання (на 35%), що ускладнювало роботу наших диспетчерів та електромонтерів, ми чудово тримаємо баланс. Для європейців це стало останнім та ключовим аргументом для приєднання та, у результаті, 16 березня ми фізично об’єдналися з європейською енергосистемою. Тепер Україна є частиною єдиного енергетичного простору, який простягається від Маріуполя до Лісабону.

В рамках цього проєкту з боку ІТ було виконано божевільний обсяг робіт.

Всередині ENTSO-E для обміну інформацією між енергосистемами європейських країн використовується система Electronic Highway. Вона вимагає щонайменше трьох незалежних каналів зв'язку, причому один із них - супутниковий. Ми це зробили за кілька днів. Налаштували та протестували мережу, перевірили відмовостійкість. Далі потрібно було забезпечити телеметрію всієї нашої мережі та обмін даними з Європою з періодичністю раз на кілька секунд. А для телеметрії ми ще до переходу в ізольовану роботу розгорнули спеціальну систему вимірювання параметрів енергосистеми WAMS, показання якої, по суті, і були головним критерієм відповідності нашої енергосистеми до вимог ENTSO-E.

ІТ-проєкти

Безумовно, в енергетиці дуже багато залежить від ІТ. Вся система управляється за допомогою спеціальних інструментів, які базуються на програмному забезпеченні диспетчерського управління. По суті ключове завдання ІТ в «Укренерго» – забезпечити роботу диспетчерської вертикалі. Ми збираємо інформацію з величезної кількості джерел, сортуємо, обробляємо та видаємо диспетчерському центру, на підставі яких вони приймають рішення щодо того, які дії мають бути вчинені в енергосистемі.

Тож до сфери ІТ у нас належить багато спеціальних комплексів та окремих модулів. Наприклад, market management system (MMS) – спеціальний програмний комплекс, який забезпечує роботу ринка електричної енергії за європейською моделлю. Якщо фактичне виробництво електроенергії відрізняється від планового, система на основі заявок від виробників автоматично вибирає найвигідніші і диспетчери дають цим учасникам ринку команду. Потім система контролює виконання команд та у разі порушення – штрафує порушників. Цикл повторюється кожні 15 хвилин. Тобто це дуже високонавантажена система, яка потребує ресурсів MS SQL більше, ніж багато українських банків.

Ще є СКО (Система контролю обмежень) для виробників «зеленої» енергії, яка забезпечує виплату їм компенсації у разі вимушеного простою, якщо з диспетчерського центру вони отримують команду на обмеження своєї генерації. Плюс DataHub (адміністратор комерційного обліку, який ми запустили у січні цього року), модуль диспетчерських команд та інші.

З початком війни через те, що ми втратили один зі своїх ЦОДів, ми перенесли роботу цих інформаційних систем на інший майданчик в безпечному місці, причому, не зупиняючи їхню роботу.

Що було зроблено до війни і виявилося дуже цінним зараз?

Я прийшов у компанію в 2018 році. Ми розробили стратегію розвитку, яка включала безліч аспектів. Зокрема, ми істотно оновили нашу базову інфраструктуру, побудували ЦОДи, розвинули мережу (наші підрозділи знаходяться по всій країні). Окремо дякую нашим партнерам – операторам зв'язку. Без тих масштабних проєктів, які ми з ними реалізували, зараз утримати наш зв'язок було б набагато складніше. Щодня в результаті бойових дій ми втрачаємо лінії зв'язку, а потім їх відновлюємо, причому часто під обстрілами.

На рівні користувачів ми почали мігрувати в Office 365. У нас велика компанія і ми планували завершити цей процес через кілька років. Влітку 2019 року ми підписали договір з Microsoft і домовилися, що активуємо ліцензії в листопаді. Підготували гібридну інфраструктуру, почали навчати людей, а потім у лютому-березні 2020 року пандемія Covid-19 змусила нас перевести на ці програми, які дозволяли віддалено працювати, більше 80% наших співробітників всього за три доби. Через два тижні локдауну компанія безболісно для її діяльності працювала віддалено, зокрема, йдеться про всі сервісні підрозділи та функції забезпечення. З того часу Microsoft Teams – це найулюбленіша програма у нас в компанії, адже робочі місця географічно дуже розосереджені. Завдяки Teams ми дуже скоротили користування звичайною телефонією. Ще один великий плюс – в компанії ще раніше була впроваджена система електронного документообігу та електронний цифровий підпис, що дозволяє продовжувати працювати навіть в умовах війни. Таким чином, до поточної ситуації ми підготувалися ще у 2019-2020 роках.

Кібербезпека

Коли я прийшов у компанію, ІТ-безпекою в Укренерго займався невеликий відділ, в якому працювало не більше 4 людей. Зараз у департаменті кібербезпеки працює 40 людей і, без хибної скромності, можу стверджувати, що наша команда одна з найсильніших у країні. Наприклад, в останніх змаганнях з кібербезпеки ми посіли друге місце після Держспецзв'язку (https://cip.gov.ua/.../pershii-nacionalnii-kiberkhakaton...). Щобільше, на одній із прес-конференцій ДКІБ СБУ було відзначено, що Security operational center «Укренерго» входить до трійки найкращих у країні, разом з аналогічними центрами самого ДКІБ та Держспецзв'язку. Ми тісно співпрацюємо із цими двома організаціями, у нас із ними підписані відповідні меморандуми. Також у нас дуже хороші відносини з TALOS (Cisco Talos Intelligence Group), є партнерство з Європейським Енергетичним Центром у Польщі та з PNNL (Pacific Northwest National Laboratory, https://www.pnnl.gov) – це дуже відома організація Департаменту Енергетики США, яка займається кібербезпекою.

Наша система реагування на інциденти (SIEM) побудована на ArcSight ESM (Enterprise Security Manager) і ми часто виступаємо як reference на їх конференціях. Ми за місяць опрацьовуємо близько одного мільярда подій. Це реально багато, і ми, природно, помічаємо тенденції та можемо робити висновки.

Трохи статистики, яку вже два роки ми ведемо на щоденній основі. У 2021 році інцидентів, які вимагали розслідування, було втричі більше ніж попереднього року. З березня 2020 до лютого цього року, за 25 фіксованими класами атак, у нас було всього п'ять DDOS-атак, а лише за лютий 2022 – 50. Плюс дуже велика кількість атак на периметр та їх кількість за лютий-березень зросла в десятки разів порівняно навіть із 2021. Напередодні військових дій була дуже жорстка атака, вірніше – безліч атак, на 7й рівень, на рівень додатків, але ми змогли з нею впоратися. У нас пара десятків сервісів опубліковані як веб-додатки й доступні через Інтернет, тож протягом січня-лютого хакери постійно намагалися пробити їх, була величезна кількість атак на рівні додатків, але десь на другий-третій день війни вони майже повністю зійшли нанівець. А ось спроби пробити периметр продовжуються і зараз, кількість атак зростає майже щодня. Причому іноді бувають дуже курйозні випадки. Нещодавно нас сканувала одна з російських федеральних служб – не ховаючись зі своїх реальних адрес, зареєстрованих у DNS.

Цікавий факт: ми знаємо, що російська та білоруська енергосистеми повністю відключилися від зовнішнього світу, тобто до них неможливо пробитися ззовні. На відміну від них, нашу інформаційну систему повністю закрити не можна. У нас налагоджено взаємодію з підприємствами генерації, у тому числі з виробниками «зеленої» енергії, ми обслуговуємо ринок, комерційний облік – багато всього. Звичайно, певні кроки в плані безпеки та поділу внутрішньої та зовнішньої мереж ми вже зробили: фізичний поділ мереж реалізовано на апаратному рівні – мережа IT для загальних сервісів та мережа OT для так званих технологічних систем. Впроваджено комплексну систему виявлення та реагування на інциденти інформаційної безпеки.

За фактом, сьогодні департамент кібербезпеки займається лише моніторингом та реагуванням на атаки та призупинив інші проєкти, включаючи найсвіжіший – за поведінковим аналізом, для якого ми минулого року придбали спеціальну систему.

Хмари та катастрофостійкість

У нас у хмарах Office 365 та бекапи. Усі обчислювальні потужності – «на землі». Тут є нюанс із законодавством. Так, Кабмін дозволив переносити в хмари критичну інфраструктуру лише на час воєнних дій плюс два місяці. Загалом, не все так просто, тому ми думаємо, куди рухатися. Саме тому ми свого часу розпочали будівництво ще одного ЦОДу, а сьогодні думаємо, що ж нам треба міняти, аби знизити ризики та підвищити катастрофостійкість у нових умовах. Зокрема, виявилася небезпечною залежністю прив'язка лише до ліній оптичного зв'язку – деякі підстанції сьогодні повністю втратили зв'язок через руйнування ліній передачі даних. Відповідно, ми почали розміщувати на пріоритетних об'єктах станції StarLink. Вже розгорнули половину зі 100 отриманих екземплярів.

Треба сказати, що з одного боку, події останнього місяця показали, що наші ІТ-системи мають високу стійкість і справляються зі своїми завданнями навіть в умовах воєнного часу. З іншого боку – завдяки цьому виявляються та усуваються слабкі місця, переглядаються підходи до організації та стратегії розвитку ІТ. Безперечно, ми вийдемо з цієї ситуації набагато сильнішими, ніж раніше!

Все буде Україна!

#IT_and_WAR_in_Ukraine

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365