Минулого разу ми почали розглядати питання щодо Data Governance. Часто люди не відчувають різниці між Data Governance та Data Management, бо ж те й інше можна перекласти як «управління даними». Тож чим Data Governance (врядування даних) відрізняється від управління даними? Розгляньмо ще кілька важливих питань.

Питання №3 – Як Data Governance пов'язане з цифровою трансформацією?

Уявіть собі вашу компанію як стару бібліотеку в якій паперові книги (дані) лежать на різних полицях, які розміщені на різних поверхах чи навіть будівлях. При цьому в ній є тільки приблизні схеми розміщення книг і відсутній хоча б якийсь каталог. В такій ситуації швидкий пошук потрібної інформації стає ще тим викликом. Цифрова трансформація має на меті модернізувати цю бібліотеку, зробити її більш динамічною, інтерактивною та технологічною.

У цій аналогії управління даними виступає в ролі бібліотекаря. Коли ви оцифровуєте свою бібліотеку, управління даними гарантує, що цифровий каталог буде точним, добре організованим і відповідатиме правилам (політиці) доступу до нього. І при пошуку книги про принца Гаррі вам не будуть приносити книги про Гаррі Поттера. Йдеться про те, щоб трансформація не створювала хаосу, а навпаки, підвищувала корисність ваших даних.

І якщо приклад про трансформацію бібліотеки здається абстрактним, то розгляньмо інший сценарій, який досить часто виникає під час цифрової трансформації – перехід на нову CRM-систему, скоріше за все хмарну. Приклад для мене досить актуальний, бо наша компанія саме зараз вводить в експлуатацію нову систему.

В нову CRM-систему співробітники мають вносити інформацію про клієнтів. Якщо не надати їм чітких інструкцій по вводу даних і не контролювати регулярно їх якість, то через деякий час в ній будуть різні формати номерів телефонів, адрес або навіть імен клієнтів. Така неузгодженість може призвести до безладу в базі даних, що ускладнить пошук точної інформації або ефективний аналіз клієнтських тенденцій.

Завдяки впровадженню системи управління даними перехід стає більш організованим. Вона встановлює правила і стандарти для введення даних, гарантуючи, що всі дотримуються єдиного формату. Наприклад, це може передбачати певний формат для телефонних номерів, стандартизований формат адреси та вказівки щодо введення імен клієнтів, щоб уникнути дублювання або помилок у написанні.

Управління даними не обмежується лише правилами введення. Воно також забезпечує постійну якість даних. Наприклад, можуть бути встановлені правила для регулярної перевірки даних, виявлення застарілої інформації та забезпечення оперативного оновлення даних про клієнтів. Це гарантує, що CRM-система містить достовірну та актуальну інформацію, що сприяє точному розумінню клієнтів.

Але управління даними виходить за рамки того, як дані вводяться. Воно також зосереджується на тому, хто може мати доступ до них і змінювати їх. У сценарії CRM можна визначити ролі та дозволи, гарантуючи, що лише уповноважений персонал матиме доступ до конфіденційних даних клієнтів. А самі дані будуть правильно класифіковані щодо рівня їх конфіденційності. Це захищає клієнтів і допомагає компанії дотримуватися вимог законодавства про захист даних.

Завдяки послідовним, точним і захищеним даним в CRM-системі особи, які приймають рішення, такі як менеджери з продажу та маркетингу, можуть довіряти інформації, яку вони використовують для стратегічного планування. Наприклад, маркетингові команди можуть аналізувати вподобання клієнтів на основі точних даних, що призводить до більш ефективних і цілеспрямованих кампаній. Відділи продажів можуть покладатися на точну інформацію про клієнтів, щоб адаптувати свою взаємодію, задовольняти конкретні потреби та надавати більш персоналізований досвід. Це безпосередньо сприяє підвищенню задоволеності та лояльності клієнтів.

У цьому сценарії управління даними перетворює хмарну CRM-систему з потенційного джерела плутанини й помилок на стратегічний актив. Воно забезпечує узгодженість, точність і безпеку даних, роблячи CRM-систему надійним інструментом, який розширює можливості організації на шляху до цифрової трансформації, зокрема, покращуючи відносини з клієнтами та сприяючи успіху в бізнесі.

Отже, управління даними є основою цифрової трансформації. Воно гарантує, що в міру того, як ви оновлюєте і модернізуєте свій бізнес, ваші дані не просто передаються, а перетворюються на цінний актив, сприяючи успіху ваших цифрових ініціатив. Саме бібліотекар підтримує електронну бібліотеку в порядку, гарантуючи, що ви зможете знайти потрібну інформацію, коли вона вам знадобиться, на шляху до більш технічно підкованої та ефективної організації.

Питання №4 – Чим Data Governance відрізняється від управління даними?

Часто люди не відчувають різниці між Data Governance та Data Management. І те і те можна перекласти як «управління даними». Чим Data Governance (врядування даних) відрізняється від управління даними?

Уявіть собі, що дані – це двигун, який приводить у рух ваш бізнес-автомобіль. Управління даними – це як обслуговування і заправка двигуна, щоб він працював безперебійно. З іншого боку, урядування даних – це дорожня карта і правила дорожнього руху, які гарантують, що ваша подорож буде ефективною, безпечною і доставить вас у потрібний пункт призначення.

Управління даними – це щоденна турбота про ваші дані: як вони зберігаються, доступ до них і як вони підтримуються в належному стані. Воно включає такі завдання, як зберігання даних, резервне копіювання та забезпечення доступності даних у разі потреби.

Повертаючись до аналогії з двигуном – управління даними гарантує, що двигун добре змащений, фільтри замінені, і він готовий до роботи. Йдеться про рутинні завдання, які забезпечують безперебійну роботу двигуна даних.

Врядування даних (Data Governance) – цеце встановлення правил і настанов щодо використання даних. Воно визначає, хто має до них доступ, як вони мають використовуватися, і гарантує, що всі йдуть одним і тим самим шляхом. Це стратегічний підхід до даних.

Воно визначає маршрути, обмеження швидкості та правила дорожнього руху. Воно гарантує, що всі йдуть одним шляхом, запобігаючи хаосу даних і гарантуючи, що дані використовуються відповідально та ефективно.

Управлінням даними часто займаються ІТ-команди, забезпечуючи технічну достовірність даних. Врядування даних (Data Governance) передбачає лідерство та прийняття рішень, зазвичай під наглядом керівництва.

Тож підсумовуючи, управління даними дбає про двигун, тоді як врядування даних забезпечує дорожню карту. Обидва ці компоненти мають вирішальне значення для успішної подорожі з даними: управління забезпечує технічний стан, а врядування – стратегічний напрямок і відповідальне використання даних. Це схоже на догляд за двигуном автомобіля, але при цьому необхідно дотримуватися правил дорожнього руху для безперешкодної та успішної подорожі.

У мінливому бізнес-ландшафті, де царюють дані, опановування управління ними – це не просто завдання для ІТ-відділу, це стратегічний імператив, який починається з самого верху.

Пориньте вглиб, щоб дізнатися, чому дані є вашим найціннішим активом, як вони трансформуються з розвитком цифрових технологій і чому за них відповідає генеральний директор. Дізнайтеся про нюанси, які роблять управління даними не просто концепцією, а каталізатором успіху вашої організації.

Почнемо з головного питання – що таке Data Governance?

Питання №1 – Що таке Data Governance?

Визначення: Data Governance – Врядування даних – це системний підхід до управління, організації та контролю активів даних організації для забезпечення високої якості даних, їхньої цілісності та дотримання нормативних вимог.

Спробуємо пояснити кожен термін визначення.

Системний підхід. Подумайте про це як про структурований та організований спосіб роботи з даними вашої компанії. Йдеться про наявність плану, процесів і ролей для ефективного управління даними.

Управління, організація та контроль. Це передбачає нагляд за тим, як використовуються дані, забезпечення їх належної організації для легкого доступу до них, а також наявність механізмів контролю для підтримки точності та безпеки даних.

Активи даних. Ваші дані є цінним активом, як і будь-який інший ресурс у вашій компанії. Управління даними полягає в тому, щоб поводитися з ними так само дбайливо та уважно, як і з фінансовими активами чи інтелектуальною власністю.

Висока якість даних. Це означає, що ваші дані мають бути точними, надійними та актуальними. Уявіть, що у вас є неправильна адреса клієнта. Це може призвести до проблем з доставкою та незадоволення клієнта.

Цілісність даних. Забезпечення узгодженості та надійності даних. Це означає, що ваші дані не будуть пошкоджені або скомпрометовані, подібно до того, як ваші фінансові документи повинні бути точними й непідробленими.

Відповідність нормативним вимогам. Означає дотримання правил і норм, що стосуються даних у вашій галузі. Подібно до того, як ви дотримуєтеся правових стандартів у своїх бізнес-операціях, управління даними забезпечує дотримання законів, пов'язаних з даними.

По суті, управління даними – це ставлення до ваших даних як до цінного активу, ефективне управління ними та забезпечення їхньої відповідності високим стандартам, а також дотримання правил і норм, встановлених вашою галуззю та урядом. Це не лише мінімізує ризики, але й максимізує цінність даних для вашого бізнесу.

Розглянемо це питання з іншої точки зору та додамо аналогій і прикладів.

Управління даними – це своєрідний кодекс правил і арбітр для роботи з інформацією в компанії. Він містить процеси, правила і людей, відповідальних за те, щоб дані були точними, безпечними та використовувалися в найкращий спосіб.

Якщо уявити ваш бізнес як спортивну гру, то процеси – це план гри. Подібно до того, як спортивна команда має план гри та стратегію, Data Governance встановлює покрокові методи управління даними. Наприклад, воно може описувати, як збираються дані, хто має до них доступ і як вони оновлюються.

В будь-якій спортивній грі є правила – це як перелік «що можна» і «чого не можна». Управління даними встановлює правила, щоб забезпечити належну поведінку з даними. Це можуть бути правила про те, хто може редагувати певні дані, як часто вони переглядаються і що станеться, якщо хтось порушить правила.

Гри без людей не існує – уявіть собі ваших співробітників як гравців на полі. Управління даними розподіляє ролі між окремими особами або командами, щоб переконатися, що кожен знає свою. Наприклад, стюард даних може бути капітаном команди, відповідальним за певний набір даних.

Декілька простих прикладів дозволять покращити розуміння Data Governance.

Приклад #1 – Магазин.

Уявіть, що ви керуєте магазином. Управління даними – це як наявність чітких інструкцій про те, як ви організовуєте та відстежуєте свої запаси. Воно гарантує, що всі розуміють процес (коли поповнювати запаси, хто їх оновлює), дотримуються правил (жодних несанкціонованих змін і людей на складах) і мають розподілені обов'язки (хтось відповідає за кожну категорію товарів). Таким чином, ваш магазин працює безперебійно, а ваші клієнти отримують потрібні товари тоді, коли вони їм необхідні.

Приклад #2 – Банк.

Заглибмось в більш детальну аналогію на прикладі банку, щоб проілюструвати концепцію управління даними.

Процеси (план гри). У банку процеси обробки даних – це як кроки або задачі при обробці клієнтських транзакцій. Уявіть собі чітко визначений процес відкриття нових рахунків – він включає перевірку особи клієнта, збір необхідних документів та оновлення інформації в системі. Цей процес гарантує, що інформація про клієнта є точною і надійно зберігається. Вам би не хотілось, щоб ваш рахунок переплутали з іншим клієнтом і списали якусь суму без вашого відома.

Оскільки і в банку є різні процеси для обслуговування клієнтів під час видачі кредитів, приймання депозитів, обслуговування комірки в сховищі, придбання валюти чи цінних паперів, так і у вашій компанії повинні бути описані процеси проєктування та моделювання, щоденних операцій з даними, інтеграції даних з різних джерел, переміщенню даних в сховище та їх аналіз, каталогізації даних, підтримки їх якості й т.п.

Правила (що можна і що не можна). Подумайте про правила обробки даних як про керівні принципи поводження з конфіденційною інформацією. У банківському світі існують суворі правила щодо того, хто може мати доступ до фінансових даних клієнтів. Наприклад, лише уповноважений персонал повинен мати доступ до деталей рахунку, щоб зберегти конфіденційність і запобігти зловживанням. Аналогічно й у вас повинні бути правила поводження за даними. Щоб усі розуміли що можна робити з даними, а за що можна отримати «червону картку».

Люди (гравці на полі). Розглядайте людей у банку як гравців у грі з управління даними. У цій аналогії стюарди даних схожі на капітанів команд, які наглядають за певними аспектами даних. Наприклад, стюард даних для клієнтських рахунків гарантує, що інформація є точною, актуальною та відповідає регуляторним стандартам. А тренер команд – власник даних – відповідає за те які саме дані про клієнта і рахунки треба збирати та аналізувати, щоб розвивати бізнес і покращувати рівень обслуговування клієнтів. Так і в вашому бізнесі повинні бути визначені конкретні люди які будуть відповідати за стан та роботу з різними блоками даних, починаючи з точного визначення термінів і до регулярної перевірки якості даних.

Тобто у діловому світі Data Governance забезпечує ефективне управління інформацією, запобігаючи помилкам і дозволяючи впевнено приймати рішення.

Наступне питання про своєчасність впровадження Data Governance.

Питання №2 – Яким компаніям потрібно впроваджувати Data Governance і коли саме? Як компанія може зрозуміти, що настав час розробити стратегію управління даними та впровадити Data Governance?

Уявіть собі управління даними як кермо автомобіля. Коли ви їдете чистою дорогою з мінімальним трафіком, ви можете особливо не думати про кермування. Але коли дорога стає жвавою, і вам потрібна точність, щоб пройти повороти та уникнути перешкод, саме тоді стає очевидною важливість системи рульового управління, що добре функціонує. Аналогічно якщо ваша організація стикається з такими викликами, як суперечлива інформація, проблеми з безпекою або труднощі у прийнятті рішень на основі даних, це ознака того, що управління даними може стати вирішальним фактором у їх розв’язанні.

По суті, мова йде не про розмір компанії, а про складність вашого ландшафту даних і необхідність точності в управлінні ними. Управління даними гарантує, що ви будете плавно переміщатися по ландшафту даних, особливо коли дорога стає трохи вибоїстою.

Коли починати?

Звичайно, система DataGovernance може мати різні ступені складності, які повинні відповідати потребам і рівню зрілості бізнесу. Але симптоми, які перераховані нижче, сигналізують вам, що час для розробки та впровадження стратегії даних настав.

Хвороби зростання. Коли ваша компанія починає зростати, дані мають тенденцію розростатися, як гілки на дереві, а кількість звітів і аналітики зростають в геометричній прогресії. Якщо ви відчуваєте труднощі в управлінні цим вибуховим ландшафтом даних, це привід задуматися про управління даними.

Розбіжності в даних. Якщо різні відділи мають суперечливі дані, наприклад, цифри продажів не збігаються з фінансовими записами, це тривожний сигнал. Тобто, коли замість прийняття рішень на нарадах, ви все частіше виясняєте чиїм даним довіряти й хто звідки їх взяв, то це сигнал задуматися про впровадження системи управління даними. Бо управління даними може гарантувати, що всі використовують дані із «єдиного джерела правди» і однаково розуміють всі показники.

Регуляторні проблеми. Коли ваша галузь стикається з новими регуляторними нормами, або стандартами відповідності, настає час посилити роботу з даними. Управління даними допоможе вам відповідати вимогам і уникнути головного болю з боку регуляторних органів.

Втрачені можливості. Якщо ви відчуваєте, що не повністю використовуєте свої дані для прийняття стратегічних рішень, це явна ознака. Деякі дослідження говорять, що компанії використовують менш як 10% накопичених даних для аналізу і прийняття рішень. Подумайте скільки даних накопичено вашою компанією і скільки з них беруть участь в розрахунках аналітичних показників. Управління даними гарантує, що ваші дані стануть потужним активом, а не втраченою можливістю.

У попередньому пості були сформульовані деяки передумови та бар'єри, які стоять на шляху успішного впровадження АІ в промисловому варіанті на рівні підприємства.

Багато з цих бар’єрів лежать в юридичній чи організаційній площині, але мені хотілося б зупинитися більше на тих, що пов’язані з низькою зрілістю використання даних та надати докладні пояснення до кожного з них.

Відсутність процесів контролю якості даних

Без надійних процесів контролю якості даних організації можуть мати суперечливі, неточні або неповні дані. Це може призвести до поганого навчання моделі та ненадійних результатів, отриманих за допомогою ШІ.

Покрокове пом'якшення наслідків:
Встановіть стандарти якості даних: Визначте чіткі стандарти якості даних, опишіть метрики для оцінки якості даних включаючи точність, повноту, узгодженість і своєчасність. Додайте ці метрики в вашу BI-систему та регулярно аналізуйте їх.
Очищення даних: Впровадьте процеси очищення даних для виявлення та виправлення помилок і невідповідностей у даних.
Управління даними: Розробіть стратегію управління даними й впровадьте її в практику, щоб забезпечити підтримку якості даних протягом тривалого часу.
Інструменти якості даних: Інвестуйте в інструменти та технології якості даних для автоматизації очищення та перевірки даних.
Документування даних: Впровадьте каталог повних метаданих і словників даних для відстеження походження та якості даних.

Низька інформаційна грамотність

В організаціях з низьким рівнем грамотності щодо даних співробітники можуть мати труднощі з розумінням концепцій даних, що може перешкоджати їхній здатності ефективно використовувати та інтерпретувати інсайти, отримані за допомогою штучного інтелекту.

Покрокове пом'якшення наслідків:
Навчання грамотності даних: Проводьте навчальні програми з грамотності даних для працівників різних посад і відділів.
Чемпіони даних: Визначте та підготуйте чемпіонів або прихильників даних в організації для просування грамотності даних.
Ресурси для навчання роботи з даними: Пропонуйте своїм співробітникам доступні ресурси, такі як словники даних, глосарії та посібники, що пояснюють термінологію, пов'язану з даними.
Зручні інструменти: Впроваджуйте зручні інструменти аналізу та візуалізації даних, які не потребують глибоких технічних знань. Розвивайте та впроваджуйте концепцію «аналітика самообслуговування» (self-service BI).
Заохочуйте дослідження даних: Заохочуйте працівників досліджувати дані та інструменти аналізу, ставити запитання та шукати інсайти.

Неналежне управління даними

Слабкі або відсутні практики управління даними можуть призвести до неструктурованих середовищ даних, непослідовних визначень даних і відсутності відповідальності за якість і безпеку даних.

Покрокове пом'якшення наслідків:
Створіть систему управління даними: Розробіть комплексну систему управління даними з визначеними ролями, обов'язками та процесами.
Керування даними: Призначте власників та розпорядників даних, відповідальних за якість, безпеку та відповідність даних у конкретних доменах даних.
Політика та стандарти щодо даних: Створюйте та впроваджуйте політики, стандарти та настанови щодо даних, щоб забезпечити їхню узгодженість.
Каталог даних: Впровадьте каталог даних для документування та управління активами даних, включно з метаданими та інформацією про родовід.
Заходи безпеки даних: Впроваджуйте заходи безпеки даних для захисту конфіденційної інформації та дотримання нормативних вимог.

Відсутність інтеграції даних

Розрізнені джерела даних і відсутність інтеграції між системами можуть ускладнити доступ до релевантних даних для навчання та аналізу моделей ШІ.

Покрокове пом'якшення наслідків:
Стратегія інтеграції даних: Розробіть стратегію інтеграції даних, яка визначає, як збиратимуться, трансформуватимуться та ставатимуть доступними дані з різних джерел.
Інструменти інтеграції даних: Інвестуйте в інструменти та платформи для інтеграції даних, щоб спростити отримання та перетворення даних.
Управління основними даними (MDM): Впроваджуйте практики MDM, щоб забезпечити узгодженість визначень даних та їх інтеграцію в організації.
Сховища та озера даних: Розгляньте рішення для зберігання даних, щоб консолідувати й централізувати дані для аналізу.

Обмежена документація даних

Недостатня документація джерел даних, визначень і походження може призвести до плутанини й помилок при розробці та використанні моделей ШІ.

Покрокове пом'якшення наслідків:
Управління метаданими: Запровадьте практики управління метаданими для документування атрибутів, джерел і перетворень даних.
Відстеження ланцюжка даних: Впроваджуйте інструменти відстеження даних, щоб відстежувати походження і потік даних в організації.
Каталогізація даних: Використовуйте каталог даних для створення централізованого сховища активів даних та їхніх описів.
Словник даних: Ведіть словник даних, який надає чіткі визначення та бізнес-контекст для елементів даних.
Володіння даними: Розподіліть обов'язки щодо володіння даними між окремими особами або командами, щоб забезпечити підзвітність за документацію даних.

Усунення описаних вище бар'єрів вимагає узгоджених зусиль, спрямованих на підвищення якості даних, грамотності, управління, інтеграції та документування. Таким чином, організації можуть підвищити зрілість використання даних, що полегшить успішне впровадження генеративного штучного інтелекту та інших ініціатив, заснованих на даних.

Це здається нудною паперовою роботою яку не порівняти з прекрасними результатами АІ, але без неї політ нашого “фантастичного космічного корабля” залишиться тільки в експериментах на симуляторі.

Останнім часом ми стали свідками сплеску ажіотажу навколо генеративного АІ. Особливо з появою ChatGPT та подібних інновацій. Розмови про трансформаційний потенціал штучного інтелекту не вщухають. І це схоже на космічний корабель, який обіцяє доставити нас до зірок. Однак є заковика – у своєму прагненні дослідити космос ми можемо забути про підготовчу роботу, необхідну для того, щоб зробити цю подорож реальністю.

Багато з дискусій навколо АІ виглядають так, ніби ми милуємося фантастичним космічним кораблем, експериментуємо з ним на симуляторах, але ми зовсім не готові запустити його до зірок.

Щоб впроваджувати генеративні моделі АІ, ба навіть самі прості моделі, на рівні підприємства, необхідно підготуватися. Нам потрібно впорядкувати управління даними, зрозуміти наші інформаційні активи, забезпечити якість даних тощо.

Які ж передумови та бар'єри стоять на шляху успішного впровадження АІ в промисловому варіанті на рівні підприємства?

Брак даних: Недостатня кількість або низька якість даних є значною перешкодою. Генеративні моделі АІ потребують великих високоякісних наборів даних для навчання. Якщо організація не має доступу до таких даних, це може перешкоджати прогресу.

Занепокоєння щодо конфіденційності даних: Регламенти щодо захисту даних, такі як GDPR і CCPA, накладають суворі вимоги до використання даних. Забезпечення відповідності при використанні даних клієнтів для навчання моделей АІ може бути складним завданням.

Безпека даних: Зберігання та обробка великих масивів даних для АІ-моделей може становити ризики для безпеки, якщо ними не керувати належним чином.

Обмеженість ресурсів: Впровадження генеративного АІ часто вимагає значних обчислювальних ресурсів. Організації можуть стикатися з бюджетними обмеженнями або не мати необхідного обладнання та інфраструктури.

Дефіцит експертизи: Нестача талантів і досвіду в галузі АІ може стати значною перешкодою. Розробка та підтримка моделей штучного інтелекту вимагає спеціальних знань, які можуть бути недоступними в організації.

Етичні проблеми: Створення контенту за допомогою моделей АІ викликає етичні проблеми, особливо щодо упередженості та справедливості. Забезпечення відповідності контенту, створеного штучним інтелектом, етичним нормам може бути складним завданням.

Проблеми інтеграції: Впровадження генеративних інструментів АІ та їх інтеграція з наявними системами і робочими процесами може бути складною. Проблеми сумісності та опір змінам в організації можуть сповільнити впровадження.

Проблеми масштабованості: У міру зростання організації попит на генеративний АІ може збільшуватись. Проблеми з масштабуванням можуть виникнути, якщо інфраструктура та ресурси не розраховані на таке зростання.

Опір змінам: Співробітники можуть чинити опір впровадженню процесів, керованих АІ, через страх втратити роботу, побоювання щодо упередженості АІ або нерозуміння того, як АІ може допомогти їм у виконанні їхніх обов'язків.

Відповідність законодавчим і нормативним вимогам: Орієнтуватися в нормативно-правовій базі, пов'язаній зі штучним інтелектом, може бути непросто. Організації повинні переконатися, що впровадження АІ відповідає законам і галузевим стандартам, які постійно змінюються.

Продуктивність і якість: Контент, створений штучним інтелектом, не завжди відповідає бажаним стандартам якості. Неякісно створений контент може зашкодити репутації організації та довірі клієнтів.

Зрозумілість і довіра: Розуміння і довіра до результатів роботи штучного інтелекту може бути складним завданням, особливо для критично важливих процесів прийняття рішень. Важливо пояснювати рішення, прийняті за допомогою штучного інтелекту, у прозорий спосіб.

Вибір постачальника: правильний постачальник АІ або технологічний партнер має вирішальне значення. Неправильний вибір може призвести до низької продуктивності АІ та труднощів з налаштуванням.

Управління змінами: Впровадження процесів, керованих штучним інтелектом, часто вимагає культурних змін в організації. Стратегії управління змінами необхідні для забезпечення підтримки з боку співробітників.

Невизначеність щодо рентабельності інвестицій: Вимірювання рентабельності інвестицій (ROI) при впровадженні генеративного АІ може бути дуже непростим завданням, що ускладнює обґрунтування витрат.

Складність моделей: Складні моделі АІ можуть бути складними в управлінні та підтримці. Простота і зрозумілість можуть бути принесені в жертву продуктивності.

Багато з цих бар’єрів знаходяться в юридичній чи організаційній площині, але мені хотілося б зупинитися більше на тих, що пов’язані з низькою зрілістю використання даних та надати докладні пояснення до кожного з них. Але про це вже у наступній частині.

В умовах невпинного розвитку ландшафту бізнес-аналітики самообслуговування надання користувачам свободи в роботі з даними іноді може здатися відкриттям дверей на «Дикий Захід». Хоча демократизація доступу до даних – благородна мета, вона часто призводить до несподіваного результату – хаосу даних.

У сучасну цифрову епоху дані часто називають новою нафтою, котра наділена величезною цінністю для організацій. Однак для багатьох компаній цей безцінний ресурс залишається заблокованим через низку проблем, пов'язаних із даними, що заважає їм досягати успіху завдяки використанню даних. Однією з найгостріших проблем, з якими стикаються компанії в епоху багатства даних, є поширення аналітичних панелей, звітів і джерел даних.

Хоча впровадження систем самообслуговування Business Intelligence (BI) та ініціатив для підвищення рівня інформаційної грамотності розширило можливості співробітників щодо використання даних для приймання рішень, це також мимоволі призвело до хаосу у сфері аналізу даних.

Компанії з оптимізмом починають свій шлях до управління даними, впроваджуючи BI-інструменти самообслуговування і підвищуючи рівень інформаційної грамотності співробітників. У результаті кількість аналітичних показників, інформаційних панелей і звітів зростає в геометричній прогресії. Бізнес-користувачі самостійно створюють звіти, аналітики – численні інформаційні панелі, а джерела даних множаться. Однак за цією великою кількістю даних ховається проблема – хаос.

Природа хаосу

• Проблема обсягу: обсяг звітів та інформаційних панелей, створюваних у BI-середовищі самообслуговування, стає непомірно великим. Бізнес-користувачі часто створюють дублюючі або надлишкові звіти, що призводить до плутанини.
• Інформаційне перевантаження: Співробітники насилу орієнтуються в лабіринті звітів, що ускладнює швидкий пошук потрібних даних або аналітичних матеріалів. Це призводить до втрати часу і зниження продуктивності.
• Якість проти кількості. У той час як кількість інформаційних активів збільшується, якість і точність даних, як і раніше, викликають занепокоєння. Без належної документації та управління дані можуть стати ненадійними.
• Розчарування співробітників. Розчарування, викликане неможливістю знайти необхідну інформацію, перешкоджає залученню співробітників до роботи з даними. Сам ресурс, покликаний допомогти у прийнятті рішень, стає джерелом розчарування.

Розірвати замкнене коло можна за допомогою каталогів даних та аналітики

Для розв'язання цієї проблеми організації все частіше звертаються до каталогів даних та аналітики. Ці каталоги є організованими сховищами, в яких індексуються та класифікуються активи даних, звіти, інформаційні панелі та аналітичні показники. Ось як вони допомагають у цьому.

• Організація та категоризація. Каталоги даних та аналітики забезпечують структуровану основу для організації та категоризації активів даних. Метадані, такі як описи та історія даних, додають контекст та ясність.
• Зручність пошуку. Завдяки наявності каталогів користувачі можуть легко шукати та знаходити потрібні їм дані або аналітичні матеріали, що заощаджує час та знижує рівень розчарування.
• Документація. Каталоги спонукають користувачів документувати свої звіти та інформаційні панелі, підвищуючи якість даних та сприяючи розвитку культури управління даними.
• Залучення та ефективність. Спрощуючи доступ до даних, каталоги розривають порочне коло неефективності, роблячи роботу з даними більш корисною для співробітників.
• Безперервне вдосконалення. Організації можуть використовувати зворотний зв'язок та дані про поведінку користувачів для постійного вдосконалення каталогів, забезпечуючи їх розвиток відповідно до змін потреб у даних.

Оскільки організації прагнуть використовувати міць даних, подолання хаосу, викликаного їх великою кількістю, має вирішальне значення. Каталоги даних та аналітики пропонують рішення, яке дозволяє не лише оптимізувати управління даними, а й підвищити зацікавленість співробітників у роботі з ними. Визнання проблем та впровадження рішень щодо каталогізації дозволить компаніям по-справжньому розкрити потенціал своїх починань, пов'язаних із даними, та намітити шлях до успіху на основі даних.

Традиційний французький весільний торт Крокембуш входить в число найскладніших десертів світу. Він готується близько чотирьох годин і складається зі 100 профітролей, що складені у конус. Декор, зазвичай, не дуже складний і займає десь близько 30 хвилин – 12-15% всього часу. Це схоже на проєкти з прогнозування попиту чи персональних рекомендацій на базі моделей машинного навчання. Нещодавно пояснював одному потенціальному клієнту, чому так багато часу проходить до того моменту, коли він зможе побачити результат.

Порівняймо більш детально на прикладі проєкту прогнозування попиту.

1. Приготування профітролей (підготовка даних):
   • Подібно до того, як підготовка профітролей є основою для приготування крокембушу, підготовка даних є основою для проєкту прогнозування попиту.
   • Підготовка даних передбачає збір, очищення та трансформацію первинних даних, подібно до того, як готується тісто для профітролей і формується перед випіканням.
   • Без добре підготовлених даних проєкт прогнозування попиту, як і проєкт «Крокембуш», не матиме міцного підґрунтя, на яке можна було б покластися при побудові моделей.
2. Начинка профітролей (функціональний інжиніринг):
   • Наповнення профітролей кремом або іншою бажаною начинкою відповідає етапу розробки ознак у проєкті прогнозування попиту.
   • Інженерія ознак передбачає вибір і створення релевантних ознак з підготовлених даних, які фіксують значущу інформацію та закономірності.
   • Подібно до того, як начинка покращує смак і текстуру профітролей, належна інженерія ознак підвищує прогностичну силу моделей ML у проєкті прогнозування попиту.
3. Збірка профітролей (навчання та оцінка моделі):
   • Збирання профітролей у вежу являє собою етапи навчання та оцінювання моделі в проєкті прогнозування попиту.
   • Навчання моделі передбачає тренування ML-моделей з використанням підготовлених даних і вибраних ознак, подібно до того, як профітролі збираються разом, щоб створити структуру Крокембуша.
   • Оцінка моделей визначає продуктивність і точність навчених моделей, забезпечуючи їхню стабільність і достовірність, подібно до того, як зібрана вежа з профітролей повинна бути стабільною і структурно міцною.
4. Декорування Крокембуша (розгортання та моніторинг моделі):
   • Оформлення Крокембуша відповідає етапам розгортання та моніторингу моделі в проєкті прогнозування попиту.
   • Розгортання моделі передбачає інтеграцію навчених моделей в операційну систему для генерування прогнозів попиту в реальному часі, подібно до того, як «Крокембуш» подається споживачам.
   • Моніторинг продуктивності розгорнутих моделей гарантує, що вони продовжуватимуть надавати точні прогнози з плином часу, подібно до того, як візуальна привабливість і цілісність прикрашеного Крокембуша зберігається протягом усього заходу.

В обох випадках така аналогія підкреслює критичну важливість кожного етапу, бо без добре підготовленої бази у вигляді підготовки даних проєкт прогнозування попиту не матиме необхідного фундаменту для побудови точних ML-моделей, так само як крокембуш неможливо зібрати без складених профітролей.

Аналогічно, без належного оздоблення та постійного моніторингу цінність проєкту прогнозування попиту зменшується, так само як візуальна привабливість і якість крокембуша погіршиться без ретельної уваги до оздоблення.

Часто виникає ситуація коли компанії впроваджують нові сховища даних, сучасні системи бізнес-аналітики, а користувачі продовжують приймати рішення інтуїтивно. Ні, вони час від часу завантажують звіти та розглядають красиві дашборди. Але ці дані не основне джерело інформації для прийняття рішень. На цьому часто і закінчуються ініціативи з цифровізації. Одна із причин подібної ситуації – бізнес не довіряє даним в інформаційних системах.

Розглянемо детальніше як неточні дані та неналежне документування можуть сприяти недовірі менеджерів до даних, на основі яких вони мали б приймати рішення. Ось кілька прикладів, які допоможуть пролити світло на проблему.

Неточні дані

Уявіть, що ви менеджер з маркетингу, який запускає нову кампанію. Ви отримуєте дані про продажі, які вказують на раптовий сплеск попиту на певний продукт. Натхненний, ви виділяєте на кампанію більший бюджет. Однак пізніше виявляєте, що дані були неточними через технічний збій, а стрибок насправді був аномалією. Це призводить до марної трати ресурсів і втрати довіри до надійності даних.

В цьому випадку на допомогу прийшла б система прогнозування, яка показала б, що це нерелевантний поточним умовам стрибок продажів, а також система контролю якості та достовірності даних з встановленими допустимими межами значень продажів.

Неузгодженість визначень даних

Як фінансовий менеджер, ви відповідаєте за аналіз прибутковості різних бізнес-підрозділів. Однак ви виявляєте, що кожен підрозділ визначає поняття «прибуток» по-різному. Деякі включають накладні витрати, а інші ні. Така неузгодженість у визначеннях даних ускладнює порівняння та отримання точних висновків. Це змушує скептично ставитися до надійності даних і заважає приймати обґрунтовані рішення.

Для розв'язання цієї проблеми є ПЗ для створення каталогів даних і аналітики, що дозволяє не тільки описати кожен показник в бізнес-глосарії через формальне визначення, формули й регламенти розрахунку, але і зв’язати його з конкретними аналітичними звітами, таблицями й полями даних в облікових системах.

Відсутність контексту даних

Уявімо, що ви операційний менеджер, який оцінює ефективність ланцюжка постачання. Ви отримуєте звіт про затримки в доставці продукції. Однак відсутня важлива контекстна інформація. Наприклад, про погодні умови або обмеження постачальника. Без цього контексту ви ставите під сумнів правдивість даних і не можете визначити першопричину затримок.

Для розв'язання цієї проблеми підійдуть системи бізнес-аналітики, які дозволяють створювати історії даних, додаючи до них коментарі та додатковий контекст. А також вони надають можливість швидкої зміни горизонту аналізу, щоб визначити наскільки така ситуація є типовою для конкретного постачальника за всю історію роботи з ним. Інший спосіб вирішення – побудова прогнозної моделі, яка буде показувати вплив конкретних факторів на своєчасність доставки та робити прогноз термінів.

Відсутність послідовності обробки даних

Як менеджер з продажу, ви відповідаєте за аналіз показників залучення клієнтів. Однак, коли ви намагаєтеся відстежити джерело даних, ви потрапляєте в глухий кут. Немає чіткої послідовності перетворення даних від джерела їх виникнення в системі до показника звіту, що унеможливлює визначення того, як вони були зібрані, перетворені або агреговані. Така непрозорість викликає сумніви щодо точності та надійності даних.

Зазвичай каталоги даних мають функціональність, що дає можливість автоматично або вручну прописати весь шлях даних від поля в таблиці облікової системи до конкретного бізнес-показника в глосарії. Це також дозволяє провести оптимізацію показників у звітах і видалити дублі та неточності.

Застаріла документація даних

Уявіть себе HR-менеджером, який намагається проаналізувати рівень плинності кадрів. Ви копаєтесь у документації, але виявляєте, що вона не оновлювалась роками. Ролі співробітників, відділи та назви посад змінилися, що зробило дані застарілими та ненадійними. Ця застаріла документація породжує скептицизм і підриває вашу впевненість у прийнятті рішень на основі даних.

Для розв'язання таких задач є спеціалізовані системи Master Data Management, які дозволяють проводити узгодження даних довідників із різних систем та відстежувати всі зміни у часі.

Отже, розв’язання цих проблем є життєво важливим для побудови довіри до даних. Впроваджуючи надійний контроль якості даних, встановлюючи чіткі визначення даних, документуючи походження даних і регулярно оновлюючи документацію, ми можемо підвищити точність даних і надати менеджерам впевненості, необхідної для прийняття обґрунтованих рішень.

Пам'ятайте, що управління даними відіграє вирішальну роль у забезпеченні точності, надійності та достовірності даних. Тому важливо впроваджувати кращі практики роботи з даними та розвивати культуру, засновану на даних, що дає можливість менеджерам повністю довіряти даним, на основі яких вони приймають рішення.

Понад 80% опитаних нами співробітників компаній із різних галузей погоджуються з тим, що дані, якими володіють їхні компанії, – це важливий, стратегічний актив. Але питання про перелік і якість цих активів, їх стан та інтенсивність використання часто залишаються без відповіді.

У керованому даними світі все більше організацій визнають важливість каталогів даних та аналітики для прийняття обґрунтованих рішень та отримання конкурентної переваги. Ці інструменти дозволяють компаніям ефективно організовувати, розуміти та використовувати потенціал своїх інформаційних ресурсів. Розглянемо необхідність і передумови запровадження управління метаданими, каталогу даних і аналітики у компаніях.

Проблеми, з якими стикаються аналітики та ІТ-директори

Однією з необхідних умов для реалізації стратегії Data Driven Decision є демократизація даних та аналітики, розвиток концепції self-service BI та підвищення рівня інформаційної грамотності бізнес-користувачів. Але такі цифрові ініціативи часто стикаються з перешкодами, сповільнюються або навіть зазнають краху з досить прозових причин – відсутності перевіреної інформації про дані, аналітичні звіти, узгоджені та однозначно визначені бізнес-показники тощо.

Далі розглянемо кілька типових проблем, з якими стикаються багато організацій у своїх пов'язаних із даними робочих процесах.

• Розрізненість даних: Дані розкидані за різними системами та відділами, що ускладнює аналітикам ефективний пошук та доступ до необхідної інформації. Це призводить до витрати часу та зусиль на ручний пошук даних або появи та реалізації заявок на створення дублювальних даних або аналітики.
• Неузгодженість визначень даних: Відсутність стандартизованих визначень даних та документації призводить до плутанини та розбіжностей в інтерпретації. Аналітикам буває складно узгодити дані з різних джерел, що призводить до ненадійних висновків та рішень.
• Обмежене управління даними: Неадекватна практика управління даними призводить до проблем якості даних, включаючи неточності, дублювання та невідповідність. Це підриває довіру до даних та перешкоджає точному аналізу.
• Відсутність спільної роботи: Без централізованої платформи для співпраці та обміну знаннями аналітики часто працюють ізольовано, дублюючи зусилля та упускаючи цінні ідеї, отримані від своїх колег.
• Складні екосистеми даних: Сучасні підприємства працюють з величезними обсягами даних, що генеруються з різних джерел, таких як бази даних, API, хмарні платформи та сторонні постачальники. Управління та розуміння цієї складної екосистеми даних стає непростим завданням.

Рішення на основі каталогу аналітики

Втім це завдання трохи менш складне, ніж створення ШІ в інформатиці або «теорії всього» у фізиці. Для його вирішення застосовуються різні програмні продукти, які дозволяють автоматизувати процеси metadata management, створення та управління каталогами даних та аналітики.

Впровадження каталогу аналітики дозволяє розв'язати описані проблеми, надаючи комплексну та зручну платформу, яка спрощує процеси виявлення, аналізу та спільної роботи з даними. Розглянемо переваги аналітичного каталогу на реальних прикладах.

• Покращене виявлення даних: За допомогою каталогу аналітики можуть легко шукати та виявляти відповідні активи даних, використовуючи інтуїтивно зрозумілі можливості пошуку. Наприклад, маркетолог, який шукає демографічні дані клієнтів, може швидко знайти потрібний набір даних або вже готовий звіт, який раніше створювався для колег із CRM-підрозділу, тим самим заощаджуючи дорогоцінний час свій, ІТ та команди аналітиків.
• Поліпшена якість даних: Управління метаданими забезпечує узгодженість визначення даних, дозволяючи аналітикам впевнено інтерпретувати та аналізувати інформацію з різних джерел. Це призводить до прийняття більш обґрунтованих рішень та отримання достовірних відомостей. Наприклад, фінансовий аналітик може покладатися на точні та узгоджені дані про доходи у різних звітах та інформаційних панелях.
• Ефективне співробітництво: Аналітичний каталог полегшує співпрацю, дозволяючи аналітикам ділитися своїми викладками, звітами та думками з колегами. Це сприяє обміну знаннями та формуванню культури управління даними в організації. Наприклад, команда фахівців з аналізу даних може спільно працювати над проєктом з передиктивного моделювання, використовуючи досвід та знання один одного.
• Підвищення продуктивності: За допомогою централізованого каталогу аналітичних даних ІТ-директори можуть спростити процеси надання даних та управління ними. Це усуває ручні запити даних та дозволяє аналітикам самостійно задовольняти свої потреби у даних, знижуючи навантаження на ІТ-команди та прискорюючи час отримання інформації.

Для більшості компаній основним джерелом доходу є продаж товарів та послуг. Тому ця сфера діяльності організації має перебувати під постійним контролем з боку відповідальних співробітників різних рівнів та топ-менеджменту. Вивчення історичних даних щодо реалізації товарів, послуг та інформації, актуальної на поточний момент, дозволяє:

• оцінювати результати роботи та ефективність управління продажами;
• розробляти стратегію розвитку організації;
• формувати цінову політику з урахуванням рентабельності продажів конкретного товару;
• виділяти найбільш перспективні напрямки діяльності та позбавлятися невигідних;
• класифікувати клієнтів та контрагентів за ступенем важливості для компанії.

Ключові показники ефективності (KPI) продажів містять цінну інформацію для відділів реалізації, дистрибуції, маркетингу, фінансової служби.

Як оцінюються результати продажів

Кожна компанія та цілі її діяльності є унікальними. Тому і показники ефективності продажів можуть відрізнятися в розрізі окремих організацій, їх регіональних підрозділів, торгових точок або продуктів. Наприклад, для сфери інтернет-продажів, як KPI можна використовувати коефіцієнт конверсії, який демонструє яка частина відвідувачів сайту здійснила цільову дію. Для роздрібного магазину таку характеристику застосувати досить складно, оскільки кількість візитів в торгову точку, які не закінчились покупкою, проблематично відстежити.

Показники KPI встановлюються на основі обраної мети, стратегії та глобальної місії діяльності організації. Їхнє значення може змінюватися з часом з урахуванням ринкових прогнозів, історії діяльності компанії, поточного рівня конкуренції та застосованих методів боротьби. Крім того, керівництво може оновлювати ключові показники продажів, змінюючи цілі своєї діяльності. KPI має використовуватись як частина загальної стратегії бізнес-діяльності.

Основні показники продажів необхідно регулярно контролювати з періодичністю, яка дозволить своєчасно відреагувати на відхилення і вплинути на підсумковий результат. Одним із найзручніших способів моніторингу є створення інформаційних панелей, що містять всю бізнес-аналітику в одному місці. Дашборди допомагають керівникам відстежувати загальні тенденції, а деталізація виконання KPI дозволяє швидко визначити проблемні місця та приділити увагу виправленню ситуації. Вжиті дії позначаться на ключових показниках відділу продажів, а керівники зможуть побачити вплив своїх рішень на результат.

Аналітика для відділу продажів

Дані щодо реалізації товарів для цього підрозділу демонструють як окремий регіон, торговельна точка, відділ або співробітник справляється з поставленими йому завданнями. Кожен член команди повинен мати об’єктивне уявлення про свої результати, а менеджери з продажів – відстежувати виконання планів, аналізувати, чому показники ефективності відділу продажів знаходяться на поточному рівні, та вживати заходів щодо їх покращення.

Аналітика для відділу дистрибуції

Показники продажів використовуються задля забезпечення торгових точок потрібними обсягами товарів, залежно від оборотності запасів у кожному з них. Планування роботи відділу дистрибуції тісно пов’язані з обсягами реалізації. Команда має своєчасно сформувати достатні товарні запаси та якісно задовольняти потреби кожного з бізнес-підрозділів. Якщо кількість продукту обмежена, відділ дистрибуції насамперед забезпечить точки, де оборотність вища.

Аналітика для маркетингу

KPI показники у продажах демонструють успіхи чи невдачі відділу маркетингу. Ефективність інвестицій у просуванні вибраного продукту чи послуги демонструє збільшення його продажів. У цьому відстежується як абсолютний показник товарообігу у кількості чи грошових одиницях, так і динаміка реалізації. Ефективність прикладених маркетингових зусиль оцінюється, зокрема, за допомогою показника рентабельності продажів. Вкладені у маркетингову кампанію кошти мають окупатися та приносити додатковий дохід.

Аналітика для фінансової служби

Ключові показники ефективності відділу продажів для фінансистів дозволяють здійснювати планування надходжень коштів та розробляти довгострокові стратегії розвитку організації. Дані про продажі, такі як рентабельність, сума виторгу та еластичність попиту є ключовими факторами, що впливають на ціноутворення. Своєчасне коригування вартості товарів забезпечить компанії достатню норму прибутку.

Інструменти Business Intelligence для аналізу результатів продажів

Дані про продажі, які використовуються для цілей управління, не є якимось статичним значенням, яке можна оцінити лише як достатнє або недостатнє. Для менеджменту будь-який KPI розкладається на безліч складових. Дані вивчаються у межах географічних регіонів, торгових точок, окремих менеджерів, обраних товарів. Крім того, вони порівнюються між собою шляхом побудови рейтингів, зіставляються з результатами минулих періодів, використовуються для аналізу рентабельності продажів, оцінки темпів розвитку, виявлення пріоритетних та проблемних напрямків.

Детальне вивчення проміжних та підсумкових результатів потребує відповідного механізму, здатного забезпечити доступ керівників до актуальної інформації. З цією метою компанії використовують засоби Business Intelligence, здатні збирати цінну інформацію про продажі з різних джерел, зберігаючи високий рівень її деталізації. Використовуючи інструменти бізнес-аналізу, керівники отримують можливість самостійно вивчити основні показники ефективності продажів, сформулювати висновки та спланувати подальші дії. Важливою перевагою системи є єдина точка правди незалежно від способу подання інформації.

Business Intelligence є системами, що самообслуговуються: інформація в них регулярно оновлюється із заданою періодичністю і приводиться до єдиного стандарту. Управління побудовою звітів здійснюється в один клік, що дозволяє керівникам здійснювати аналіз самостійно, незалежно від ІТ-служб. Дашборди, що настроюються, і можливість обмеження доступу до джерел даних дозволяють формувати для кожного з бізнес-підрозділів індивідуальний KPI – ключові показники ефективності у продажах.