Недопрацьоване оновлення спричинило семигодинний збій у Google Cloud

Як повідомляє CNBC, Google оприлюднила офіційне вибачення та детальний звіт про причини масштабного збою, який стався минулого четверга і паралізував понад 70 сервісів Google Cloud по всьому світу.

 

Згідно з оприлюдненими даними, інцидент був спричинений «кількома рівнями хибних оновлень», зокрема — новою функцією перевірки квот (quota policy checks), яка не була належним чином протестована в реальних умовах. У результаті системи Google не змогли обробити порожні записи, що генерувалися новою функцією, і ці помилкові дані було розіслано до всіх дата-центрів Google Cloud, що призвело до лавиноподібного падіння інфраструктури.

 

«Ми глибоко вибачаємося за вплив цього збою, — йдеться в офіційному звіті компанії. — Клієнти Google Cloud і їхні користувачі покладаються на наші сервіси, і ми повинні відповідати цьому рівню довіри. Ми зобов’язані вдосконалити нашу архітектуру, щоб подібні збої більше не повторювалися».

 

Збій торкнувся не лише сторонніх сервісів, таких як Cloudflare, OpenAI та Shopify, але й основних продуктів компанії: Gmail, Google Calendar, Google Drive, Google Meet та інших. За словами CEO хмарного підрозділу Google Томаса Куріана (Thomas Kurian), інженери змогли виявити джерело проблеми за 10 хвилин, однак повне усунення наслідків тривало понад 7 годин.

 

Серед критичних недоліків Google відзначила відсутність механізму «feature flags» — індустріального стандарту для поступового впровадження нових функцій, який дозволяє уникати масових збоїв у разі виникнення помилок. У компанії заявили, що змінять архітектуру так, щоб у разі збою одного з компонентів система залишалась функціональною.

 

Крім технічних змін, компанія пообіцяла провести аудит усіх систем та вдосконалити процес інформування клієнтів — як автоматизований, так і за участю фахівців.