Uber у світі зберігання даних

Стартап Storj працює у сегменті децентралізованих хмарних сервісів зберігання даних корпоративного класу. Цей розробник постачає своє хмарне сховище з декількох невеликих дата-центрів та операторів, використовуючи їхні вільні потужності. Наразі компанія має вже до 24 тис. кінцевих точок у понад 100 країнах, хоча ще наприкінці минулого року їх було лише 15 тис.

Алгоритм роботи Storj досить простий – вхідні файли шифруються, діляться на сегменти по 64 Мб, кодуються на стирання, а фрагменти записуються через декілька розподілених провайдерів у безперервному єдиному просторі імен. Технологія блокчейн при цьому не використовується.

Коли до файлу звертаються, його потрібно зібрати, і це робиться з використанням найближчих до клієнта фрагментів, закодованих стиранням. Повний файл або об'єкт не читається, а це означає, що не всі кінцеві точки, які зберігають файл, повинні надавати свою частину. Агент-посередник Storj, розміщений на периферії, отримує достатньо фрагментів, закодованих стиранням, мінімум 29 з 80 частин кожного сегмента, щоб повністю зібрати й розшифрувати файл/об'єкт та надати його системі, що запитує.

Обчислення відбуваються швидше, ніж передача мережею, і це економить час передачі мережею, особливо коли провайдери потужностей Storj можуть бути розподілені по всьому світу. Компанія стверджує, що у порівнянні з однорегіональним сховищем AWS S3 має більш стабільну пропускну здатність, оскільки отримує дані з багатьох вузлів одночасно, що значно збільшує ймовірність відсутності перевантажених шляхів. На продуктивність S3 впливають періодичні сповільнення інтернету, особливо, коли джерело знаходиться далеко від місця завантаження.

Крім того, кодування зі стиранням також захищає від збоїв на боці провайдера. Storj заявляє про 99,97% доступності та 11 дев'яток довговічності. Стверджують, що жоден файл не був втрачений за більш ніж три роки. Послуги компанії підтримуються SLA, а також можливо забезпечити геофенсинг, щоб обмежити розташування збереженого файлу певним географічним регіоном, де існують проблеми з суверенітетом даних.

Оскільки Storj не потрібно будувати або орендувати власні центри обробки даних та інфраструктуру, його витрати значно нижчі, ніж у провайдерів хмарних послуг першого або другого рівня. Заявляється, що вони на 80% нижчі, ніж в AWS S3. Безплатний обліковий запис, що орієнтований на розробників та невеликі проєкти, пропонує до 25 ГБ для зберігання і таке ж обмеження для завантаження на місяць. Все, що понад вказаного, сплачується із розрахунку $4 за терабайт зберігання на місяць та $7 при завантаженні одного терабайту.

Таким чином, Storj використовує розподілену резервну місткість для зберігання даних приблизно так само, як Airbnb – резервну ємність житла та Uber – транспортних засобів. Цікавий приклад економіки спільного користування у сфері зберігання даних.

Стратегія охолодження ЦОД для епохи AI