`

Schneider Electric - Узнайте все про энергоэффективность ЦОД


СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

Что для вас является метрикой простоя серверной инфраструктуры?

Best CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Константин Введенский

AWS как legacy

+55
голосов

AWS имеет самую долгую историю как публичное облако — больше 10 лет. За эти годы было выпущено около 100 сервисов покрывающих все возможные варианты использования. Вопрос насколько сильно устарели некоторые из решений предлагаемых AWS? Современные технологии развиваются очень быстро и скачкообразно, а парадигма развития open source как бизнес модели в последние годы позволила выйти на рынок очень многим интересным бесплатным продуктам.

Некоторые сервисы находятся «в форме» в силу своей простоты и незаменимости — S3 для хранения данных, виртуальные машины EC2 или шина сообщений SQS. С другой стороны — технологии которые, как оказывается при ближайшем рассмотрении, можно заменить более современными и менее затратными решениями.

Недавно я сотрудничал с одним стартапом, цель проекта — оптимизация затрат на AWS. Это была небольшая компания, владеющая крупным развлекательным сайтом. Как и положено современному бизнесу, собиралось максимально возможное количество аналитических данных с сайта и приложения. Основное долгосрочное хранение, конечно, S3. Аналитика и обработка выполнялись с помощью продвинутых сервисов AWS.

AWS Redshift — колоночная база данных для хранения и аналитики больших данных. Именно это решение в сочетании с MongoDB использовал Amazon для миграции с решений Oracle. Система, купленная много лет назад, в своей основе построена на сильно модифицированном ядре PostgreSQL 8. Имеет огромное количество инсталляций с количеством нод больше 100 и данными, исчисляемыми в сотни ПБ.

С другой стороны есть современное бесплатное open source решение написанное с нуля — ClickHouse. Изначальная задача для которой разрабатывалась БД — хранение данных сервиса Яндекс.Метрика.

По мере роста объёма и собираемых данных масштабировался кластер и стоимость сервиса. Но проблема в том что при горизонтальном масштабировании производительность не растёт ни линейно, ни с удовлетворительным уровнем, а вертикальное — показывает еще худшую динамику. То есть заполняемость хранилища кластера не успевает за количеством вычислительных ресурсов, которые нужны для обработки всё растущего объема данных.

В итоге после небольшого тестирования оказалось что кластер из 30 нод Redshift можно спокойно заменить эквивалентными 10 нодами r4 и получить прирост в производительности в несколько раз, а общую стоимость владения снизить в 3 раза.

Воодушевившись такими результатами стартап решил провести полный аудит, после которого заменил все ноды i2 на i3, что позволило снизить стоимость на 30%.

На большом собрании руководства компании и технарей было решено переделать вообще, как можно больше всего и отказаться от legacy в использовании AWS, везде где возможно.

При агрессивном росте и малом количестве персонала управляемые сервисы и PaaS могут стать спасением и решением сиюминутных задач бизнеса, но уже через несколько лет они же могут превратиться в фактор ограничивающий рост компании или и вовсе якорем потянуть вниз.

Несколько лет назад когда Netflix, будучи существенно меньше нынешнего, активно выступал на разных мероприятиях и рассказывала о своей стратегии использования сервисов AWS. Никаких управляемых сервисов, только базовые и простые сервисы, в основном EC2. Причина проста — отдавая контроль кому-то за базовыми вещами вы перестаете видеть за деревом лес, и, возможно, начинаете терять больше, чем приобретаете.

Лет пять назад разные поставщики продвигали идею среди заказчиков CoE — Center of Excellence, группы инициаторов и глубоко технических специалистов, которые бы решали проблему развития ИТ,миграции в облако и пр. Стартап, о котором я упоминал выше, решил раз в год собирать такую группу для аудита инфраструктуры и понимания что бы еще «выкинуть».

Похоже, история, как ей и положено, повторяется снова — 10 лет назад мы такое уже проходили с виртуализацией, сегодня с облаками. А некоторые, о ужас, в подобной ситуации оказываются уже и с контейнерными приложениями, которые также постепенно превращаются в legacy и начинают выходить из оборота.


Вы можете подписаться на наш Telegram-канал для получения наиболее интересной информации

+55
голосов

Напечатать Отправить другу

Читайте также

Розшифруйте не зрозумілі з контексту r4, i2, i3 і до чого тут ClickHouse? Дякую!

У AWS сервера (инстансы) оптимизированы под выполняемую задачу. R - RAM, I - IOPS, а цифра это поколение сервера. То есть R4 - сервер 4го поколения оптимизированный по RAM.
Redshift и ClickHouse являются колоночными БД для аналитики и хранения больших данных.

"с контейнерными приложениями, которые также постепенно превращаются в legacy и начинают выходить из оборота."

А что идет (пришло) на смену контейнерам?

1. Сама концепция контейнеров местами радостно заменяется serverless. И всё это еще отдельная тема для разговора.
2. Приложения запущенные в контейнерах достигают End of Life, и их decomission (выведение из эксплуатации) оказывается отдельным куском счастья.

 
 
Реклама

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT