Hortonworks приходит в облако Amazon

Очередным провайдером платформ, присоединившимся к облачным сервисам Amazon AWS, стал Hortonworks. Эта компания анонсировала новую службу, которая будет предлагаться через магазин AWS и поддерживать облачные хранилища S3 и вычисления EC2.

Новое предложение, Hortonworks Data Cloud (HDCloud) for AWS, это специализированный сервис, включающие две наиболее популярные рабочие нагрузки Hadoop: Spark для аналитики и машинного обучения и Hive с новым ускорением LLAP — для интерактивной работы с SQL.

Главная проблема при интеграции Hadoop с AWS состоит в том, что у Amazon имеется собственный управляющий сервис EMR, подключающийся после выбора клиентом количества и типа узлов EC2. При запуске же Hortonworks (или Cloudera) в облаке AWS пользователю приходится самостоятельно заниматься резервированием облачной инфраструктуры и администрированием рабочих нагрузок. Hortonworks Cloudbreak или Cloudera Director не обеспечивают того удобства использования, что EMR, и они работают с HDFS вместо стандартного хранилища AWS S3.

Именно в этом главный смысл HDCloud: приобретая его через AWS Marketplace, клиенты получают и подобные EMR стандартные возможности облачного управления AWS, использующие S3. В отличие от AMR они более приспособлены к Hive и Spark за счёт технологии оптимального конфигурирования вычислительных узлов, полученной Hortonworks у Ambari. Кроме того, HDCloud обеспечивает более тонкий подход к безопасности Hive, контролируя её на уровне строк и колонок.

Как с EMR, заказчики HDCloud платят Amazon, а не Hortonworks (последняя, безусловно, получает отчисления от Amazon). Оплата за HDCloud будет осуществляться на основе годовых контрактов или почасовой тарификации.

Если сравнивать HDCloud с HDInsight, то сервис для Azure предлагает более полный ассортимент возможностей Hortonworks Data Platform — помимо Spark и Hive, он также позволяет работать с Storm и HBase. Кроме того, он лучше управляется, например, Azure контролирует обновления, тогда как на AWS процедура апгрейда требует вмешательства оператора. Причина такого избирательного подхода к реализации Hortonworks на AWS заключается в том, что облачные клиенты все чаще требуют специализированных сервисов, а не доступа к полной платформе. Иллюстрацией этого могут быть провайдеры Databricks и Qubole, предоставляющие только сервисы Spark.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365