0 |
На DataWorks Summit фирма Hortonworks анонсировала новое поколение своей многооблачной платформы Больших Данных, построенной на базе дистрибутива Apache Hadoop 3.1.
Hortonworks Data Platform (HDP) 3.0 включает следующие новые особенности:
Платформа поддерживает быстрое создание, обучение и развёртывание продвинутых контейнеризованных микросервисов аналитики, машинного/глубокого обучения (ML/DL), искусственного интеллекта (AI) вплоть до границ современных распределённых облачных сред.
Поддержка модулей графической обработки (GPU) в планировщике HDP 3.0, YARN, позволяет выполнять рабочие нагрузки искусственного интеллекта на совместимых кластерах Hadoop.
HDP 3.0 включает базу данных реального времени, основанную на Hive 3.0, в состав которой теперь входят Tez, LLAP и Druid для обеспечения хранения данных в реальном времени. С этим релизом Hive превратилась в комплексную корпоративную базу данных с высокой степенью распараллеливания, малой задержкой, расширенным синтаксисом SQL и соответствием ACID.
Гетерогенная оптимизация облачного хранения в HDP 3.0 позволяет отделять кластеры хранения от вычислительных кластеров. В качестве облачной альтернативы HDFS, HDP 3.0 поддерживает всё основные объектных хранилища публичных облачных сервисов, включая Amazon S3, Azure Storage Blob, Azure Data Lake, Google Cloud Storage и AWS Elastic MapReduce File System. Последние улучшения включают в себя согласующий уровень для несовместимых облачных хранилищ, улучшенную масштабируемость хранения.
HDP 3.0 обеспечиваете удовлетворение предписаний таких мандатов, как GDPR, посредством поддержки полной цепочки хранения данных и детального аудита событий. Пользователи теперь могут прослеживать происхождение данных от самого начала до их консолидации в «озёрах» — хранилищах неструктурированной информации, построенных на HDP 3.0.
Для Hortonworks DataFlow (HDF) не было заявлено о каких-либо усовершенствованиях, хотя Hortonworks и обсуждала новую облегченную потоковую технологию MiNiFi, которая позволит внедрять контейнеризованные нагрузки AI/DL/ML в IoT, на границу и во встроенные конечные точки многооблачных сред.
В настоящее время Hortonworks сделала публичные облачные активы центром своего рыночного предложения, хотя лишь 25% её 1400 платящих клиентов в настоящее время работают с решениями Hortonworks в общедоступном облаке, и 5% — только в публичном облаке. Напротив, 95% клиентов Hortonworks внедряют свои решения полностью или преимущественно в онпремисном варианте.
Тем не менее, Hortonworks наблюдает общее стремление вкладывать всё больше аналитических рабочих нагрузок в публичные и гибридные облака, и все её продуктовые планы нацелены на то, чтобы сделать этот переход максимально бесконфликтным для своих клиентов.
HDP 3.0 предлагается для ознакомления в рамках программы раннего доступа. Общедоступной она должна стать во III квартале 2018 г.
Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365
0 |