Облачный сервис Apache Spark on Azure HDInsight запущен официально

Компания Microsoft объявила, что возможности платформы Spark, такие как обработка данных в памяти (in-memory) для их анализа в реальном времени, отныне доступны для всех пользователей облачного сервиса аналитики больших данных Azure HDInsight.

Публичная preview-версия Apache Spark for Azure HDInsight была анонсирована почти год назад. По информации Microsoft, она оказалась столь популярной, что применяется в каждом втором кластере HDInsight на платформе Azure.

Spark разработана сообществом Apache для преодоления ограничений модели распределенных вычислений MapReduce, часто используемой во внедрениях Hadoop. Она позволяет обрабатывать запросы в 100 раз быстрее, чем традиционные решения Big Data.

Microsoft предлагает для Azure HDInsight Apache Spark v1.6.1 вместе с усовершенствованиями сервиса, призванными сделать его более удобным для предприятий и пользователей.

Azure HDInsight разработан при участии Hortonworks и основан на Hortonworks Data Platform. Обновив менеджер ресурсов YARN, Microsoft добавила к этой платформе функции высокой готовности. Помимо этого, компания интегрировала Spark for Azure HDInsight с облачным репозиторием Azure Data Lake Store (что позволит обрабатывать и хранить данные практически любого объёма) и существующими инструментами для профессиональных аналитиков (упрощает использование с аналитическими рабочими нагрузками).

«Наша задача, сделать большие данные доступными для всех. С Spark for HDInsight мы создали новый способ работы для разных групп пользователей Spark, включая технологов данных, занимающихся подсистемами ETL, ученых, экспериментирующих с данными, и бизнес-аналитиков, создающих информационные панели», — заявил в блоге Azure Оливер Чу (Oliver Chiu), старший менеджер Microsoft по продуктовому маркетингу больших данных.

Интеграция с IntelliJ IDE позволит инженерам и разработчикам кодировать с внутренней поддержкой Scala и Java, для ученых доступны блокноты Jupyter (iPython), а аналитики смогут создавать интерактивную визуализацию данных с Microsoft Power BI.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365