Google анонсировала Kubernetes Operator для Spark

Бета-релиз Kubernetes Operator for Apache Spark (Spark Operator), который компания Google представила в среду, обеспечивает выполнение рабочих нагрузок популярного фреймворка Spark на кластерах Kubernetes (k8s) без Hadoop или Mesos. Несмотря на появившуюся в Spark 2.3 и улучшенную в 2.4 поддержку Kubernetes, нативная работа его приложений в k8s всё еще трудноосуществима.

Согласно представленной Google информации, Spark Operator это специализированный контроллер Kubernetes, использующий выделенные пользователям ресурсы для декларативной спецификации приложений Spark; он также поддерживает автоматический перезапуск и планирование работы приложений на базе cron. Помимо того, инженеры и аналитики данных могут создавать декларативные спецификации, которые описывают их приложения Spark, и использовать инструменты Kubernetes (например, kubectl) для управления своими приложениями.

Spark Operator предлагается на ресурсе Google Cloud Platform (GCP) Marketplace for Kubernetes в виде контейнеров Google Click to Deploy, обеспечивающих простое развёртывание в Google Kubernetes Engine (GKE). Поскольку Spark Operator является проектом с открытым кодом, возможно его использование в любой среде Kubernetes. На странице проекта в GitHub предоставляются инструкции по установке на основе командной строки менеджера пакетов Helm.