Google Dataproc получил поддержку GPU и средства автоматизации

Аналитический сервис Dataproc компании Google в прошлую пятницу был дополнен четырьмя новшествами, предназначенными для ускорения машинного обучения и для упрощения каждодневного обслуживания в облаке проектов Больших Данных.

Предприятия, использующие Dataproc для машинного обучения, теперь могут добавлять в свои кластеры Hadoop и Spark графические ускорители (GPU). Google предоставит им на выбор в своём публичном облаке восемь GPU производства Nvidia, включая топовое предложение этого чипмейкера, модель Tesla V100.

Следующей новой особенностью Dataproc стало автомасштабирование. Эта служба теперь способна уменьшать или увеличивать размер кластера, в зависимости от количества ресурсов, требуемого рабочей нагрузкой в данный момент. Преимущества автомасштабирование особенно ощутимы при внезапных всплесках использования, например, при увеличении объёма данных, которые аналитическое приложение отсылает в Spark. Кроме того, инженеры, успешно развернувшие небольшой тестовый кластер, могут не заботиться о выделении дополнительной инфраструктуры при его дальнейшем масштабировании.

На повышение эффективности эксплуатации кластеров Dataproc предприятиями нацелены две следующие опции. Одна позволяет устанавливать предел длительности простоя кластера без работы, по достижении которого кластер удаляется. Другая помогает автоматизировать некоторые задачи в SparkR, расширении Spark, служащем для выполнения в этой среде программ R.