Hadoop: глаза боятся, а руки делают

Не успели мы отметить, что Hadoop продолжит свое превращение из инфраструктурного решения в сервис, как это уже произошло. В очередном акте спектакля Big Data главными действующими лицами становятся компания Hortonworks, выходящая на IPO, и… два индийца.

А теперь скажите: «Хадуууп»!

«Каждый, кто покупал «Газету для дураков», говорил, что он покупает ее не потому, что считает себя дураком, а потому, что ему интересно узнать, о чем там для дураков пишут».
Н. Носов, «Незнайка на Луне», 1965

О Hadoop сегодня говорят много. Только перечисление направлений дискуссий заняло бы довольно много места, но это уже не слишком интересно потенциальным пользователям. Основной интерес вызывает вопрос о том, когда и как именно Hadoop двинется из Силиконовой Долины на ведущие предприятия. Поэтому, в отличие от вышедшей несколько дней назад технологической статьи «Big Data 2015: вниз по скользкой дорожке», в этом блоге будут приведены последние рыночные тенденции в области Hadoop и Big Data.

Итак, Hortonworks вот-вот выйдет на IPO. Cloudera, по сообщениям, заработала более $100 млн. на продажах. Заманчиво думать, что Hadoop уже становится господствующей тенденцией. Действительность, однако, существенно отличается от бодрой картины, которую многие хотели бы сегодня видеть.

«Слоненок Hadoop остается пока слишком сложным животным для его содержания на большинстве предприятий», − пишет на британском The Register Мэтт Асей (Matt Asay), вице-президент подразделения Adobe Mobile и заслуженный член правления Open Source Initiative (OSI). − «Это одна из причин того, что 43% доходов Hortonworks пока получает от предоставления сопутствующих низкоуровневых сервисов».

Согласно выражению Ассея, многие люди знают, как правильно произнести слово «Hadoop», но гораздо меньшее количество − как его использовать и почему они вообще должны это делать. Самая распространенная формулировка − «я хочу приборную панель (dashboard), которая покажет мне все интересные вещи, которые содержатся в наших данных».

(Поэтому, в частности, у бизнес-аналитического ПО Tableau, в отличие от продуктов многих других BI-разработчиков, столько поклонников − если нужны только фильтрование и визуализация, то это будет выполнено очень быстро, просто для пользователя и наглядно. − А.Ч.)

Создатель Hadoop Дуг Каттинг (Doug Cutting) справедливо считает, что его любимое детище должно как можно быстрее сменить свой статус − с тайной науки для элиты на общепринятую ОС для распределенных данных.

Сегодня почти каждое предприятие считает для себя необходимым (хотя бы для приличия) баловаться с Hadoop. Каждый год Gartner опрашивает их о планах относительно Big Data − и для многих это является синонимом Hadoop. В последнем обзоре Gartner (сентябрь 2014) уже 73% предприятий объявили, что они уже вложили капитал (или планируют) в проект Big Data в течение следующих двух лет.

Всего за один год отношение к Hadoop существенно изменилось − пилотных проектов и внедрений прибавилось столько же, на сколько меньше стало «сочувствующих». Однако характерно, что лишь менее 5% компаний честно признаются в том, что понятия не имеют о том, что они могли бы делать с Hadoop. Gartner, 2014

Но обзор также выявил и многие нерешенные проблемы. Например, респонденты указали большое разнообразие источников данных, которые они планируют включать в свои проекты, в том числе такие сложные для обработки и управления, как аудио и видео.

Аналитик Gartner Ник Хейдекер (Nick Heudecker) по этому поводу отметил, что эта «чрезмерно оптимистическая и, скорее всего, случайная природа будущих источников данных для анализа указывает только на то, что у организаций нет четкого плана действий. «Выбор всего» не является хорошо разработанной стратегией. Он просто указывает на страх упустить какие-то возможности работы с большими данными».

(Отраслевая пресса довольно шумно и ехидно обсуждала случай, информация о котором просочилась от одного из стартапов-внедренцев Hadoop осенью 2014 г. − после подписания соглашения на $1 млн. покупатель спросил: «Хорошо, а что я теперь, как предполагается, должен с этим делать»? − А.Ч.)

Исследователи Gartner также поинтересовались факторами, сдерживающими внедрение Hadoop, и нашли, что самый серьезный из них − неопределенное мнение о ценности систем работы с большими данными, что-то вроде «в этом нуждаются все люди».

Основные факторы, сдерживающие внедрение Hadoop. Безопасность и аналитика не слишком беспокоят предприятия. Основные вопросы − стоимость интеграции (включая оплату труда и обучение) и, главное, − зачем все это нужно? Gartner, 2014

В целом остается стойкое ощущение дежавю − то же происходило в первые годы бума внедрений ERP-систем. В данном случае все хотят чего-то нового и мощного, но в привычной обертке. Так, то, в чем сегодня нуждается Hadoop для активизации продаж, навеяно в основном большим влиянием Microsoft SQL.

В результате аналитики Barclays сообщают, что 72% опрошенных CIO полагают, что «все еще слишком рано, чтобы сказать, станет ли Hadoop важной технологией в нашей организации». Тем не менее, в Hadoop влито уже столько денег и сил, что сообщество просто не может не преодолеть препятствия на пути его внедрения и использования.

Перечисленное, в частности, является основными причинами того, что IPO Hortonworks выглядит несколько неуклюжим и зыбким. Несколько месяцев назад она говорила о планах привлечь 1 млрд. долл., но сегодня ее IPO оценивается на треть меньше − в $659 млн.

Пока же большинство рабочих мест Hadoop открывается в Силиконовой Долине, где хорошо оплачиваемые профессиональные «головокружители» (propellerheads) образцово внедряют Hadoop и другие технологии Big Data, чтобы убедить потенциальных потребителей в их необходимости и простоте работы с ними.

И все же не они станут истинными победителями Hadoop-турнира, а менее заметные сегодня практики Big Data. Это − деловые люди, которые поняли и определили реальные возможности использования данных, чтобы создавать для себя новые возможности, разрушая наследуемые бизнес-модели. Впрочем, ничего этого не произойдет, если Hadoop останется чрезмерно сложным в использовании. Или, возможно, корпоративный мир просто повернется к другим технологиям.

Cloudera и другие Hadoop-компании могли бы сделать многое, выпуская массовые учебные онлайн-курсы, подобно тому, как это делала MongoDB для базы данных NoSQL, выдав за несколько лет сертификаты более чем 200 тыс. специалистов. Они могли бы также вложить намного больше капитала в создание Hadoop, легкого в использовании непрофессионалами. То, в чем нуждается Hadoop, − это прежде всего удобный в работе набор инструментов, который делает его доступным среднему аналитику данных. Например, так, как описано ниже.

Hadoop − исполняют два индийца

Не успела Gartner предсказать, что в 2015 г. появятся решения класса Hadoop-as-a-Service (HaaS), как в поле зрения специалистов появился стартап Qubole, основанный бывшими сотрудниками команды данных Facebook в 2011 г., чтобы дать инструменты для работы с Big Data непосредственно бизнес-персоналу.

Qubole, разумеется, расположена в Mountain View, Calif. Ее сооснователь и CEO Ашиш Тузу (Ashish Thusoo) играет в открытую − он и его партнер Джойдип Сен Сарма (Joydeep Sen Sarma) создали SQL-интерфейс, работающий поверх Hadoop, интегрировали его с уже существующими полезными инструментами и добавили ряд элементов самообслуживания для пользователей.

В первые годы команда испытала определенные трудности на своем пути, создавая новое ПО и одновременно привлекая венчурный капитал. Однако в начале 2015 г. Qubole получила $13 млн. от Norwest Venture Partners, доведя общий объем инвестиций до $20 млн. Это одновременно и признание, и аванс на ближайший год

В результате клиенты могут создавать собственные кластеры (On-Demand Hadoop Clusters), масштабируя и модифицируя их с помощью встроенного модуля самообслуживания (Self-Management Module). Решение также включает средства для добавления SQL-интерфейсов и коннекторы для перемещения данных в/из различных систем.

С появлением технологии Qubole Data Service окончательно закрепился и относительно новый термин − Big Data Cloud Platform, BDCP, который ранее имел скорее теоретическое восприятие

Первыми клиентами Qubole стали медиа- и рекламные организации. Одна из них − известная компания Pinterest, которая мигрировала с Elastic MapReduce (EMR) после того, как начала испытывать проблемы стабильности с платформой Amazon Big Data.

Pinterest нашла, что платформа Qubole устойчива по крайней мере в масштабе петабайта и имеет более высокую пропускную способность, чем EMR. Что еще более важно, Qubole существенно облегчила работу нетехническим пользователям. Компания регистрирует 20 ТБ новых данных каждый день и имеет приблизительно 10 ПБ в Amazon Simple Storage Service (S3).

В заключение − о значении и ценности проекта Pinterest для потенциальных последователей. Прежде всего, появилось по крайней мере одно решение Hadoop «для обычных людей». Во-вторых, определилась по крайней мере одна индустрия, для которой есть качественное отраслевое решение. И, наконец, более-менее определился «чемоданчик мастера», наполненный теперь основными необходимыми инструментами для работы с Big Data.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365