Big Data 2015: вниз по скользкой дорожке

Технологии работы с большими данными (и, в частности, их анализа), несмотря на очевидные успехи, до сих пор все же проходили необходимую начальную стадию, связанную с существенными инвестициями и трудозатратами. По сути, только сейчас они вступают, так сказать, в промышленную стадию производства. В последнее время каждый год для Big Data был по-своему интересным и уникальным.

В действительности все не так, как на самом деле
Станислав Ежи Лец

Нет ничего хуже расхожего мнения. Аргумент «это всем известно» − не аргумент. Людям свойственно воспринимать и укладывать получаемую информацию в уже имеющиеся у них привычные (и довольно жесткие у большинства) рамки собственного понимания. Так часто бывает в IT. Что-то подобное произошло в последние год-два и с Big Data.

Что обычно говорят о Big Data

1. «За кратким, удобным и всеобъемлющим термином Big Data скрывается множество связанных технологий — и проблем с их реализацией». Это верно.

2. «Действительно горячей темой большие данные стали только в 2012 г. − до этого все же происходило накопление определенной „критической массы“. Следующий, 2013 г. можно связать в основном с повышением доступности за счет реализации SQL-on-Hadoop. Последние „большие вещи“ (2014) − кластерные технологии YARN и Spark для Hadoop* − сделали Big Data гораздо более универсальными в использовании». Это также верно.

*Для более подробного знакомства с компонентами и технологиями Hadoop можно рекомендовать обстоятельную статью в англоязычной Википедии.

3. «Относительно 2015 г. преобладает довольно расплывчатое мнение о том, что он будет годом „активного, но последовательного и целенаправленного развития Hadoop“. Во всяком случае, 2015 не станет годом какого-то беспрецедентного прорыва. Скорее, это будет время для весьма необходимого развития и оптимизации существующих технологий для работы с большими массивами данных, равно как и соответствующей аналитики». Это пока не так.

Карта развития появляющихся технологий Gartner от июля 2014 г. (Gartner’s Hype Cycle for Emerging Technologies 2014)

4. «Gartner довольно сдержано определяет перспективы Big Data, которые сейчас находятся аккурат на границе „области больших ожиданий“ (пройдя ее) и „ямы разочарования“. При этом на достижение полной готовности и уровня обыденного применения Big Data дается от пяти до десяти лет». И да, и нет.

5. «Процесс созревания Big Data теперь будет связан с менее захватывающими событиями, чем те, которые мы видели в последние несколько лихорадочные, „вот-вот“, годы. Технологии Big Data станут более стандартизированными, более широко принятыми, в какой-то мере обкатанными и в целом более успешными, с многочисленными „историями успеха“. Тем не менее, для разработчиков, поставщиков, консультантов и внедренцев 2015 год обещает в данном направлении стать наиболее прибыльным, чем когда бы то ни было». И да, и нет.

Перечисленные выше пять пунктов являются, по сути, небольшим дайджестом последних публикаций по Big Data, в том числе на достаточно серьезных и уважаемых ресурсах. Однако существует еще одна точка зрения, которая часто упускается из виду просто в силу той же косности, отсутствия достаточного количества информации и аналитики (и, возможно, терпения).

В сентябре 2014 г. Gartner выпустила интересный документ**, посвященный 20-летию Gartner’s Hype Cycle for Emerging Technologies 2014). Он не слишком широко освещался и довольно академичен, но содержит аналитику по всем двадцати построенным волнам созревания IT. В следующем разделе из них отобрано все, что касается технологий, так или иначе связанных с большими данными.

**G00269298, Applying Lessons From 20 Years of Hype Cycles to Your Own Innovation and Forecasting Strategies, 16 September 2014

Big Data: ретроспектива от Gartner

Сегодня так много и разнообразно говорят о Big Data, что создается впечатление, что большие данные были всегда, и всегда назывались именно так. На самом же деле первое, точнее, «нулевое», упоминание о них в Gartner’s Hype Cycle for Emerging Technologies относится не далее, чем к 2010 г. Собственно, и тогда речь шла только об «Экстремальной обработке транзакций» (eXtreme Transaction Processing, XTP)" и только для структурированной информации. Соответствующая точка располагалась примерно посередине первой фазы Hype Cycle (Technology Trigger), а выход XTP на мейнстрим ожидался в течение 5-10 лет.

2011 г. стал временем наибольших ожиданий и оптимизма для новых технологий. Направление получило собственное название − «„Big Data“ and Extreme Information» − и впервые сам термин «Big Data» был признан Gartner (хотя и неофициально, поскольку указывался в кавычках).

Понятие «экстремальной информации», как концепции управления информационной инфраструктурой, было впервые официально озвучено в октябре 2011 г. на Gartner Symposium аналитиком Марком Бейером (Mark Beyer). Здесь уже имелась в виду как структурированная, так и неструктурированная информация, а Big Data были только частью общей картины.

Оригинальное название этого слайда: «„Big Data“ Is Only the Beginning of Extreme Information Management, April 7, 2011, Gartner Group». Уже на следующий год от него остались только Big Data.

Позиционно технология немного передвинулась к границе следующей стадии, «Peak of Inflated Expectation», хотя и не пересекла ее. Зато ожидаемое время до выхода на мейнстрим составляло уже всего от двух до пяти лет. То есть, по мнению Gartner, прогресс здесь был настолько очевиден, что направление стало выкристаллизовываться в нечто, достойное самостоятельной терминологии, а его развитие шло темпами «два года за один».

Следующий, 2012 год несколько остудил горячие головы, поскольку реальный прогресс в области Big Data (уже без кавычек и как самостоятельная технология) был вовсе не так значителен, как это ожидалось еще год назад. Входная граница «пика ожиданий» была едва преодолена. Тем не менее (видимо, скорее по инерции, чем за действительные успехи) выход − уже не на мейнстрим, а на последнюю стадию зрелости и «плато продуктивности», согласно новой терминологии Gartner, − ожидался по-прежнему в течение 2-5 лет.

Впрочем, нужно отдать должное Gartner, которая в следующем Hype Cycle 2013 года решительно пересмотрела свое отношение к Big Data. Она нашла, что Big Data все еще топчутся на месте, не достигнув даже вершины пика ожиданий, и уверенно вернулась к прежней оценке, отведя на созревание технологий 5-10 лет. Впрочем, возможно, это была необходимая задержка для Big Data, чтобы «остановиться и оглянуться».

Это подтверждается и тем, что в 2014 г. совокупность технологий Big Data стремительно помчалась вперед и вниз по крутому склону «Trough of Disillusionment». Она фактически вступила в очередную, новую фазу «разрушения иллюзий», где приверженцам больших данных придется пережить неизбежный период разочарований. После этого останется только спокойный и относительно неторопливый период доработки технологий, устранения лишнего, повышения коэффициента возврата инвестиций (Return On Investment, ROI) и т.п. Правда, время созревания наученная опытом Gartner пока оставила прежним, 5-10 лет.

Собственно, во всем этом нет ничего удивительного. В том же указанном документе Gartner приводится любопытная табличка с примерами хорошо известных сегодня, но довольно медленно продвигавшихся к своей зрелости технологий.

Пожалуй, наиболее показателен пример Wearable Computers. Им, при всей очевидности идеи, из-за неготовности технологий пришлось 17 лет карабкаться всего лишь от «появления» до «пика ожиданий» от них.

Подытоживая, можно сказать, что наиболее правильным по отношению к Big Data сегодня является следующее утверждение.

Big Data только в 2014 г. стали де-факто одной из самых интересных и перспективных корпоративных информационных технологий, а основные события в данном сегменте развернутся в ближайшие два-три года.

О чем действительно стоит беспокоиться

Из публикаций 2014 г. по Big Data хотелось бы отметить рассудительную статью Майка Уитли (Mike Wheatley) на ресурсе siliconANGLE.

Итак, согласно Gartner, технологии Big Data сегодня официально преодолели «Peak of Inflated Expectations» и скользят вниз, к «Trough of Disillusionment». Уитли по этому поводу, ссылаясь на Gartner, отмечает, что «все идет все быстрее», поскольку уже выработана ясная последовательность совершенствования технологий, причем самые последние авансы в Big Data − уже совокупные, а не революционные.

«Важно признать», − пишет Уитли, − «что цикл Gartner отражает не фактическую трансформацию технологий, а то, как их рассматривает промышленность на предмет практического применения. Необоснованные нападки на Big Data в действительности происходят из-за несоответствия больших ожиданий (и большого маркетингового шума) реальному положению дел в данной области. То же касается и многих других IT, − например, некоторых вариантов реализации Cloud Computing и пр.».

Вывод аналитика вполне очевиден: руководителям компаний сегодня не следует подгонять своих CIO с внедрением Big Data. Гораздо лучше организовать реальную исследовательскую и экспериментальную работу применительно к своей области и к своему предприятию.

При этом одним из наиболее важных направлений внутренних подготовительных работ, согласно Уитли, следует считать централизованный подход к обеспечению безопасности всего, что связано с корпоративным использованием больших данных. Это кажется достаточно очевидным, но реально до 80% предприятий не начнут такую работу вплоть до 2016 г. (Gartner).

Big Data 2015

В дополнение к Уитли, сошлемся на отчет «Outlook: Big Data and Analytics in 2015», распространяемый с конца декабря 2014 г. исследовательским подразделением компании Gigaom и определяющий наиболее вероятные тенденции 2015 г. в данной области.

1. Проекты в области управления данными (Data Governance) получат более высокий приоритет, поскольку очевидно, что постоянно растущим массивам данных (в том числе реального времени) нужны будут соответствующие средства управления. Текущие подходы, основанные на годах опыта организации хранилищ данных и работы с OLAP, более не достаточны для существующих задач. Другими словами, сегодня требуется новое понимание задач и новое мышление для их решения.

Data Governance − набор многих, до конца еще не разработанных, технологий управления данными, что и обусловливает сложность реализации полного цикла.

2. Hadoop продолжит свое превращение из инфраструктурного решения в сервис. Дискретные компоненты решений, − такие, как, например, хранилище данных Hive и аналитическая платформа Pig, − продолжат самостоятельное существование, но при этом также станут услугами, которые дадут дополнительную функциональность высокоуровневым облачным платформам самообслуживания (self-service cloud platform).

3. Примерно таким же образом новые средства разработки сделают Hadoop более дружественным для архитекторов и разработчиков и более встраиваемым (embeddable) в приложения, прежде всего − торговой специализации. Основная трудность здесь видится в малом количестве специалистов высокой квалификации и определенном времени, которое потребуется, чтобы ликвидировать этот дефицит.

4. Реляционные базы данных наконец получат более развитые средства обработки полуструктурированных данных (semi-structured data), о необходимости чего говорится уже несколько лет. Аналогично, сегодняшние базы данных NoSQL также должны получить дополнительные средства для обработки больших данных.

В действительности... и на самом деле

В заключение для полноты картины приведем мнение Кормака Уолша (Cormac Walsh), главного аналитика Fonecta Enterprise Solutions, который в конце ноября 2014 г. как бы подытожил все сказанное выше, обратив внимание на следующие особенности 2015 г. как года больших данных и их аналитики.

«Последние несколько лет были экстраординарным временем для аналитической индустрии», − пишет он. − «Мы увидели появление специализации Data Scientist как новой ключевой стратегической роли для большинства предприятий. Также повсеместно пришло понимание того, что бизнес-анализ больших данных − наиболее мощный на сегодня инструмент для сопровождения большинства функций компании. Перечисленные тенденции уже создали определенный спрос, который индустрия, как ожидается, закроет в необходимом объеме уже в 2015 г. Аналитика больших данных постепенно становится частью повседневных действий компании, и является сегодня одной из главных тенденций 2015 г.».

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365