`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Big Data: через понимание к применению

+11
голос

Украинский Forbes провел конференцию «BIG DATA в Украине: преимущества больших чисел», собравшую несколько десятков руководителей и ведущих технических специалистов украинских компаний. В ее анонсе Big Data («большие данные») были представлены как актуальный бизнес-приоритет, что является некоторым преувеличением даже для развитых стран. В Украине же, судя по вопросам из зала, эта тема еще более далека от насущных проблем.

Впрочем, это и не удивительно, в силу сравнительной новизны данной концепции, которая зародилась в начале 2000-х, долгое время развивалась по большей части в академической среде, а окончательно сформировалась к концу десятилетия. Сам термин Big Data был введен в обиход, по-видимому, лишь в 2008 г., но уже с 2011 г. он занял прочное место в списке основных тенденций, влияющих на развитие ИТ.

Big Data: через понимание к применению

Эрон Келли: «Сегодня удивительное время — пользователи получают в свое распоряжение мощные аналитические инструменты, открывающие поистине неограниченные возможности»

Поэтому конференция носила, скорее, просветительский характер, и приглашенные докладчики из Microsoft и SAP постарались донести до аудитории собственное видение Big Data и познакомить с возможными применениями новых подходов и широтой открываемых ими перспектив. Все докладчики, однако, были единодушны в том, что появление Big Data вызвано реальными потребностями ИТ и бизнеса. Gartner еще более 10 лет назад сформулировала их в виде «трех V» — Volume, Velocity, Variety — характеризующих собственно данные, с которыми приходится иметь дело компаниям: их много, они поступают с большой скоростью и достаточно разнообразны. В последнее время список «V» стал дополнительно расширяться, в частности, многие добавляют Veracity — достоверность, — которую, можно распространять как на исходные данные (их целостность и полноту), так и на полученные на их основе результаты.

Но Эрон Келли (Eron Kelly), генеральный менеджер Microsoft по маркетингу платформы данных, считает, что проблема заключается не только в росте объемов данных и сложности их обработки. Имеется встречный процесс со стороны бизнеса, который сегодня хочет получать все больше знаний, затрачивая на это все меньше ресурсов и времени. При этом меняются и способы потребления информации: аналитик рассчитывает получать доступ к своим инструментам в любое время и в любом месте, в том числе, с мобильных устройств. С точки зрения Microsoft это диктует потребность в создании всеобъемлющей платформы данных, охватывающей как традиционные, так и Big Data технологии, а также высокоуровневые аналитические инструменты. Существенную роль при этом должно играть «облако», которое идеально подходит для решения задач в области высокопроизводительных вычислений и повсеместного доступа.

Соответственно, ключевым компонентом Big Data в стратегии Microsoft является HDInsight, дистрибутив Hadoop, разработанный в сотрудничестве с Hortonworks и оптимизированный для работы на платформе Windows Azure. Запущенный в конце октября 2013 г., HDInsight может использоваться совместно с традиционными аналитическими инструментами вроде PowerPivot и Power View, а также с новыми онлайновыми — Power BI, и уже нашел применение в нескольких проектах. В частности, муниципалитет Барселоны использует его для оценки общественного мнения и выявления потребностей жителей города; 343 Industries, разработчик популярной игры Halo 4, — для анализа поведения игроков; медицинская компания Ascribe — в клинических исследованиях.

Big Data: через понимание к применению

Дмитрий Шепелявый: «Важно не только обладание соответствующими инструментами, но и отраслевая экспертиза, опыт решения конкретных бизнес-задач»

Дмитрий Шепелявый, заместитель генерального директора, директор департамента технологических решений SAP СНГ, представил Big Data в контексте преодоления очередного информационного барьера, поставив данную концепцию в один ряд с письменностью, книгопечатанием, компьютером. SAP также располагает развитой платформой для обработки данных, в том числе, сотрудничает с Intel и Hortonworks в части поддержки взаимодействия с Hadoop. При этом платформа характеризуется как способная работать в реальном времени, что обеспечивается ее центральным компонентом — СУБД HANA. В ней применяется in-memory подход, массово-параллельная обработка, поколоночное хранение, компрессия и прочие ухищрения, обеспечивающие высочайшую производительность, которой, как считают в компании, не могут достичь конкуренты. Кроме того, в HANA встроены разнообразные аналитические инструменты, в том числе, готовые методы статистической обработки, поддержка языка R и пр., что позволяет создавать на ее основе эффективные решения, в которых не требуется обмен данными с внешними системами. Таким образом, во главу угла поставлена скорость, которая в бизнес-решениях играет весьма важную роль.

SAP также перевела на HANA свои решения из состава Business Suite, что обеспечило ей сравнительно большое количество проектов, которые можно отнести к категории Big Data. Причем, их разнообразие прекрасно подтверждает тезис о повсеместной применимости соответствующих подходов. Дмитрий Шепелявый привел примеры и типичные задачи из самых разных отраслей, включая медицину, транспорт, финансы, торговлю. Столь широкий отраслевой опыт, очевидно, дает SAP определенное преимущество перед многими конкурентами, так как позволяет продемонстрировать реальную применимость и эффективность решений Big Data.

Последнее особенно важно, поскольку сегодня концепция Big Data находится в самом начале своего пути и ни в коем случае не является панацеей в каком бы то ни было смысле. Существует в том числе и определенная критика соответствующих подходов, основанная, прежде всего, на том, что «слепая» обработка всего массива данных может скрывать от аналитика их природу и специфические особенности, которые, возможно, учитывались бы при осознанном построении выборок. Тем не менее, можно утверждать, что даже в нынешнем состоянии Big Data и смежные технологии позволяют решать задачи, которые еще вчера казались нерешаемыми.

Big Data: через понимание к применению

Павел Волощенко, старший консультант-эксперт SAP Украина: «На самом деле заказчику не важно, что лежит в основе его решения — главное, чтобы оно работало быстро и эффективно. Именно поэтому наши решения сегодня основываются на HANA»

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+11
голос

Напечатать Отправить другу

Читайте также

Microsoft правильный доклад сделали о Биг Дата, а САП - только что у конкурентов такого нет :)

Я плохо понимаю причем SAP HANA к Big Data?
SAP HANA продается по 64Гб, максимум 2 Тб.
Биг дата - это не единицы террабайт, а сотни, а то и петабайты.
Поэтому HANA - не Big Data, а инструмент для работы с результатами, полученными (выжатыми) из больших объемов данных другими инструментами, например, той же системой распределенной обработки Hadoop. И таких инструментов сотни.

У конкурентов как раз есть такие инструменты по работе с большими данными, каких нет у САП - называются, например, Big Data Appliance, где в качестве ПО используется бесплатный дистрибутив Hadoop и NoSql (1-й для пакетной обработки больших данных, второй - для точечного получения информации).

Присоединяюсь к Александру. Ивент налицо заказной. Лучше бы форум сделали или саммит и позвали конкурентов ;-)

Что касается достойного решения в сфере Big Data (с поддержкой Hadoop и встроенным BI), то это HP Vertica. Тут что IBM, что Oracle, что EMC - нервное курят в стронке ))) Можно пошупать бесплатную версию с хранением до 1ТБ и перейти на Enterprise.

Кому интересно ознакомиться, вот ссылочки полезные
http://www.vertica.com/
http://habrahabr.ru/post/190740/
http://www8.hp.com/us/en/software-solutions/big-data-platform-haven.html

Кому интересно пощупать Vertica, обращайтесь.

:)
Владимир, вы говорите, что ивент заказной и сами одну только рекламу о своем продукте написали.

Можете сказать, на основании чего у вас такой вывод о "все остальные нервно курят в сторонке"?
И кто это по-вашему мнению "все остальные", точнее с какими продуктами IBM, Oracle, EMC вы сравниваете?

Лично мое мнение, решение по Биг Дате может построить любой из этих вендоров.

И как по мне, как раз у Вертика самая высокая цена и неправильная политика ее формирования - по террабайтно, для больших данных цена выходит даже выще чем у САП.

Александр,

Это не мой продукт ) А НР ))

Есть независимые тестирования решений в кластере на петтабайтах и с другими тербованиями, и Vertica себя очень хорошо проявила по сравнению с IBM Netezza и EMC GreenPlum, к примеру.

Независимые тестирование - это думаю в нашей стране никому не интересно. Пока не будет десятки подобных внедрений - все будут осторожничать, все-таки суммы немаленькие.

Идеальный вариант: Заказчик, должен взять свои данные и проверить работу в лабораториях Oracle, IBM, EMC или HP.

И главное, конечно, сравнивать сравниваемое :)
Вот например, по данной ссылке одна украинская компания пыталась сравнить и выбрать что им подойдет для БигДаты:
http://robklopp.wordpress.com/2012/11/15/priceperformance-of-hana-exadat...

Но как я написал выше, у Оракл например есть Big Data Appliance - Где стоимость 1 ТБ = 2 тыс. долл - это, во-первых, вне конкуренции по сравнению с любым из конкурентов,
и во-вторых, это инструмент чисто для работы с БигДата - а то многие слышат про hadoop и примешивают туда что-то монстроидально-дорогое :)

Владимир, ваши комментарии несколько противоречат тематике вашей же статьи :) http://ko.com.ua/vladimir_lyulka_supportio_my_staraemsya_ujti_ot_akcenti...

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT