Big Data — рецепты от Oracle

Каждый день генерируется около 2,5 квинтильонов байтов данных. Понять много это или мало поможет тот факт, что 90% всех данных в мире созданы за последних два года. Эти данные приходят отовсюду: от всевозможных датчиков, почтовых и социальных сайтов, цифровых и видеокамер, кассовых аппаратов, спутников GPS, медицинских приборов и устройств — и это лишь малый перечень источников. И все они (данные) нуждаются не просто в обработке, а в анализе в режиме, максимально приближенном к режиму реального времени.

Кевин Ланкастер: «Oracle поставляет на рынок полный комплекс продуктов для сбора, организации, анализа Big Data и выработки решений»

Свои предложения по решению этой проблемы, в том числе и специализированные программно-аппаратные системы Oracle Exadata Database Machine, Oracle Big Data Appliance и Oracle Exalytics Business Intelligence Machine, представила компания Oracle на прошедшей в Киеве в конце апреля конференции Big Data Extreme Analytics Summit.

Явление Big Data предстало перед бизнесом как данность. Готов ли он к этому? Эту тему осветил в своем выступлении Кевин Ланкастер (Kevin Lancaster), директор по ключевым технологиям Oracle EMEA.

По его мнению, ИТ стоят на пороге больших перемен. И эти перемены обусловлены наступлением эры Big Data. В свою очередь, организации, которые смогут извлекать полезную для бизнеса информацию из поступающей лавины данных, получат огромные возможности для использования ее в своих бизнес-приложениях и в работе. К примеру, здравоохранение сможет оказывать превентивную помощь и снизить количество госпитализированных пациентов, производители с помощью датчиков, встроенных в продукты, смогут выполнять автоматическую диагностику и поддержку, розничная продажа — определять предпочтения покупателей на основании анализа контента социальных сетей и т. п.

Однако все понимают, что даже если и можно собрать все эти данные, то их очень сложно обработать. Для этого, прежде всего, необходимы соответствующие инструменты, чтобы эти данные собрать, ими управлять и анализировать. Другими словами, стратегия Big Data заключается в том, чтобы определить, как захватывать полуструктурированные и неструктурированные данные в режиме реального времени, как их организовать с целью объединения с имеющимися в ЦОД, какими инструментами и насколько квалифицированно будет выполнен их анализ, и как использовать результаты анализа в бизнес-процессах для повышения их эффективности.

Существуют две основных технологии, которые могут применяться для работы с большими массивами данных. Это программные каркасы, которые создают парадигму для параллельной работы нескольких масштабных приложений, не использующих связи SQL, так называемые NoSQL Database. Примером таких БД могут служить массивы графиков или текстов.

Другим программным каркасом является Hadoop (имя слоненка, игрушки сына основателя проекта — прим. ред.), предназначенный для разработки и выполнения распределенных программ, работающих на кластерах из сотен и тысяч узлов.

Если говорить об интеграции Big Data, то здесь у Oracle есть так называемые коннекторы. Так, например, Loader for Hadoop позволяет использовать обработку MapReduce для фильтрации, сортировки и агрегирования данных для эффективной загрузки и анализа в Oracle Database 11g. Различие между этим загрузчиком и другими состоит в том, что он генерирует внутренние форматы Oracle для более быстрой загрузки и потребляет меньше ресурсов.

Инструмент R Connector является комбинацией языка программирования с открытым кодом, программной среды для статистических вычислений и графики типографского качества с Oracle Database 11g.

Правда, здесь возникает проблема масштабируемости, которая решается за счет использования R в рамках БД Oracle.

Direct Connector for Hadoop Distributed File System (HDFS) позволяет напрямую подключаться к распределенной файловой системе Hadoop, обходя Oracle Database 11g.

Кроме программного обеспечения, компания предлагает и аппаратную поддержку для работы с Big Data — это комплексы Exalytics и Exadata, оптимизированные для обработки и анализа больших массивов данных. Хотя базы данных Oracle могут работать на разных вычислительных комплексах, но наилучшим образом они работают на Exadata Database Machine. Семейство состоит из моделей Х2-2 и Х2-8. Первая предоставляет 96 ядер, 768 ГБ ОЗУ, 504 ТБ дискового пространства и 5 ТБ флэш-памяти для кэширования. В качестве ОС потребитель может выбрать Oracle Linux или Solaris 11 Express. Конфигурация второй модели включает 160 ядер и 4 ТБ ОЗУ, остальные параметры совпадают с Х2-2.

Для Exadata имеется высокоуровневое оптимизированное ПО. Примерами могут служить Smart Scan, с помощью которого значительно повышается скорость обработки запросов посредством индексации базы данных и выполнении фильтрации непосредственно на сервере хранения, интегрированные аналитика и «добыча данных».

Таким образом, Oracle поставляет на рынок полный комплекс продуктов для сбора, организации, анализа Big Data и выработки решений.

Джонатан Айнсуорт: «Exalytics является первым на рынке аппаратно-программным комплексом, оптимизированным для задач бизнес-аналитики»

Более конкретно на особенностях Exalytics in-Memory Machine остановился директор по бизнес-аналитике Oracle EMEA Джонатан Айнсуорт (Jonathan Ainsworth). По его словам, Exalytics является первым на рынке аппаратно-программным комплексом, оптимизированным для задач бизнес-аналитики. Его основные компоненты включают набор инструментов для бизнес-аналитики в специальной редакции (Business Intelligence Suite), аппаратный комплекс и ПО для выполнения анализа in-memory. Комплекс поставляется с более чем 80 предварительно встроенных аналитических программ, в число которых, к примеру, входят финансовый модуль, цепочки поставок и логистика, продажи и маркетинг. Интерфейс с высокой плотностью визуализации и средства интерактивного анализа ускоряют получение результатов. Exalytics позволяет анализировать данные с помощью iPad и iPhone — все отчеты, интерактивные запросы, информационные панели и другие объекты BI-контента доступны для пользователей мобильных устройств без дополнительных доработок и изменений. Exalytics поддерживает все источники данных Oracle BI и оптимизирован для работы с Exadata. Для получения большей скорости обработки данные могут загружаться в Exadata в режиме реального времени. Если говорить о вычислительных ресурсах комплекса, то это 40 ядер, 1 ТБ ОЗУ и высокопроизводительная сеть.

Далее докладчик привел в качестве примера ряд реализованных в крупных компаниях проектов и продемонстрировал видео с комментариями сотрудников этих компаний. Так, в Nykredit, одной из крупнейших финансовых корпораций в Дании, тандем Exalytics + Exadata позволил выполнять обработку данных от 35 до 70 раз быстрее, чем на прежней платформе на базе IBM P5. По мнению выступающего, подобные комплексы выводят бизнес-аналитику на новый виток развития.

Второе выступление Джонатана Айнсуорта было посвящено мобильным BI-технологиям. Для сегодняшних пользователей мобильность означает «незамедлительность», «легкость» и «совместимость», отметил докладчик. Они хотят видеть на мобильных устройствах то же содержание, что и на своих компьютерах в офисе или дома. Им нужен доступ к данным по требованию, и они хотят понимать, анализировать и принимать решения в любое время. По прогнозу Gartner, к 2013 г. 33% BI-функциональности будет реализоваться на карманных устройствах.

Миломир Войводич: «Oracle Data Integrator централизует всю разработку платформы ETL, исключая тем самым необходимость ручного кодирования»

Одной из проблем здесь является поддержка актуальности мобильных приложений: требования к BI постоянно меняются, поскольку изменяется и сам бизнес. Опыт показывает, что в первый год изменяется 50% требований к проекту.

Кроме этого, при разработке мобильных BI-приложений нужно придерживаться ряда принципов. Необходимо выполнить единую разработку для всех каналов доставки, другими словами, не должно быть ручной настройки или реформатирования контента инструментальных панелей для каждого канала доставки. И в браузере, и на мобильном устройстве пользователь должен видеть одну и ту же картинку. Приложение должно быть простым в использовании и не требовать отдельной сложной установки. Этих принципов придерживается Oracle в семействе продуктов BI.

Одним из ключевых вопросов использования Big Data является их интеграция с имеющимися у компании данными. Решения Oracle по интеграции данных представил менеджер по развитию бизнеса Oracle в регионе EMEA Миломир Войводич (Milomir Vojvodic). В частности, Oracle Data Integrator (ODI) централизует всю разработку платформы ETL (Extraction, Transformation, Loading), исключая тем самым необходимость ручного кодирования. Трансформация выполняется в целевой базе данных без участия промежуточного сервера. При интеграции данных важным является также качество информации. При подключении нескольких БД, в том числе и нереляционных, одна и та же информация может быть записана разным образом. Поэтому для эффективной обработки необходима верификация и унификация данных.

В целом же ODI упрощает создание кодов для Hadoop и MapReduce для усиления производительности, объединяет гетерогенные данные посредством индустриальных стандартов Hadoop, MapReduce, Hive, NoSQL и HDFS, оптимизирует загрузку Big Data в Exadata с помощью Big Data Connectors.

Перед участниками форума выступили также сотрудники Oracle Украина. Так, специалист по бизнес-аналитике Константин Ступак сделал доклад, который назывался «BI Applications: первый шаг в использовании вашего EPR как инструмента развития бизнеса», а специалист по решениям Олег Мельничук рассказал об Oracle Big Data Appliance — оптимизированной инженерной системе для получения, трансформации и загрузки неструктурированных данных в Oracle Database 11g. Специальный гость форума, начальник управления ИТ, «Киевстар», Андрей Пеший поделился опытом по управлению данными в режиме реального времени.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365