#IOD11: Big analytics for Big Data

Компания IBM регулярно проводит ряд глобальных конференций, посвященных программному обеспечению. Если быть точным, то ежегодно проходит пять таких форумов и крупнейший из них Information On Demand.

Эта конференция, посвященная решениям по управлению информацией, крупнейшая не только среди всех проводимых IBM, но и в индустрии в целом. Форум IOD’11, проходивший традиционно в Лас-Вегасе, собрал почти 11 тыс. представителей партнеров и клиентов вендора. Основные выступления проходили на баскетбольной арене комплекса Mandalay Bay, которая с трудом умещала всех желающих.

Конечно же, в центре внимания конференции были такие темы, как Big Data, облачные вычисления, использование мобильных устройств.

Big Data – зона корпоративной амнезии

Джефф Джонас (Jeff Jonas), старший научный сотрудник аналитической группы IBM, в своем докладе на открытии IOD’11 отметил, что современные крупные компании недополучают информацию, как в контексте новых возможностей, так и в отношении грозящих рисков. Производительность средств сбора различных данных растет экспоненциально, а инструментарий для их обработки внедряется крайне медленно. В результате происходит то, что Джонас называет корпоративной амнезией. Для того, чтобы извлечь данные из массивов Big Data уже недостаточно стандартных средств, которые использовались, скажем, последние пять лет.

При экспоненциальном росте средств сбора информации традиционные алгоритмы ее обработки практически вышли на прямую

В качестве еще одной аллегории он привел такой наглядный пример. Представьте, что информация, которую собирает ваша компания из разных источников – это некий пазл и каждый канал поступления данных дает лишь какой-то один элемент этой головоломки. Элемент со своей формой, раскраской и пр. Вы не обладаете изначально общей картиной, поэтому не знаете, что означает каждый из этих элементов, сколько их вообще может быть, есть ли среди них "подставные" и пр. Пока вы не выложите всех их на стол и не начнете собирать, вы не почувствуете общий контекст, а следовательно не сможете понять место каждого.

В приложении к анализу данных Джефф Джонас это называет - Big Data. New Physics. С каждым новым наблюдением за тем, как складывается картина, вы получаете одно из трех утверждений в отношении рассматриваемого элемента – неподходящий, близкий-соседний, подходящий. И если продолжить аналогии с пазлом, то, чем больше данных вы имеете, тем точнее получается предсказание. При этом вы можете использовать менее качественные данные и чем их больше, тем быстрее происходит обработка и меньше требуется вычислительного ресурса. Такой парадокс.

Но как организации, используя все это, могут уйти от «амнезии» и стать более интеллектуальными? Их системы анализа данных должны обладать ситуационной осведомленностью, т.е в режиме реального времени находить «маску» для каждого элемента (используя терминологию решения головоломок).

Джефф Джонас старший научный сотрудник аналитической группы IBM

Сам Джефф Джонас последние три года работает над проектом под кодовым названием G2, который нацелен на создание новых алгоритмов выуживания смысла из массивов данных (он даже использовал в описании своих работ новый термин sensemaking). Часть из этих разработок уже внедряется в приложение IBM SPSS Modeler.

По данным IBM сегодня 90% информации в крупных компаниях остается не проанализированной, при этом 80% данных являются неструктурированными. Все больше данных поступает от различных средств оперативного мониторинга, фактически в онлайн-режиме и все это требует иных подходов.

Watson на коммерческий лад

Пожалуй, чаще всего и в разных контекстах на конференции упоминалась тема IBM Watson (речь о том самом суперкомпьютере, который победил в противостоянии с двумя чемпионами интеллектуальной телевикторины Jeopardy). Точнее даже было бы сказать не тема, а новое направление, которое компания планирует активно развивать. В рамках проходившего мероприятия было объявлено о создании отдельного подразделения Watson Solutions, которое займется продвижением коммерческих решений на базе этой новой аналитической платформы. Как отмечают представители компании, использование Watson должно открыть новый этап в сегменте, поскольку ничего подобного ранее не было. «Система не просто работает с неструктурированными данными, она фактически может делать заключения на основе анализа текстов, написанных на обычном языке и, что наиболее важно, в ней заложены возможности самообучения», заявил Маной Саксена (Manoj Saxena), генеральный менеджер подразделения IBM Watson Solutions.

Маной Саксена, генеральный менеджер подразделения IBM Watson Solutions

Первым сегментом, где будет представлено коммерческое решение Watson станет медицина. Система будет использоваться для диагностики тяжелых заболеваний и повышения эффективности принятия решений в этой сфере. Согласно исследованию издания New England Journal of Medicine, каждому пятому пациенту назначается повторная госпитализация, которую можно избежать. Даже если учесть лишь денежное исчисление этих издержек, сумма получается весьма внушительная – 17,4 млрд. долл. из 102,6 млрд. всего бюджета США на медицинское обслуживание.

На основе Watson планируется также выпуск специализированных решений для страхования и банковского сектора. Как отмечалось, несколько проектов уже находятся в пилотном режиме тестирования и по заявлению представителей компании результаты просто ошеломляющие. Были озвучены и планы предоставления в ближайшие годы ресурса Watson в виде облачного сервиса.

Ускорители аналитики

Если Watson все же кажется чем-то весьма заоблачным, то решения для ускорения аналитики, которые IBM представила на IOD11 вполне доступны внедрению уже прямо сейчас. В частности в Лас-Вегасе компания анонсировала новое сетевое интеллектуальное аналитическое устройство, призванное помочь поставщикам услуг связи в анализе больших объемов (вплоть до петабайтного уровня) сетевых данных и данных о клиентах за считанные минуты.

Согласно данным Международного союза электросвязи (ITU), количество смартфонов в мире вырастет с нынешних 500 млн. устройств до почти 2 млрд. к 2015 г. В феврале текущего года эта же организация сообщила, что пользователи смартфонов потребляют в пять раз больше информационных ресурсов, чем те, кто использует обычные мобильные телефоны. Цифровой образ жизни генерирует постоянно растущие объемы данных. Представленная система IBM Netezza Network Analytics Accelerator должна позволить поставщикам услуг связи улучшить производительность сетей и оперативно получать информацию о потребительском опыте своих клиентов и соответственно более адресно предоставлять услуги. Стоит отметить, что устройства IBM Netezza оптимизированы к определенным рабочим нагрузкам и основаны на технологии IBM BladeCenter.

В качестве реального примера приводился провайдер XO Communications, который уже использует решение IBM Netezza. Прогностическая аналитика IBM SPSS позволяет обрабатывать и оценивать данные о клиентах, а программное обеспечение IBM Cognos для бизнес-анализа дает возможность персоналу XO Communications более эффективно взаимодействовать с данными. XO Communications приходится иметь дело с огромными объемами данных о клиентах, включая демографические показатели, историю транзакций, переговоры клиентов с операторами контакт-центра и многое другое. В общей сложности, эти информационные массивы охватывают свыше 500 переменных данных по клиентам. Благодаря использованию решения IBM провайдеру удалось почти на 50% снизить отток клиентов.

Традиционно в рамках конференции проходила и выставка партнеров. В этом году она заняла более 1500 кв. м. И здесь можно было найти ряд интересных демонстраций партнеров IBM самого разного уровня – от Intel и Cisco до небольшой компании Pentaho из Орландо, которая предлагает средства создания BI-отчетов в режиме реального времени под iPad.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365