В поисках панацеи для работы с Big Data

18 июль, 2014 - 10:15Руслан Костецкий

Как правило, существующая сегодня в организациях ИТ-инфраструктура не позволяет накопленным Big Data стать ценным ресурсом и источником полезных знаний для менеджеров и сотрудников.

Возникают проблемы с отказоустойчивостью, со скоростью соединений, не хватает оперативной памяти и дискового пространства. Проблема постоянно усугубляется тем, что поток данных растет в геометрической прогрессии. Попытки решить ее на аппаратном уровне – наращиванием числа серверов и оперативной памяти – не дают заметного эффекта, обходятся дорого и не позволяют организации избавиться от этого раз и навсегда.

Решением задачи может стать высокопроизводительная аналитика, которая позволяет реализовать принципиально иной подход к работе с Big Data. Использование решений класса High Performance Analytics дает возможность сверхоперативно и с большой точностью обрабатывать и анализировать огромные объемы информации.

У нас в компании SAS любят рассказывать историю о том, с чего все начиналось. В компанию поступил запрос от одного банка ускорить процедуру расчета рисков, что ранее занимало около 18 часов. Мы изучили процесс и пришли к выводу, что это невозможно сделать быстрее при использовании одного процессора, ускорение в таком случае составило бы максимум 10%, что не особо существенно. После экспериментов с некоторыми из алгоритмов, которые мы использовали, было обнаружено, что есть возможность расчета матрицы параллельно на разных процессорах. Почти все, что мы делаем сейчас, мы делаем с применением платформ MPP (Massively parallel processing) – вместо использования одного процессора задействованы сотни процессоров, которые могут работать над той или иной частью проблемы. Мы сделали это, и теперь расчет рисков в банке занимает до 12 минут!

Сегодня инструментарий SAS High Performance Analytics предлагает три варианта распределенной высокоскоростной обработки данных: средства углубленного анализа данных, средства отчетности и визуализации данных, а также прикладные аналитические решения. Остается лишь правильно сочетать эти технологии, чтобы удовлетворить потребности любой организации.

Украинский бизнес пока присматривается к возможностям высокопроизводительной аналитики и визуализации данных, экспериментирует с инструментами. Но чтобы в полной мере оценить преимущества таких решений, нужен серьезный подход и инвестиции, в том числе со стороны компании должна быть готовность выделить отдельное железо под in-memory технологии. Второй важный момент – развертывание проекта Big Data должно быть осознанным и проработанным решением, а не следованием очередной популярной тенденции.