Приложение внесёт порядок в Big Data

Большие данные (Big Data) способны улучшить многие аспекты нашей жизни, но для того, чтобы получить осмысленные ответы, собранную информацию обычно приходится подвергать кропотливой и дорогостоящей предварительной обработке.

Целью проекта реализуемого на базе Университета Баффало (UB), является создание программного средства Vizier для оптимизации подготовки данных. Интуитивный интерфейс этого ПО сочетает свойства записной книжки и электронной таблицы, но, в отличие от этих приложений, поддерживает интерактивную работу с гораздо более крупными массивами данных, исчисляемые миллионами и миллиардами записей. Vizier позволяет аналитикам быстро просматривать и редактировать исходную информацию, визуализировать полученный результат.

Возможности автоматической и полуавтоматической очистки данных интегрированы с системой разрешения неопределённостей и отслеживания изменений. Vizier сохраняет историю правок и на её основе может выдавать контекстные рекомендации по дальнейшим действиям.

Этот проект стартовал в январе при поддержке Национального научного фонда (NSF), выделившего на него 2,7 млн долл в рамках программы Data Infrastructure Building Blocks (DIBBs). Vizier будет выпущено как бесплатное ПО с открытым кодом.

«Мы хотим, чтобы для аналитиков — а в конечном итоге для всех энтузиастов — стало проще не только узнавать, о чем говорят данные, но и почему они это говорят», — подчеркнул Оливер Кеннеди (Oliver Kennedy), адъюнкт-профессор UB и главный исследователь проекта.