Data Science Machine автоматизирует анализ Big Data

Исследователи из Массачусетского технологического института (MIT) поставили перед собой цель исключить человеческий фактор из анализа больших данных, разработав систему, которая не только ищет закономерности, но также самостоятельно определяет набор параметров для такого поиска.

Возможности созданного ими первого прототипа системы Data Science Machine тестировались в трёх конкурсах, где он соперничал с командами людей в выявлении повторяющихся особенностей в незнакомых массивах данных. Всего во всех трёх соревнованиях боролись за победу 906 коллективов, система MIT оставила за собой 615 из них. В двух из трёх чемпионатов прогнозы, сделанные Data Science Machine, были на 94 и 96% так же точны, как и победившие варианты, в третьем цифра была менее убедительной — 87%. При этом у людских команд на составление прогностического алгоритма уходили месяцы, а Data Science Machine тратила лишь от двух до 12 часов.

«Мы рассматриваем Data Science Machine как естественное дополнение к человеческому интеллекту, — отметил Макс Кантер (Max Kanter), чьи тезисы диссертации были положены в основу Data Science Machine. — Вокруг нас столько данных, ждущих своего анализа. Возможно, мы сможем предложить решение, которое позволит нам сдвинуться с мертвой точки, начать делать что-то».

Кантер и его научный руководитель, Калиан Вирамаханени (Kalyan Veeramachaneni) из лаборатории CSAIL (Computer Science and Artificial Intelligence Laboratory) рассказали о принципах организации Data Science Machine в статье, которую на следующей неделе представят на международной конференции IEEE Conference on Data Science and Advanced Analytics.