Синтезатор вероятностных моделей делает анализ сложных данных общедоступным
Разработчики из Массачусетского технологического института (MIT) рассчитывают сделать статистические исследования более доступными для неспециалистов с помощью созданного ими ПО, которое автоматически генерирует модели для анализа необработанных данных.
Этот инструмент предоставлен в Jupyter Notebook, открытой веб-среде, позволяющей интерактивно запускать программы в браузере. От пользователя требуется написать всего несколько строчек кода, чтобы указать местоположение массива исходных данных, нацелив ПО на выявление закономерностей в распространении болезни, в предпочтениях покупателей или избирателей, или любые другие тренды.
Посвященная этому исследованию статья была представлена на симпозиуме ACM SIGPLAN по принципам языков программирования. В ней авторы продемонстрировали, что их инструмент способен выявлять связи внутри реальных массивов данных и делать прогнозы, превосходя в некоторых аналитических задачах модели, сконструированные вручную.
В этой работе используется Байесово моделирование, статистический метод, в котором вероятность переменной постоянно обновляется по мере того, как становится доступно больше информации об этой переменной. В общем случае, Байесовы модели могут применяться для прогнозирования неизвестной величины в массиве данных и для выявления взаимосвязи между данными.
Байесовский подход рассматривается как стандарт построения моделей на основе данных, но такое моделирование трудоёмко и занимает много времени. Статистики сначала делают обоснованное предположение о необходимой структуре и параметрах модели, опираясь на общее знание проблемы и данных. Затем, в среде статистического программирования, такой как R, строят модель, подбирают параметры, проверяют результаты и повторяют процесс, пока не достигнут компромисса между сложностью и точностью модели.
Новое ПО автоматизирует ключевую часть этого процесса. Оно может давать нужные ответы на основе данных, причём может делать это строго, сообщая о количественных показателях неопределенности.
«Этот уровень автоматизации и строгости важен если мы хотим сделать аналитику данных более доступной», – утверждает Викаш Мансингхка (Vikash Mansinghka), соавтор статьи, возглавляющий проект вероятностных вычислений MIT.