Apache Spot – аналитика больших данных на службе кибербезопасности

Вчера, на выставке Strata+Hadoop World в Нью-Йорке компании Cloudera и Intel объявили о передаче ими организации Apache Software Foundation (ASF) нового проекта, который будет заниматься аспектами применения машинного обучения и аналитики больших данных для укрепления киберзащиты.

Формально, Intel запустила этот проект в феврале. Тогда он назывался Open Network Insight (ONI), но в состав инкубатора ASF он вошёл под именем Apache Spot.

Как сообщил один из учредителей и стратегический директор Cloudera, Майк Ольсен (Mike Olson), идея этого проекта заключается в создании общей открытой модели данных, которая позволит любому разработчику использовать новые аналитические возможности для решения проблем кибербезопасности.

Spot базируется на платформе больших данных компании Cloudera, Apache Hadoop – для управления бесконечными журналами и хранения данных, и Apache Spark – для машинного обучения и выявления аномалий почти в реальном времени.

ПО может анализировать миллиарды событий, обнаруживая неизвестные и внутренние угрозы, и призвано поднять эффективность киберзащиты на новый уровень сократив среднее время восстановления работоспособности (Mean Time To Repair, MTTR) после обнаружения атаки.

Для того, чтобы отделять вредоносный трафик от нормальной сетевой активности и характеризовать наиболее вероятные угрозы, в Spot применяется машинное обучение вместе с такими процессами, как контекстное обогащение, фильтрация шума и эвристика.

Открытые модели данных (для сети, конечных пунктов и пользователей) облегчат организациям обмен аналитикой о новых возникающих угрозах, упростят интеграцию кросс-программных данных для обеспечения лучшей видимости предприятия и реализации продвинутых аналитических функций.

Инициативу Apache Spot поддержали также eBay, Webroot, Jask, Cybraics, Cloudwick, и Endgame.