Меню
Поиск

Выпущена первая спецификация Open Data Platform Initiative для дистрибутивов Apache Hadoop

30 март, 2016 - 11:30
ODPi борется с фрагментацией экосистемы Hadoop

Некоммерческая организация Open Data Platform Initiative (ODPi), целью которой является создание стандартной модели внедрения корпоративных приложений больших данных для дистрибутивов Apache Hadoop, выпустила первую спецификацию ODPi Runtime и пакет для тестирования.

В спецификацию входят правила и руководства по бесконфликтному внедрению дополнительных возможностей. Исходный код предоставляется посредством соответствующих процессов сообщества Apache.

«Это является кульминацией целого года работы», — заявил старший менеджер ODPi, Джон Мертик (John Mertic). Первостепенной задачей по его словам, было гарантировать максимальный охват всего сообщества Hadoop. «Главный урок, который мы извлекли из обратной связи, заключается в том, что каждый дистрибутив работает по своему; они именуют свои файлы по разному; их API действуют неодинаково».

Новая спецификация среды выполнения разработана на основе Apache Hadoop 2.7 и включает компоненты HDFS, YARN и MapReduce. Использование Apache Bigtop для компоновки пакетов, тестирования и настройки конфигурации гарантирует соответствие инструментов тестирования и самосертификации практикам Apache Software Foundation. Более половины кода последнего релиза Bigtop происходит из ODPi. Тесты ODPi Runtime-Compliance связаны напрямую со строками в ODPi Runtime Specification.

ODPi также предоставила референсную платформу ODPi Core. Созданные на её основе инструменты и приложения будут гарантированно работать с любой совместимой системой.

С выпуском Runtime Specification организация получила возможность двигаться дальше. По информации Мертика, на очереди теперь ODPi Operations Specification, которая позволит предприятиям упростить установку и администрирование Hadoop и приложений на её основе. Будущая спецификация охватит и Apache Ambari для управления кластерами Hadoop. Завершить работу над ней предполагается уже этим летом.

Дальнейшие планы ODPi требуют коллегиального утверждения, причём все участники организации, независимо от их величины и размеров инвестиций, получат по одному голосу. Среди возможных направлений будущей работы ODPi называют Spark, Kafka, HBase и Hive.