Cloudera объявила о выпуске бета-версий RecordService и Kudu

К закончившейся вчера в Нью-Йорке конференции Strata + Hodoop World 2015 фирма Cloudera приурочила два анонса — RecordService и Kudu.

RecordService это полностью новый слой безопасности для Hadoop, обеспечивающий защищённый доступ к данным и аналитическим надстройкам Hadoop, таким как MapReduce, Apache Spark и Cloudera Impala. Он дополняет доступное в его предшественнике, Sentry, определение разрешений контроля доступа, детализируя его вплоть до уровня строк и колонок. RecordService поддерживает динамическое маскирование данных и, согласно Cloudera, привносит однородный, детализованный доступ в любую среду или аналитический движок, подключённые к API RecordService.

Новый механизм хранения, Kudu, разработан Cloudera для файловой системы HDFS и СУБД HBase, с целью компенсировать их недочеты. HDFS позволяет добавлять информацию массивами, но не обновляет данные, а HBase поддерживает произвольные чтение и запись, но не подходит для быстрого сканирования накопленных данных.

Колоночное хранение данных, которое Kudu обеспечивает для Hadoop, оптимально для аналитических приложений реального времени, таких как обнаружение злоупотреблений, размещение рекламы и распределённые приложения в стиле Интернета Вещей.

RecordService и Kudu будут выпущены как бета-загрузки до конца этой недели. Cloudera заявила, что намерена безвозмездно передать оба этих открытых проекта организации Apache Software Foundation (ASF). Сроки выхода полноценных продуктов, по информации Cloudera, будут зависеть от обратной связи с тестерами и количества пересмотров кода, компания также не уточняет когда технологии перейдут к ASF.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365