`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Александр Москалюк

MapReduce против баз данных

0 
 

Если есть свободное время и интерес к последним течениям в области баз данных, то можно ознакомиться со статьей MapReduce: a major step backwards Дэвида Дьюуитта, и несколько ответов на нее - от Грега Линдена, который теперь в Microsoft, и от Марка Чу-Каролла, который в Google, однако поддерживает MapReduce не из-за работодателя, а по собственной инициативе.

Авторы статьи в Database Column утверждают, что MapReduce - это шаг назад, т.к. вместо дизайна кластера баз данных инженеры занялись изобретением велосипеда, отказавшись от реляционной модели хранения данных, и положившись на файлы, таким образом отказавшись от индексации и прочих благ. Их оппоненты утверждают, что существует ряд задач, для которых MapReduce практически идеален, а вот базы данных трудно адаптировать.

Из своего опыта все-таки соглашусь с оппонентами. В моей нынешней компании приходится работать как с распределенными базами данных, так и с обширными обьемами данных, которые хранятся в файлах. Мы используем MySQL для баз данных и написанную в домашних условиях утилиту для прогона запросов по нескольким тысячам БД и аггрегации результатов в единое целое, что в принципе работает неплохо. Для распределенных подсчетов используется Hadoop, для которого написание сценариев map и reduce занимает в среднем полчаса, и в итоге тоже работает неплохо.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

0 
 

Напечатать Отправить другу

Читайте также

Я считаю не совсем корректно сравнивать именно в таком контексте как "MapReduce ПРОТИВ баз данных".

Речь ведь не идет о том, чтобы заменить одно другим. Google предложил концепцию MapReduce для решения конкретных задач, связанных с обработкой большого кол-ва данных. В этом сегменте данная концепция отлично работает, но она НЕ заменяет ни реляционные базы данных, ни любые другие.

В частности, Google для поддержания технологии пришлось разработать собственное хранилище BigTable, потому что реляционная модель тут плохо ложится.

В Apache Hadoop, например, для тех же целей присутствует HBase.

Я что хочу сказать – MapReduce и сопутствующие решения не предназначены для хранения данных и тем более для интерактивного взаимодействия с пользователем. Это решения исключительно для расчета/аггрегации/обработки данных, которые потом куда-то можно уже аккуратненько сложить.

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT