+11 голос |
На проходящей в Денвере (США) конференции Super Computing 2013 компания Cray объявила о выпуске программного пакета, который упрощает развертывание и работу с Hadoop на суперкомпьютерах XC30. В Cray Framework for Hadoop входят наборы инструментов и лучшие практики конфигурации и оптимизации XC30 для работы с Hadoop, что позволит более эффективно организовать обработку крупных массивов данных в самых разных проектах научных исследований. Обновления Cray Performance Pack for Hadoop, выпуск которых планируется в начале 2014 г., будут включать дополнительный системный код, который оптимизирует использование XC30 с библиотекой Lustre и системой коннекторов Aries.
Как подчеркивается в анонсе, модель анализа данных Hadoop MapReduce на основе Java может дать супервычислениям огромные преимущества, но пока, в отличие от параллельных вычислений или «больших данных», не нашла широкого распространения в научном сообществе. Многие пользователи суперкомпьютеров Cray интересуются Hadoop, хотя эта платформа и не вполне соответствует вариантам использования супервычислений в научных проектах. Обычно ученые работают с параллельными файловыми системами и быстрыми соединениями, что практически не встречается в проектах Hadoop, к тому же рабочая нагрузка включает как вычислительные, так и аналитические потоки.
Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365
+11 голос |