`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

В Беркли разработали стратегию анализа сверхбольших массивов научных данных

0 
 

Современное оборудование для исследований (космические телескопы, суперкомпьютеры, коллайдеры частиц) генерируют огромные потоки данных, так что настоятельной проблемой становится обеспечение возможности своевременно анализировать эти массивы информации.

Именно такую цель — создание новой программной стратегии хранения, извлечения и анализа сверхбольших массивов данных — поставили перед собой Сурендра Бина (Surendra Byna) и его коллеги из подразделения компьютерных исследований лабораторий Беркли, университета в Сан-Диего (UCSD), Национальной лаборатории в Лос-Аламоc, университетов Циньгуа и Брауна.

В качестве объекта приложения их усилий использовалась программа VPIC, осуществляющая на мощностях суперкомпьютера Cray XE6 «Hopper» трехмерное моделирование пересоединения магнитных силовых линий — фундаментальной задачи физики плазмы. Процесс рассчитывался на триллионе частиц с многими тысячами шагов по времени, при этом поток генерируемых данных составлял 27 ГБ в секунду. Результаты моделирования — файлы размером по 32 ТБ записывались на диски с интервалом в 20 минут.

В Беркли разработали стратегию анализа сверхбольших массивов научных данных

Применив усовершенствованную ими версию инструмента FastQuery, участники проекта индексировали этот массив примерно за 10 минут, после чего на поиск в нем интересных для визуализации особенностей тратилось всего около трех секунд. ПО VPIC было модифицировано кодом H5Part, простой надстройкой над широко используемым ПО промежуточного уровня HDF5 для управления сверхбольшими блочными массивами данных.

«Это первый опыт опроса и визуализации трехмерного массива частиц такого размера», — заявил Хома Каримабади (Homa Karimabadi), возглавляющий группу космической физики в UCSD.

Согласно Каримабади, одной из главных нерешенных проблем магнитного пересоединения являются условия генерирования энергетических частиц. До сих пор попытки решения ее ограничивались только двумерным моделированием. Объемы данных при таком подходе получаются более приемлемые — используется только несколько миллиардов частиц. Однако основные эффекты, связанные с взаимодействием магнитных жгутов и возникающей при этом турбулентностью, проявляются только в процессе 3D-симуляции. Но, до сих пор представлялось невозможным вывести триллионный массив информации на компьютерный экран.

«С этими новыми инструментами мы можем вернуться к нашим архивам данных и получить ответы на физические вопросы, оставшиеся неразрешенными до сих пор» — говорит он.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

0 
 

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT