Сеть интеллектуальных накопителей ускорит доступ к «Большим данным»

В феврале на Международном симпозиуме по FPGA (Field-Programmable Gate Arrays) в Монтерее (штат Калифорния), представители лаборатории CSAIL (Computer Science and Artificial Intelligence Laboratory) Массачусетского технологического института (MIT) представят систему, способную многократно сократить время получения доступа к информации для приложений Big Data.

Система BlueDBM — или Blue Database Machine — представляет собой сеть устройств хранения на базе флэш-накопителей, каждый из которых связан с массивом программируемой логики и образует индивидуальный узел сети. Помимо управления флэш-устройством, FPGA способны самостоятельно выполнять операции по обработке данных.

Это означает, что, частично, операции над данными могут производиться непосредственно по месту их хранения, не требуя обязательного перемещения в центральный компьютер. Более того, поскольку все узлы объединены в сеть с очень малой задержкой, каждый из них может всего за несколько наносекунд получить данные с любых других накопителей.

Если количество узлов достаточно велико, утверждают авторы, такая система становится сравнимой по полосе пропускания и производительности с гораздо более дорогостоящими решениями.

Уже изготовленный прототип состоит всего из четырех узлов из комплектующих, устаревших на 5 лет, так что получаемый в результате выигрыш не столь заметен. Сотрудники CSAIL в настоящее время работают над более быстрым 16-узловым вариантом. Новая сеть будет иметь общую емкость от 19 до 32 ТБ, а каждый узел будет работать со скоростью 3 ГБ/с.

В качестве примера практического приложения система должна будет обеспечивать «в реальном времени» доступ к данным, генерируемым численной моделью Вселенной, которая создана в Университете Вашингтона.