Новый метод сжатия данных снижает перегрузку каналов

21 мая 2014 г., 15:47

При создании совершенно нового способа сжатия данных группа исследователей из Калифорнийского университета Лос-Анджелеса (UCLA) черпала вдохновение из физики и искусства. В результате новый метод превосходит существующие, такие как JPEG для изображений, и, в конечном счете, может быть принят для медицинских, научных и потоковых приложений.

Научные исследования, медицина и все большее число современных приложений требуют захвата и анализа больших объемов данных в реальном времени.

Но «большие данные», как известно, порождают и большие проблемы, особенно в специализированных областях, в которых изучаемые события происходят слишком быстро, чтобы быть дискретизированными и преобразованными в цифровые данные в режиме реального времени. Например, для того чтобы обнаружить редкие раковые клетки в крови, исследователи должны просканировать миллионы клеток в высокоскоростном потоке.

Чтобы помочь улучшить процесс, группа из UCLA во главе с Бахрамом Джалали (Bahram Jalali), включающая также научного сотрудника Мохаммада Асгари (Mohammad Asghari), создала совершенно новый метод сжатия данных. Техника перекраивает сигнал, несущий данные, способом, который напоминает технику графического искусства, известную как анаморфизм (искажение проекции или перспективы), который был использован с 1500-х годов для создания оптических иллюзий в искусстве, а позднее - в кино.

Группа Джалали обнаружила, что можно достичь сжатия данных путем растяжения и деформации сигнала определенным способом, описывающимся недавно разработанной математической функцией. Технология, получившая название анаморфного растягивающего преобразования (anamorphic stretch transform), или АSТ, работает как в аналоговых, так и в цифровых доменах. В аналоговых приложениях AST делает возможным не только захват и оцифровку сигналов, которые быстрее, чем скорость датчиков и цифровых преобразователей, но и сводит к минимуму объем данных, получаемых в процессе.

АSТ также может сжимать цифровые записи, например медицинские данные, так что они могут быть переданы через Интернет для телеконсультации. Преобразование выполняется таким образом, что наиболее отличительные особенности сигнала представляются большим количеством данных (растягиваются), чем второстепенные особенности.

Методика не требует предварительных знаний о данных для выполнения преобразования – это происходит естественно и в потоковом режиме.

«Наше преобразование выполняет селективное, зависимое от особенностей сигнала, расширение данных и выделяет больше пикселей для более значимых особенностей, где они необходимы больше всего, - сказал Асгари. - Например, если мы используем технику для фотографии яхты в океане, то наше преобразование представит парусник большим количеством данных, чем океан, что позволит идентифицировать лодку с помощью файла небольшого размера».

АSТ также может быть использовано для сжатия изображений в качестве автономного алгоритма или в сочетании с существующими цифровыми технологиями сжатия для повышения скорости и качества или для увеличения количества сжимаемых изображений. Результаты показали, что АSТ может превзойти стандартный формат сжатия изображения JPEG с радикальным улучшением качества изображения и коэффициента сжатия.

Новая методика берет свое начало в другой технике, впервые разработанной группой Джалали, - временного расширения дисперсионного преобразования Фурье, которая является методом для замедления и усиления слабых, но очень быстрых сигналов, чтобы они могли быть обнаружены и оцифрованы в реальном времени.

Высокоскоростные инструменты, созданные с помощью этой технологии, позволили открыть трудно регистрируемые оптические волны в 2007 г. и обнаружить раковые клетки в крови с чувствительностью одна на миллион в 2012 г. Но эти инструменты генерируют лавину данных, перегружая даже самые мощные компьютеры. Это мотивировало команду из UCLA искать новую технологию сжатия данных.

Новый метод сжатия данных снижает перегрузку каналов