`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Тимур Ягофаров

ИИ научился значительно улучшать фотоснимки

+44
голоса

Интересное применение для технологии искусственного интеллекта продемонстрировали разработчики, которые сумели устранить шумы и артефакты с фотографий, сделанных в условиях слабого освещения.

Новый метод улучшения качества фотографий, основанный на алгоритмах глубокого обучения, позволяет делать это, просто глядя на примеры фотографий с дефектом. Этот проект был выполнен исследователями из NVIDIA, Университета Аалто и Массачусетского технологического института (MIT) и представлен на этой неделе на Международной конференции по машинному обучению в Стокгольме (ICML, Швеция).

ИИ научился улучшать фотоснимки
Рис. 1. Пример для пуассоновского шума (λ=30). Результат был получен с использованием зернистых изображений.

В предыдущих проектах в этой области нейросеть обучалась восстанавливать фотографии, определяя разницу между парными изображениями – с шумом и без. Новый метод отличается тем, что нейросети «скармливаются» только изображения с шумом или зерном.
Этой нейросети никогда не показывали, как выглядит чистое изображение, но она способна устранять артефакты, шум, зерно, и автоматически улучшать качество фотографий.

ИИ научился улучшать фотоснимки
Рис. 2. Импульсный шум случайного значения. Созданная система устранения шума обучена только на парах изображений с дефектом.

“ИИ можно научить восстанавливать сигналы, даже без сравнения их с чистыми аналогами, причем с бОльшей скоростью, чем в случае использования исключительно чистых образцов, - утверждают исследователи в своей работе. – Созданная нейросеть не уступает методам, в которых нейросеть учится на основе чистых образцов, — она использует тот же самый метод и не уступает ни по времени обучения, ни по результатам работы”.

Команда проекта обучила свою систему на 50 000 изображениях из набора ImageNet с помощью графических процессоров NVIDIA Tesla P100 с фреймворком глубокого обучения TensorFlow с ускорением cuDNN. Чтобы протестировать систему, были выбраны три разных набора изображений.

Предложенный метод можно использовать не только для домашнего фотоархива, но и для улучшения МРТ-снимков. Это должно значительно усовершенствовать качество визуализации в медицине.

ИИ научился улучшать фотоснимки
Рис. 3. Восстановленный МРТ-снимок. (a) Входное изображение с 10% зафиксированного спектра с масштабированием 1/p. (b) Восстановление с помощью нейросети, обученной на примере «шумных» изображений, близких ко входному изображению. (с) Референсное изображение.

 «В обычной жизни есть ряд ситуаций, когда действительно сложно получить чистые образцы для обучения нейросети: фотографии в условиях низкой освещенности (например, астрономические снимки), физически корректный рендеринг и магнитнорезонансная визуализация, - объясняют разработчики. – Наши демонстрации позволяют потенциально получить весомые преимущества в данных областях, устраняя необходимость в зачастую трудоемком процессе получения чистых данных. Конечно, здесь есть свои ограничения. Мы не можем воссоздать объекты, которые отсутствуют в наборе для обучения. Но это ограничение относится в равной степени и к обучению на основе чистых изображений».

ИИ научился улучшать фотоснимки
Рис. 4. Устранение шума с фотографии Монте-Карло. (a) Изображение, отрисованное с плотностью в 64 выборок на пиксель (spp). (b) Изображение с устраненным шумом в 64 spp, полученное сетью, обученной на изображениях с 64 spp. (с) Референсное изображение, отрисованное с плотностью 131 072 spp.
Источник
Примечательно, что сегодня, пожалуй, наиболее часто обычные пользователи сталкиваются с технологией ИИ как раз в сфере фотографии. Ведущие производители используют ее для помощи с определением параметров съемки в зависимости от сцены. Поэтому можно ожидать дальнейшего развития мобильной фотографии уже с помощью предложенного метода улучшения снимков.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365

+44
голоса

Напечатать Отправить другу

Читайте также

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT