Алгоритм глубокого обучения рисует карикатуры

Команда компьютерных учёных из Городского университета Гонконга и компании Microsoft разработала инновационную систему глубокого обучения, которая автоматически генерирует реалистичную карикатуру для любого исходного портрета.

«По сравнению с традиционными методами на основе графики, которые руководствуются в работе заложенными в них вручную правилами, наш новый подход использует большие данные и машинное обучение, чтобы синтезировать карикатуры из тысяч образцов, выполненных профессиональными художниками», — говорит Кайди Цао (Kaidi Cao), ведущий автор статьи, которая будет представлена в декабре на токийской конференции SIGGRAPH Asia 2018.

Новый метод позволяет автоматизировать создание карикатур на основе портретов, например для генерирования аватар в социальных сетях или персонажей мультфильмов. Кроме того, он имеет потенциальные приложения в маркетинге, рекламе и журналистике.

В этой работе исследователи обратились к популярной в машинном обучении методике генеративной-состязательной сети (GAN). Созданный ими фреймворк CariGANs точно моделирует геометрическое преувеличение (форм лица, характерных углов) и стилизацию (представление, типы штрихов, тени) посредством двух алгоритмов — CariGeoGAN и CariStyGAN.

CariGeoGAN моделирует только геометрическую трансляцию фотографии лица в карикатуру, а CariStyGAN переносит стилевые особенности карикатуры на фотографию без нарушения геометрии исходного изображения.

Обе сети тренировали по отдельности для выполнения соответствующих задач, по словам исследователей, такая процедура обучения даёт наилучший эффект.

В обученным виде CariGANs позволяет контролировать степень преувеличения и стиль перемещением ползунков или предлагая образец карикатуры. Результат сравним с рисунками профессиональных художников.

В будущих работах авторы хотят перейти от карикатурных портретов к фигурам целиком и к более сложным сценам. Они также заинтересованы в разработке улучшенных систем взаимодействия человека с компьютером (HCI), которые предоставляли бы пользователям больше свободы и контроля за результатами машинного обучения.

Стратегія охолодження ЦОД для епохи AI