Глубокую нейронную сеть применили для раскрашивания старых фотографий

Москва, 20:33, 06 Авг 2017, редакция FTimes.ru, автор Сергей Кузнецов.

Раскрашивание черно-белых фотографий пользуется постоянным интересом со стороны общественности. Тем не менее, процесс ручного добавления цвета может занять много времени и требовать опыта, при этом профессионалы тратят часы или даже дни на одно изображение. Группа исследователей предложила новую технику с использованием глубоких нейронных сетей и искусственного интеллекта, которая позволяет новичкам, даже тем, у кого ограниченные художественные способности, быстро давать разумные результаты.

В предыдущей работе команда обучала глубокую нейронную сеть с большими визуальными данными (миллион изображений) автоматическому раскрашиванию изображений в оттенках серого без вмешательства пользователя. Хотя результаты иногда были очень хорошими, но появлялись и некоторые артефакты. Одним из основных ограничений было то, что цвет многих объектов — например, рубашек — может быть по своей сути неоднозначным. Система могла, в конечном счете, выбрать только один вариант.

Новая сеть обучается полутоновому изображению вместе с вмешательством пользователя. Система улучшает предыдущие автоматические системы окраски, позволяя человеку в режиме реального времени корректировать и настраивать раскраску. Пользователь дает указания путем добавления цветных точек или «подсказок», которые система затем распространяет на остальную часть изображения. Сеть также изучает общие цвета для разных объектов и дает соответствующие рекомендации пользователю. Хотя новая система обучается только на естественных изображениях (например, слоны обычно коричневые или серые), она также готова следить за капризами художника, позволяя ему раскрасить слона в розовый цвет.

Чтобы оценить систему, исследователи протестировали свой интерфейс для начинающих пользователей, поставив перед ними задачу — создать реалистичную раскраску случайно выбранного изображения в оттенках серого. Даже с минимальной подготовкой и ограниченным временем – потребовалась всего лишь одна минута на изображение.

Глубокие нейронные сети все в большей степени используются в графике. Возможно, после решения оставшихся проблем, таких как оптимизация использования памяти и требований к оборудованию, а также интеграции с существующими инструментами для редактирования изображений, такая система, как эта, может найти применение в коммерческих инструментах для манипулирования изображениями.