Нейросеть Portretist · рисует стилями 23 художников
В последние годы современные генеративные модели достигли замечательных результатов. Они позволяют создавать человеческие лица такого высокого качества, что их невозможно отличить от фотографий реальных людей. Но что делать, если хочется увидеть собственное лицо или даже стиль конкретного художника? Качество такого воспроизведения зависит от количества образцов работ мастеров, которые ученые могут собрать и обработать для обучения нейронных сетей. А шедевров для этого не всегда хватает.
Процесс переноса стилей с одного изображения на другое называется в науке полевой адаптацией. Помимо ограничений по количеству исходных данных для обучения ИИ, существуют и другие проблемы. Установка «весов» (связей между нейронами в нейронной сети, которые передают друг другу сигналы и обрабатывают информацию) — один из важнейших этапов обучения модели. Как правило, для формирования одной фотографии требуется около 30 миллионов весов.
Мы разработали новый метод, ускоряющий этот процесс в 5 000 раз, что позволяет вместо 30 млн. генераторных весов обучать 6 000-мерный вектор для адаптации к конкретной области. Другими словами, мы можем обучить ИИ 5 000 новых стилей, затратив те же ресурсы, что и на ознакомление с одним типом фотографий. Мы доказали эффективность этого метода экспериментами и представили доклад на престижной конференции NeurIPS 2022. Доклад «HyperDomainNet: Universal Domain Adaptation for Generative Adversarial Networks» доступна здесь.
