NVIDIA поделилась исходным кодом генеративной нейросети Audio2Face со всем миром

Обложка: кадр трейлера NVIDIA Audio2Face 3.0NVIDIA открыла исходный код генеративной нейросети Audio2Face. Вполне возможно, этот шаг окажет существенное влияние на развитие игровой индустрии.

Технология позволяет создавать реалистичную лицевую анимацию и синхронизировать движение губ с речью из любого аудиофайла, от голоса актёра до сгенерированных реплик.

Выглядит это так: ИИ анализирует звуковую дорожку, распознаёт фонемы, интонацию и эмоциональную окраску, а потом преобразует всё это в поток данных. Они, в свою очередь, накладываются на 3D-модель персонажа, создавая правдоподобную мимику.

Процесс может работать в реальном времени, что однажды позволит, например, вступать в открытый диалог с персонажами MMORPG. Другой вопрос — не будет ли подобное вызывать эффект зловещей долины?

С открытием исходного кода моделей и SDK инструмент стал доступен всем желающим, в том числе независимым разработчикам. Инди-игры производятся медленно, во многом из-за трудоёмкого процесса анимации. Audio2Face поможет решить эту проблему.

Но вот понравится ли новость профессиональным аниматорам больших компаний? Разработчики Alien: Rogue Incursion из студии Survios отметили, что интеграция Audio2Face значительно ускоряет процесс лип-синка и экономит много времени… и денег.

В любом случае, технология уже существует, и с этим ничего не поделать. Лишь с течением времени мы поймём, принесёт ли она благо или обратится во зло.