Все Всё о VR

Audio To Expression создает мимику аватаров по голосовым данным

Audio To Expression создает новую мимику аватаров
13 Янв 2025

Корпорация Meta*, известная своими интерактивными платформами и игровыми проектами, объявила о запуске нововведения в версии 71 своей операционной системы Quest под названием Audio To Expression. Этот передовой инструмент воплощает силу искусственного интеллекта для трансформации звуковых данных, захваченных микрофоном, в реалистичные анимации лиц аватаров, что особенно удобно, учитывая отсутствие необходимости в дополнительных устройствах для отслеживания мимики.

Данная технология является эволюцией SDK Oculus Lipsync от 2015 года, которое позволяло синхронизировать движения губ аватаров с их речью. Функция Audio To Expression, однако, делает значительный шаг вперёд, расширяя спектр отслеживания до щек, век и бровей, при этом ресурсоёмкость данной функции заявлена как более низкая.

Эта технология уже поддерживается на устройствах Quest 2, 3 и 3S, а также на Quest Pro, оборудованном датчиками для фиксации лицевых экспрессий. Это дает разработчикам дополнительные возможности для работы со сложными выражениями лиц, опираясь на фактические данные, а не только на аудиоанализ.

Означенная инновация делает аватары в социальных сетях и игровых приложениях корпорации более выразительными и реалистичными. Также данная технология может значительно помочь в создании персонажей в проектах мелких студий и индивидуальных разработчиков, которым недоступны более капиталоёмкие методики захвата движений.

Несмотря на то, что на текущий момент аватары Meta по-прежнему функционируют на базе SDK Lipsync, уже внедрены такие дополнения, как имитация движения глаз и мимолётного моргания, что значительно улучшает их визуальную аутентичность.

Материалы для освоения Audio To Expression уже доступны для программных платформ разработки, включая Unity, Unreal и прочие игровые движки.

* Стоит отметить, что в России деятельность компании Meta квалифицирована как экстремистская.

Ваша заявка была успешно отправлена

Менеджер свяжется с вами в ближайшее время с 9 до 19 по Москве.

Что-то пошло не так. Повторите попытку позднее.