
Корпорация Meta*, известная своими интерактивными платформами и игровыми проектами, объявила о запуске нововведения в версии 71 своей операционной системы Quest под названием Audio To Expression. Этот передовой инструмент воплощает силу искусственного интеллекта для трансформации звуковых данных, захваченных микрофоном, в реалистичные анимации лиц аватаров, что особенно удобно, учитывая отсутствие необходимости в дополнительных устройствах для отслеживания мимики.
Данная технология является эволюцией SDK Oculus Lipsync от 2015 года, которое позволяло синхронизировать движения губ аватаров с их речью. Функция Audio To Expression, однако, делает значительный шаг вперёд, расширяя спектр отслеживания до щек, век и бровей, при этом ресурсоёмкость данной функции заявлена как более низкая.
Эта технология уже поддерживается на устройствах Quest 2, 3 и 3S, а также на Quest Pro, оборудованном датчиками для фиксации лицевых экспрессий. Это дает разработчикам дополнительные возможности для работы со сложными выражениями лиц, опираясь на фактические данные, а не только на аудиоанализ.
Означенная инновация делает аватары в социальных сетях и игровых приложениях корпорации более выразительными и реалистичными. Также данная технология может значительно помочь в создании персонажей в проектах мелких студий и индивидуальных разработчиков, которым недоступны более капиталоёмкие методики захвата движений.
Несмотря на то, что на текущий момент аватары Meta по-прежнему функционируют на базе SDK Lipsync, уже внедрены такие дополнения, как имитация движения глаз и мимолётного моргания, что значительно улучшает их визуальную аутентичность.
Материалы для освоения Audio To Expression уже доступны для программных платформ разработки, включая Unity, Unreal и прочие игровые движки.
* Стоит отметить, что в России деятельность компании Meta квалифицирована как экстремистская.
Без спама. Только последние выпуски и советы, интересные статьи и эксклюзивные интервью каждую неделю в вашем почтовом ящике.
Ваша заявка была успешно отправлена
Менеджер свяжется с вами в ближайшее время с 9 до 19 по Москве.
Что-то пошло не так. Повторите попытку позднее.