Исследовательская группа из Google анонсировала систему искусственного интеллекта «VLOGGER», которая может генерировать реалистичные видео людей, говорящих и жестикулирующих в такт звуковой дорожке.
Исследовательская группа, которая исследует 3D визуализацию человека и генеративный искусственный интеллект в Google Research, разработала VLOGGER, используя диффузионная модель машинного обучения. Собственно, как и большинство подобных проектов.
Для создания видео с помощью VLOGGER вам нужны базовые данные изображения и соответствующие им аудиоданные. В первой итерации происходит управление движением тела: линия взгляда человека и выражение лица создается на основе данных о сигнале, полученного из аудиоданных. Следующая итерация запускает модель диффузии для генерации кадров, соответствующих управлению движением тела, на основе входного изображения.
Базой для VLOGGER стал набор данных под названием MENTOR, который содержит более 800000 различных персонажей и более 2200 часов видео. Обучившись на этом огромном наборе данных, VLOGGER может создавать видеоролики с людьми различных национальностей, возрастов, в разной одежде, позах и окружающей среде.
Рот человека, мимика, руки и т. д. движутся в соответствии с входными аудиоданными. Ниже приведен пример создания видео VLOGGER, показанный разработчиками.
Видео, которые можно создать, короткие и содержат артефакты. Однако исследовательская группа заявляет: «VLOGGER превосходит другие современные методы по качеству изображения, сохранению идентичности и временной согласованности». «В отличие от предыдущих исследований, наш метод не требует обучения каждого человека, не основан на распознавании или обрезке лиц и генерирует полный кадр, а не только лицо и губы».
Издательство VentureBeat описывает VLOGGER так: «Актеры могут получить детализированные 3D-модели самих себя для выступлений», «Его можно использовать для создания фотореалистичных аватаров для виртуальной реальности и игр». С другой стороны, издательство отмечает, что существует риск того, что VLOGGER будут использовать длядипфейков.
