Animate Anyone, новейшая разработка Института интеллектуальных вычислений Alibaba Group, готова перевернуть представление о дипфейках, перенося нас из мира статичных фото в мир полноценных суррогатных видео. Ранее дипфейки ограничивались только изображениями, но теперь Animate Anyone позволяет внедрять анимацию в любое фото, создавая убедительные видеоматериалы.
По сравнению с предыдущими технологиями, такими как DisCo и DreamPose, Animate Anyone делает значительный шаг вперед. Технология переходит от статичных изображений к динамичным видеороликам, показывая очень высокий уровень реализма.
Animate Anyone начинает с извлечения деталей, таких как черты лица, узоры и позы из исходного изображения. На основе этой информации создается серия изображений, где эти детали накладываются на слегка измененные позы. Особенностью новой модели является возможность выстраивать взаимосвязь с эталонным изображением в “последовательном пространстве признаков”, что значительно улучшает сохранение изначальных деталей внешности.
Проблемы, с которыми сталкивались предыдущие модели – искажения и гличи, были решены в Animate Anyone. Модель успешно обходит странные и нарочито искусственные изображений, что делает полученные видео более реалистичными и качественными. В процессе демонстрации работы модели мы видим, что она адаптируется к произвольным позам, сохраняя детали одежды и черты лица. Даже 2D-фигурка из аниме оживает и двигается вполне сносно.
Возможность создания высококачественных видеороликов, которых сложно отличить от реальных, неизбежно закончится злоупотреблением этой технологией. В сочетании с другими технологиями Animate Anyone может стать мощным инструментом для манипуляции и дезинформации.
Команда разработчиков пока не предоставляет общественный доступ к коду. Несмотря на наличие страницы на GitHub, разработчики сообщают о работе над демо-версией и подготовке к скорому релизу.
