Компания Stability AI, которая разработала ИИ для генерации изображений Stable Diffusion, выпустила Stable Video Diffusion которая может генерировать анимацию высокого разрешения из текста и изображений.
Инструкция по локальной установке в конце статьи.
А чтобы протестировать модель онлайн с минимумом настроек – читайте вот эту статью
Генеративное искусство Stable Diffusion теперь можно анимировать, сообщил разработчик Stability AI . Компания выпустила в качестве бета-версии новый продукт под названием Stable Video Diffusion , позволяющий пользователям создавать видео из одного изображения. «Эта современная видеомодель с генеративным искусственным интеллектом является новым шагом на нашем пути к созданию моделей для каждого человека», — написали в компании.
Новый инструмент был выпущен в виде двух моделей преобразования изображения в анимацию, каждая из которых способна генерировать длину от 14 до 25 кадров со скоростью от 3 до 30 кадров в секунду с разрешением 576 × 1024.
На данный момент Stable Video Diffusion доступен только для тестирования, а не для реальных или коммерческих приложений. Потенциальные пользователи могут подписаться и попасть в список ожидания для доступа к «предстоящему веб-интерфейсу с интерфейсом преобразования текста в видео», пишет Stability AI. Этот инструмент продемонстрирует применение в рекламе, образование, развлечениях и тд.
Примеры, показанные на видео выше, имеют относительно высокое качество, однако есть некоторые ограничения, пишет компания : Stable Video Diffusion генерирует относительно короткое видео (менее 4 секунд), ему не хватает фотореализма, он не может выполнять движение камеры, кроме медленного панорамирования, не имеет управления текстом, не может генерировать разборчивый текст и может не генерировать людей и лица на приемлемом уровне.
Инструмент был обучен на наборе данных из миллионов общедоступных видео, а затем детально доработан.
Видео является ключевой целью генеративного искусственного интеллекта из-за его потенциала для упрощения создания контента. Тем не менее, это также инструмент с наибольшим потенциалом для создания дипфейков, дезинформации, нарушения авторских прав и многого другого. И в отличие от OpenAI с ее продуктом ChatGPT, Stability добилась меньшего успеха в коммерциализации своего продукта Stable Diffusion.
Установка Stable Video Diffusion
Мы пошагово рассмотрим процесс запуска Stable Video Diffusion в вашей системе:
Клонируем репозиторий
git clone https://github.com/Stability-AI/generative-models.git
cd generative-modelsУстанавливаем PyTorch 2.0 в виртуальную среду
# установим необходимые пакеты из pypi
python3 -m venv .pt2
source .pt2/bin/activate
pip3 install -r require/pt2.txtУстанавливаем SGM
pip install
Устанавливаем sdata для обучения
pip3 install -e git+https://github.com/Stability-AI/datapipelines.git@main#egg=sdata pip install hatch hatch build -t wheel pip install dist/*.whl
Загружаем веса(weights)
Cоздаем каталог для весов
mkdir checkpoints
Теперь нужно выполнить следующие команды, чтобы их загрузить
wget -O checkpoints/svd_xt.safetensors https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/resolve/main/svd_xt.safetensors?download=true wget -O checkpoints/svd_xt_image_decoder.safetensors https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/resolve/main/svd_xt_image_decoder.safetensors?download=true wget -O checkpoints/svd.safetensors https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/resolve/main/svd.safetensors?download=true wget -O checkpoints/svd_image_decoder.safetensors https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/resolve/main/svd_image_decoder.safetensors?download=true
Запустим SVD
Скрипт для запуска нужно скопировать в основной каталог
cp scripts/demo/video_sampling.py video_sampling.py streamlit run video_sampling.py
Запускаем Stable Video Diffusion!
Теперь вы можете создавать свои собственные материалы
