Search

Stable Video Diffusion – ГАЙД ПО УСТАНОВКЕ И ЗАПУСКУ

Модель от мастадонта генеративного искусственного интеллекта, который генерирует видео из текста и изображений
Stability AI выпустили «Stable Video Diffusion» + ГАЙД ПО УСТАНОВКЕ и запуску

Компания Stability AI, которая разработала ИИ для генерации изображений Stable Diffusion, выпустила Stable Video Diffusion которая может генерировать анимацию высокого разрешения из текста и изображений.

Инструкция по локальной установке в конце статьи.

А чтобы протестировать модель онлайн с минимумом настроек – читайте вот эту статью

Генеративное искусство Stable Diffusion теперь можно анимировать, сообщил разработчик Stability AI . Компания выпустила в качестве бета-версии новый продукт под названием Stable Video Diffusion , позволяющий пользователям создавать видео из одного изображения. «Эта современная видеомодель с генеративным искусственным интеллектом является новым шагом на нашем пути к созданию моделей для каждого человека», — написали в компании.

Новый инструмент был выпущен в виде двух моделей преобразования изображения в анимацию, каждая из которых способна генерировать длину от 14 до 25 кадров со скоростью от 3 до 30 кадров в секунду с разрешением 576 × 1024. 

Примеры видео, созданный Stable Video Diffusion
Примеры видео, созданных Stable Video Diffusion

На данный момент Stable Video Diffusion доступен только для тестирования, а не для реальных или коммерческих приложений. Потенциальные пользователи могут подписаться и попасть в список ожидания для доступа к «предстоящему веб-интерфейсу с интерфейсом преобразования текста в видео», пишет Stability AI. Этот инструмент продемонстрирует применение в рекламе, образование, развлечениях и тд.

Примеры, показанные на видео выше, имеют относительно высокое качество, однако есть некоторые ограничения, пишет компания : Stable Video Diffusion генерирует относительно короткое видео (менее 4 секунд), ему не хватает фотореализма, он не может выполнять движение камеры, кроме медленного панорамирования, не имеет управления текстом, не может генерировать разборчивый текст и может не генерировать людей и лица на приемлемом уровне.

Инструмент был обучен на наборе данных из миллионов общедоступных видео, а затем детально доработан.

Видео является ключевой целью генеративного искусственного интеллекта из-за его потенциала для упрощения создания контента. Тем не менее, это также инструмент с наибольшим потенциалом для создания дипфейков, дезинформации, нарушения авторских прав и многого другого. И в отличие от OpenAI с ее продуктом ChatGPT, Stability добилась меньшего успеха в коммерциализации своего продукта Stable Diffusion. 

 

Установка Stable Video Diffusion

Мы пошагово рассмотрим процесс запуска Stable Video Diffusion в вашей системе:

Клонируем репозиторий

git clone https://github.com/Stability-AI/generative-models.git
cd generative-models

Устанавливаем PyTorch 2.0 в виртуальную среду

# установим необходимые пакеты из pypi
python3 -m venv .pt2
source .pt2/bin/activate
pip3 install -r require/pt2.txt

Устанавливаем SGM

pip install

Устанавливаем sdata для обучения

pip3 install -e git+https://github.com/Stability-AI/datapipelines.git@main#egg=sdata
pip install hatch
hatch build -t wheel
pip install dist/*.whl

Загружаем веса(weights)

Cоздаем каталог для весов

mkdir checkpoints

Теперь нужно выполнить следующие команды, чтобы их загрузить

wget -O checkpoints/svd_xt.safetensors https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/resolve/main/svd_xt.safetensors?download=true 
wget -O checkpoints/svd_xt_image_decoder.safetensors https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt/resolve/main/svd_xt_image_decoder.safetensors?download=true 
wget -O checkpoints/svd.safetensors https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/resolve/main/svd.safetensors?download=true 
wget -O checkpoints/svd_image_decoder.safetensors https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/resolve/main/svd_image_decoder.safetensors?download=true

Запустим SVD

Скрипт для запуска нужно скопировать в основной каталог

cp scripts/demo/video_sampling.py video_sampling.py

streamlit run video_sampling.py

Запускаем Stable Video Diffusion!

Теперь вы можете создавать свои собственные материалы