Runway, стартап в области генеративного ИИ , который стал соавтором прошлогодней прорывной модели преобразования текста в изображение Stable Diffusion, выпустил модель ИИ, которая может преобразовывать существующие видео в новые , применяя любой стиль, заданный текстовой подсказкой или эталонным изображением.
https://www.youtube.com/@RunwayML/videos
В демонстрационном ролике Runway показывает, как ее программное обеспечение под названием Gen-1 может превращать кадры с людьми на улице в пластилиновых кукол. Runway надеется, что Gen-1 сделает для видео то же, что Stable Diffusion сделал для изображений . «Мы наблюдаем большой взрыв моделей создания изображений, — говорит генеральный директор и соучредитель Runway Кристобаль Валенсуэла. «Я искренне верю, что 2023 год станет годом видео».
Созданная в 2018 году, Runway уже несколько лет занимается разработкой программного обеспечения для редактирования видео на основе искусственного интеллекта. Его инструменты используют TikToker-ы и YouTuber-ы, а также основные кино- и телестудии.
В 2021 году Runway сотрудничала с исследователями из Мюнхенского университета, чтобы создать первую версию Stable Diffusion. Stability AI, британский стартап, затем вмешался, чтобы оплатить вычислительные затраты, необходимые для обучения модели на гораздо большем количестве данных. В 2022 году Stability AI стал мейнстримом Stable Diffusion, превратив его из исследовательского проекта в глобальное явление. Но сейчас эти две компании больше не сотрудничают.
Gen-1 представляет собой новый старт для Runway. Он следует за несколькими моделями преобразования текста в видео, представленными в конце прошлого года, включая Make-a-Video от Meta* и Phenaki от Google, обе из которых могут создавать очень короткие видеоклипы с нуля. Он также похож на Dreamix, генеративный ИИ от Google, представленный на прошлой неделе, который может создавать новые видео из существующих, применяя определенные стили. Но, судя по демонстрационному ролику Runway, Gen-1 является шагом вперед в качестве видео. Поскольку он преобразует существующие кадры, он также может создавать гораздо более длинные видеоролики, чем большинство предыдущих моделей. Компания сообщает, что в ближайшие несколько дней разместит техническую информацию о Gen-1 на своем веб-сайте.
В отличие от Meta* и Google, Runway построила свою модель, ориентируясь на клиентов. «Это одна из первых моделей, которая разрабатывалась в тесном сотрудничестве с сообществом видеопроизводителей», — говорит Валенсуэла. «Это приходит с многолетним пониманием того, как кинематографисты и редакторы визуальных эффектов на самом деле работают над постпродакшеном».
Gen-1, который работает в облаке через веб-сайт Runway, сегодня доступен для нескольких приглашенных пользователей и будет запущен для всех в списке ожидания через несколько недель.
Прошлогодний взрыв в области генеративного ИИ был вызван с вовлечением миллионов людей, которые впервые получили в свои руки мощные творческие инструменты и поделились с ними тем, что они сделали. Валенсуэла надеется, что передача Gen-1 в руки творческих профессионалов вскоре окажет аналогичное влияние на видео.
«Мы очень близки к созданию полнометражных фильмов, — говорит он. «Мы близки ко времени, в котором большая часть контента, который вы увидите в Интернете, будет сгенерирована ИИ».
*Компания Meta и ее продукт Instagram признана экстремистской организацией в России
