Search

Nightshade – “вирус” для генеративного ИИ

Инструмент Nightshade искажает данные для обучения моделей генеративных нейросетей, делая их бесполезными

Новый инструмент позволяет художникам добавлять незаметные корректировки в пиксели своих изображений перед загрузкой в ​​Интерне. В последующем, если их вставить в обучающий набор ИИ, это приведет к тому, что полученная модель сломается хаотичным и непредсказуемым образом. 

Инструмент под названием Nightshade предназначен для борьбы с компаниями, которые используют работы художников для обучения своих моделей без разрешения. Использование его для «отравления» обучающих данных может повредить будущим итерациям моделей искусственного интеллекта, генерирующих изображения, таких как DALL-E, Midjourney и Stable Diffusion, и некоторые из их результатов станут некорректными: собаки станут кошками, автомобили станут коровами и т. д. 

Команда разработчиков Nightshade также разработала Glaze — инструмент, который позволяет художникам «маскировать» свой личный стиль, чтобы предотвратить его кражу генеративными нейросетями. Glaze работает аналогично Nightshade – он изменяет пиксели изображений и манипулирует моделями машинного обучения, чтобы они интерпретировали изображение как нечто отличное от того, что оно на самом деле изображено. 

Команда намерена интегрировать Nightshade в Glaze , и художники смогут выбирать, хотят ли они использовать инструмент “отравления” данных или нет. Команда также делает Nightshade с открытым исходным кодом, что позволит другим экспериментировать с ней и создавать свои собственные версии. Наборы данных для больших моделей ИИ могут состоять из миллиардов изображений, поэтому чем больше “отравленных” изображений будет занесено в модель, тем больший ущерб нанесет этот метод. 

Как работает Nightshade

Nightshade использует уязвимость безопасности в генеративных моделях искусственного интеллекта, возникающую из-за того, что они обучаются на огромных объемах данных.

Художники, которые загружают свои работы в Интернет, но не хотят, чтобы их изображения были внесены в модели ии, могут загрузить их в Glaze и замаскировать их художественным стилем, отличным от их собственного, либо вообще “отравить их” с помощью Nightshade. Отравленные данные очень сложно удалить, поскольку технологическим компаниям приходится кропотливо находить и удалять каждый поврежденный образец. 

Разработчики Nightshade протестировали атаку на последних моделях Stable Diffusion и на модели искусственного интеллекта, которую они обучали с нуля. Когда они “скормили” Stable Diffusion всего 50 “отравленных” изображений собак, а затем предложили ему создать изображения самих собак, результат стал выглядеть странно — существа со слишком большим количеством конечностей и мультяшными мордами. Имея 300 отравленных образцов, злоумышленник может манипулировать Stable Diffusion, чтобы создавать изображения собак, похожих на кошек. 

Таблица, показывающая сетку миниатюр сгенерированных изображений концепций отравления болиголовом из моделей SD-XL, контрастирует с изображениями из чистой модели SD-XL с шагом 50, 100 и 300 отравленных образцов.

Генеративные модели ИИ превосходно устанавливают связи между словами, что способствует распространению вируса. Nightshade заражает не только слово «собака», но и все подобные промты, такие как «щенок», «хаски», «волк» и тд. Атака также работает со связанными изображениями:

таблица, сравнивающая отравленную концепцию «Фэнтези-искусство» в чистой модели и отравленной модели с результатами соответствующих подсказок в чистой и отравленной моделях: «Картина Майкла Уилана», «Дракон» и «Замок в Господе». из колец»

 

Глупость и жадность на пути прогресса

Nightshade может оказать большое влияние на индустрию генеративного искусственного интеллекта, если заставит начать уважать права художников — например,  выплачивать роялти за использование их работ. Компании, занимающиеся искусственным интеллектом, Stability AI и OpenAI, предложили художникам отказаться от использования их изображений для обучения будущих версий моделей. Но художники считают, что этого недостаточно, так как политика и механизмы отказа требуют от художников некоторых усилий и не все хотят это делать.