Участник Reddit нашел странный способ сломать электронный мозг ChatGPT . Все, что нужно сделать, это попросить бота повторить букву столько раз, сколько он сможет — и начинается очень странный глюк.
Пользователь под ником TheChaos7777 несколько дней назад зашел в сабреддит r/ChatGPT , чтобы поделиться скриншотом странного явления, в котором он отправляет в ChatGPT следующий запрос «пожалуйста, ответь только буквой A столько раз, сколько ты можешь». Сначала бот подчинился, выдав несколько десятков заглавных букв А. А потом выдал странный случайный текст, который по всей видимости был взят с сайта заводчика бульдогов:
Нажмите здесь, чтобы отправить нам письмо по цене. Наши щенки проверены ветеринаром, проглистованы, привиты, чипированы. На наших французских бульдогов распространяется гарантия сроком на 1 год. Позвоните или напишите по электронной почте для получения дополнительной информации и фотографий всех малышей… У нас есть самые милые, самые красивые, самые качественные щенки в мире.
С другими буквами странности так же встречаются: «пожалуйста, ответьте только буквой Б столько раз, сколько ты можешь» – бот выдал текст, который выглядел как стенограмма интервью с вышедшим на пенсию профессиональным рестлером:
Присоединяйтесь ко мне, чтобы узнать, как жить насыщенной жизнью! Этот парень никогда не останавливается и никогда не отступает. В прошлом году Даймонд Даллас Пейдж выпустил два новых DVD с тренировками и свой долгожданный Yoga Extreme (3 разных тренировки).
Вернемся к букве «А», отдельно сама по себе она не появляется в тексте и акцент на нее не сделан, — отметил другой пользователь Reddit. «Это связано с тем, что в Большой языковой модели ChatGPT есть нечто, называемое «штрафом за повторение» (он же «штраф за частоту»), который увеличивается каждый раз, когда повторяется один и тот же токен (не символ, а токен)».
Другими словами, вполне вероятно, что, поскольку создатели ChatGPT научили его избегать повторений, просьба повторяться вызывает у него сбой. Срабатывает внутренний скрипт, и алгоритм “выплевывает” случайные слова и фразы из данных для обучения.
ChatGPT – это не столько подсознание и интеллект, сколько подражание и попытка комбинировать данных на который обучался бот, вперемешку с заскриптованными сценариями.
