Дослідники змогли обійти CAPTCHA-перевірки, використовуючи ChatGPT у режимі Агента, що може кардинально змінити вигляд інтернет-простору в найближчому майбутньому.
CAPTCHA — це абревіатура від “Повністю автоматизований публічний тест Тюринга для розрізнення комп’ютерів і людей”. Цей механізм покликаний контролювати активність ботів в мережі, запобігаючи автоматичним публікаціям на вебсайтах, якими користуються мільйони людей щодня.
Більшість користувачів Інтернету добре знайомі з CAPTCHA і мають доволі суперечливе ставлення до них. Зазвичай це завдання з уведення послідовності літер або цифр, які важко розпізнати через спотворене зображення (який є найбільш неприємним типом для багатьох користувачів), сортування плиток у сітці для відновлення цілісного малюнка або розпізнавання окремих об’єктів.
З одного боку, такі перевірки дозволяють сайтам гарантувати, що користувачі справжні, що перешкоджає поширенню спаму ботами, проте водночас вони часто викликають дискомфорт через рутинність і складність виконання.
### Переформатування проблеми
Незважаючи на те, що CAPTCHA ніколи не були абсолютно надійними, вони ефективно захищали наші форуми та коментарі від ботів — до теперішнього часу. Дослідники із SPLX виявили спосіб обдурити ChatGPT, змусивши його проходити перевірки CAPTCHA шляхом застосування методики, відомої як “ін’єкція запиту” (prompt injection).
Підкреслимо, йдеться не просто про те, що ChatGPT розпізнає текст зображення CAPTCHA і відтворює відповідь (з цим він справляється без проблем). Тут мова йде про використання ChatGPT у режимі Агента, що дозволяє йому безпосередньо взаємодіяти з вебсайтами, успішно проходячи CAPTCHA і користуючись ресурсом так само, як це робить людина, що є порушенням норм.
Режим Агента ChatGPT суттєво відрізняється від звичайного. У цьому режимі користувач делегує завдання ChatGPT, який виконує його у фоновому режимі, звільняючи час користувача для інших дій. ChatGPT у цій конфігурації може відвідувати сайти, як людина, але за логікою CAPTCHA мала блокувати автоматизовані дії, оскільки вони суперечать умовам користування сервісами. Однак нова уразливість полягає у тому, що ChatGPT можна переконати, що перевірки є штучними і таким чином він безперешкодно їх проходить.
### Суттєві наслідки
Вчений колектив створив контекст, у якому CAPTCHA подається ChatGPT як фейковий тест, і в ході взаємодії ChatGPT погоджується пройти перевірку завчасно. В результаті інформація про контекст успадковується і не спрацьовують стандартні механізми виявлення ботів.
Цей багатоетапний процес ін’єкції запиту — відома методика серед кіберзлочинців, що демонструє вразливість великих мовних моделей (LLM) до подібних маніпуляцій. Хоча для моделей складнішими є image-based CAPTCHA, ChatGPT також зміг їх подолати.
Наслідки такого прориву можуть бути серйозними — завдяки широкій доступності ChatGPT у недобросовісних руках зловмисники та спамери зможуть масово заповнювати розділи коментарів фальшивими повідомленнями та безперешкодно використовувати сайти, призначені виключно для людей.
Редакція вже звернулася до OpenAI з проханням прокоментувати цю ситуацію і надасть оновлення за наявності відповіді.
