Вигадане око-хвороба викриває реальні проблеми штучного інтелекту
Дослідники зі Швеції створили фейкове захворювання очей — біксоніоманію, щоб перевірити, чи змогли б популярні чат-боти штучного інтелекту розпізнати неправдиву медичну інформацію. Однак замість того, щоб засумніватися, кілька великих мовних моделей впевнено описали нереальну хворобу, наче вона справжня. Цей експеримент підкреслює, наскільки легко дезінформація може поширюватися через системи AI, які навчалися на даних з інтернету, особливо у такій чутливій сфері, як здоров’я.
Проблема виявилася глибшою: деякі науковці, посилаючись на фальшиві статті, пов’язані із біксоніоманією, не помітили, що ці дослідження відкрито визнавали свій вигаданий характер.
Навмисне вигадане захворювання з важливою метою
Ініціативу очолила Альміра Османович Тунстрьом, медична дослідниця з Університету Ґетеборга, яка також працює стратегіною AI та менеджеркою інновацій у Chalmers Industriteknik. Ідея виникла під час викладання студентам про те, як будуються та навчаються великі мовні моделі (LLM). Вона помітила, що багато хто навіть у сфері штучного інтелекту погано розуміє цей процес.
Щоб показати, як збирається інформація і як поширюється знання в AI, команда створила біксоніоманію — вигадане офтальмологічне захворювання, пов’язане з надмірним використанням екранів і впливом синього світла.
Головна мета полягала не у введенні людей в оману, а у перевірці, чи зможуть чат-боти відрізнити надійні дані від свідомо сфабрикованих матеріалів, спеціально розміщених у мережі.
Підступна жартівлива «наука»
На початку 2024 року дослідники почали розміщувати в інтернеті інформацію про біксоніоманію — дві публікації в блозі на Medium і два наукові препринти на сервері, де дослідження розміщують до рецензії. Ці роботи містили явні натяки на їхню фальшивість.
Автором вказали Лажлів Ізгубленович, що в перекладі означає «брехливий невдаха», а назви статей містили провокаційні прозорі жарти, наприклад, «Гіперпігментація: справжній фейк-дизайн». У подяках згадували вигадані організації — Галактичний Тріад, «Володаря Перснів», а також колег зі Starship Enterprise і професора Росса Геллера із ситкому «Друзі».
Одна з робіт прямо заявляла: «Ця стаття повністю вигадана». Врешті, ці дописи з препринтів було видалено.
Чат-боти прийняли вигадану хворобу за правду
Попри насторожуючі сигнали, деякі популярні AI-системи почали сприймати біксоніоманію як реальну проблему. Згідно з «Nature», Microsoft Bing Copilot охарактеризував її як «справді цікаву і відносно рідкісну хворобу», Google Gemini назвав це станом, спричиненим надмірним впливом синього світла, а OpenAI ChatGPT пропонував біксоніоманію, коли користувачі описували симптоми типу сверблячки очей, почервоніння повік і подразнення після тривалого часу за екраном.
Деякі відповіді від чат-ботів з’являлися на прямі запити про біксоніоманію, інші — були ініційовані описом симптомів, навіть без згадки назви хвороби. Це свідчить про глибоку вразливість великих мовних моделей, які генерують тексти, знаходячи патерни у наявних даних, але не перевіряючи самостійно достовірність цих даних.
Навіть науковці не уникнули помилок
Виявилася ще одна неприємна деталь: деякі вчені посилалися на вигадані статті у своїх роботах, що свідчить про те, що насправді вони не читали матеріали, які цитували. Якщо б прочитали їх уважно, помітили б численні жарти та прямі зізнання у фейковому змісті.
За словами Алексa Руані, дослідника дезінформації з University College London, який не брав участі в проекті, це — яскравий ілюстративний випадок того, як неправдива інформація може розповсюджуватися і в науці, і в технологіях.
Він зазначає: «Це своєрідний майстер-клас з того, як працюють міфи та дезінформація. Якщо наука і підтримуючі її системи не вміють відфільтрувати подібний контент — ми у великій біді».
Чому це важливо саме зараз
Великі мовні моделі все частіше відповідають на питання про здоров’я, пояснюють медичні стани і навіть надають емоційну підтримку мільйонам користувачів щодня. Багато хто дивиться на чат-ботів як на перше джерело інформації, перш ніж звернутися до лікаря. Це може бути небезпечно, якщо користувач намагається поставити діагноз самому за допомогою AI без консультації медиків.
Експеримент з біксоніоманією доказує ризики такого підходу, адже моделі навчаються на великому масиві контенту з інтернету, і навіть помилкова або вигадана інформація може потрапити до їхніх відповідей.
Джонатан Гудман і Маріам Рашид, соціальні науковці з Кембриджського університету, які не були залучені до дослідження, застерігають, що AI може бути надзвичайно корисним інструментом, проте користувачі мають зберігати критичне мислення. Вони підкреслюють, що проблема виходить далеко за межі самого AI:
- Дезінформація існувала завжди,
- її поширення нині відбувається вражаючими темпами,
- нові технології генерують її імітації, що дуже схожі на правду.
Отже, користуватися інструментами потрібно мудро, розуміючи, що іноді найпереконливіші відповіді можуть бути не більш ніж вигадкою.
