Освітні установи та роботодавці по всьому світу стикаються з новим складним викликом: контент, створений штучним інтелектом, настільки переконливо імітує людське письмо, що навіть сучасне програмне забезпечення для виявлення штучного інтелекту часто не здатне його виявити, йдеться у нещодавньому дослідженні.
Економісти Чиказького університету Браян Джабаріан та Алекс Імас провели всеосяжне тестування найпопулярніших систем виявлення AI-контенту, які використовуються в навчальних закладах та на робочих місцях. Їхні результати виявили тривожні прогалини у точності цих інструментів, що ставить під загрозу академічну доброчесність і достовірність створеного тексту.
Ключові висновки дослідження:
– Система виявлення Pangram продемонструвала 96,7% точності навіть при застосуванні методів обходу.
– Конкуренти Pangram зазнали значного падіння ефективності: рівень виявлення впав з понад 90% до менш ніж 50% після обробки есе, створених ChatGPT, через спеціалізоване програмне забезпечення для «очищення» тексту та надання йому людських рис.
– Ці результати свідчать про фундаментальну вразливість сучасних технологій виявлення AI-контенту.
## Проблема хибних звинувачень: новий виклик для академічної політики
Точність виявлення штучного інтелекту страждає не лише від пропущених випадків, але й від іншої критичної проблеми – хибних звинувачень невинних студентів у шахрайстві. Дослідження показало, що більшість комерційних детекторів помилково ідентифікують приблизно 1 із 100 справжніх текстів як створені AI. На практиці це означає, що в класі з тридцяти студентів щонайменше один невинний учень ризикує отримати звинувачення у академічній нечесності кожні кілька завдань.
Наслідки хибних спрацьовувань серйозні. Наприклад, Університет Вандербілта повністю відключив детектор AI Turnitin після того, як було виявлено, що він непропорційно часто позначає есе студентів, що не є носіями англійської мови, а також учнів з особливими освітніми потребами, як тексти AI.
## Зростання професійних сервісів «людянізації» тексту
Навколо технологій обходу систем виявлення AI формується ціла індустрія. Сервіси з назвами типу StealthGPT, Undetectable AI та WriteHuman спеціалізуються на переформатуванні AI-генерованого контенту так, щоб він імітував природне людське письмо. Ці інструменти працюють, розпізнаючи та змінюючи характерні лінгвістичні ознаки, які системи виявлення зазвичай розпізнають.
Особливості процесу «людянізації»:
– AI навчають писати більш природно, імітуючи людські особливості, такі як стильові варіації, неузгодженості та тонкі недосконалості.
– Першочергова AI-текстова продукція може характеризуватися такими ознаками, як незвичайна частотність слів, надто послідовна граматика або неприродний потік думок.
– Програмне забезпечення для «людянізації» спеціально вводить варіації, що надають тексту справжній людський характер.
Такий технологічний парадокс означає, що зараз штучний інтелект використовується для того, щоб зробити AI-тексти схожими на людські, з метою обману інших AI-систем, які слугують для виявлення машинного контенту. Внаслідок цього виникає все зростаюча технологічна гонка, у якій освітяни та модератори контенту опиняються на передовій боротьбі.
Серед оцінених систем унікальну стабільну та майже бездоганну точність по всіх сценаріях тестування показала лише Pangram. У той час як конкуренти мали проблеми із короткими текстовими фрагментами, різноманітними стилями письма та «людянізованим» контентом, Pangram демонструвала стійку продуктивність, наближену до надійних систем безпеки, а не просто інструментів скринінгу, яких легко обдурити.
Розробники запропонували концепцію «політичного ліміту» («policy cap»), яка дає організаціям змогу встановлювати суворі межі щодо допустимого рівня помилок різного типу. Такий підхід визнає, що різні установи можуть надавати пріоритет уникненню хибних звинувачень над максимальним виявленням AI-використання, або навпаки. За найжорсткішими критеріями, коли допускається звинувачення лише одного з двохсот невинних осіб, Pangram була єдиним інструментом, який зумів підтримувати такий рівень точності без істотного збільшення кількості пропущених випадків.
Проте навіть найефективніші технології виявлення не позбавлені недоліків, що має вагоме значення в контекстах із суворими академічними чи професійними наслідками.
## Складні питання використання AI у написанні текстів
Виклики виявлення штучного інтелекту відображають більш широкі питання щодо правильної ролі AI у процесі створення текстів і контенту. Багато випадків застосування AI перебувають у сірій зоні, яку навіть найточніші системи виявити складно або неможливо.
Межа між прийнятною допомогою AI — такою, як:
– корекція граматики,
– генерація ідей,
– організація матеріалу,
та проблемним використанням — наприклад, повним написанням завдання — залишається розмитою і дуже залежить від конкретного контексту.
Дослідження Чиказького університету підкреслює, що сучасні технології виявлення відчувають труднощі із врахуванням таких нюансів. Освітні установи повинні виробляти політики, які враховують законне використання AI при збереженні стандартів академічної доброчесності. Це вимагає переходу за межі простого виявлення на більш складні підходи, що беруть до уваги контекст, наміри і освітню цінність.
Зараз навчальні заклади використовують різноманітні стратегії для розв’язання цих проблем:
– Деякі, наслідуючи приклад Вандербілта, повністю відмовились від автоматизованого виявлення через проблеми з точністю і потенційну упередженість.
– Інші впроваджують політичні рамки для мінімізації хибних звинувачень, одночасно визнаючи, що частина AI-використання залишатиметься непоміченою.
– Зростає кількість установ, які фундаментально переосмислюють методи оцінювання, роблячи акцент на роботі вживу, усних іспитах і проєктному навчанні, що потребує безпосередньої взаємодії з викладачем.
У той же час технології виявлення продовжують удосконалюватися. Компанії, такі як Pangram Labs, розробляють більш складні системи, використовуючи активне навчання та методи «важкого негативного добору» (hard negative mining), щоб випереджати спроби обходу. Проте фундаментальна проблема лишається: з розвитком генеративних можливостей AI завдання виявлення стає все більш складним.
## Перспективи автентифікації контенту
Незалежно від галузі — чи то освіта, видавництво, чи професійна сфера — дослідження вказує на одну незручну реальність: епоха, коли можна легко відрізнити людське письмо від AI-генерованого, може добігати кінця.
Для організацій, що планують впроваджувати технології виявлення AI, результати Чиказького дослідження містять важливі рекомендації:
– необхідно чітко розуміти, що саме вимірюють ці інструменти;
– приймати неминучість компромісів між різними типами помилок;
– зберігати людський контроль у випадках, коли рішення мають серйозні наслідки.
Абсолютно безпомилкове виявлення, ймовірно, залишається недосяжним, але обґрунтовані стратегії виявлення продовжують бути ефективними.
У міру того як технологічна гонка триває, акцент, можливо, поступово зрушує з простого «полювання» на AI-контент до розробки більш гнучких і комплексних політик, які враховують реалії використання AI у сучасному письмі та створенні контенту.
