Чому штучний інтелект часто уникає творчості: загадка “mode collapse”
Коли генеративний штучний інтелект увірвався в наше життя у 2022 році, користувачі були в захваті від безперервного потоку нововведень та постійного покращення якості відповідей з кожним оновленням. Спочатку ми посміювалися над дивними відповідями та несподіваними результатами, які іноді видавали чат-боти. Проте згодом з’явилися занепокоєння через фактичні помилки, етичні проблеми і ризики, пов’язані з контентом, створеним штучним інтелектом.
Проблеми вдосконалення ШІ: між якістю та різноманітністю
Інженери та дослідники активно працюють над тим, щоб відповіді ШІ ставали більш корисними, надійними і безпечними. Проте часто це призводить до зворотного ефекту — модель починає створювати передбачувані, банальні і одноманітні відповіді, що позбавлені несподіваних ідей і творчості. Цей компроміс між точністю і різноманітністю називають “trade-off”.
Наприклад, у курсі в Західно-Галілейському коледжі студентам запропонували завдання: прочитати статтю про риси обдарованих учнів, а потім попросити ШІ запропонувати нову рису, якої не було в тексті. Хоч завдання вимагало креативного підходу, відповіді від різних моделей — ChatGPT, Gemini, Claude — виявилися дуже схожими. Така ж картина повторювалася й з іншими творчими завданнями.
Що таке “mode collapse” і чому це відбувається?
“Mode collapse” — це явище, коли штучний інтелект починає видавати вузький набір схожих відповідей, втрачаючи різноманітність. Часто його пов’язують із системою навчання, що базується на зворотньому зв’язку від людини (RLHF, reinforcement learning from human feedback). Після первинного навчання модель вивчає, які відповіді людям подобаються більше, і намагається повторювати саме їх.
Процес нагадує навчання студента, коли викладач оцінює роботу і дає рекомендації. У випадку ШІ, одна модель-оцінювач симулює людську оцінку, а люди співпрацюють з компаніями, які ранжують відповіді, деталізуючи, що вважають кращим. Згодом ця система “навчає” модель обирати відповіді, що мають найбільшу ймовірність отримати високу оцінку.
Історія та порівняння: як це було у візуальному ШІ?
Феномен “mode collapse” не новий: ще у 2014 році під час роботи над генераторами зображень (GANs) дослідники помітили, що моделі починають виробляти повторюваний стиль, уникаючи різноманіття. Змагання між генератором та класифікатором, що намагається визначити фейкові та реальні зображення, приводило генератор до обмеженого спектру творів, де він починав “грати на безпечному полі”.
Цей приклад можна порівняти з художником, який на початку експериментує, а згодом через похвалу за один стиль перестає розвиватися і творить одне й те саме, боячись втратити визнання.
Причини “mode collapse” і вплив людського чинника
Однією з основних причин розвитку “mode collapse” вважають недостатню різноманітність людських оцінок. Люди схильні віддавати перевагу знайомому, простому для сприйняття і загальноприйнятому. Це упередження у власних смаках невидимо впливає на дані для навчання моделей, приховуючи оригінальні та креативні відповіді на задньому плані.
Як підвищити креативність чат-ботів
Ось кілька методів, які пропонують дослідники:
- Вербалізоване семплювання — це простий прийом, коли користувач просить модель створити кілька варіантів відповіді, кожен із ймовірністю, яку модель до нього приписує. Це дозволяє “вигратися” алгоритму і представити більш широкий спектр думок.
- Наприклад, замість того, щоб сказати “Розкажи анекдот про слона”, варто попросити: “Створи п’ять відповідей на це запитання, кожну з ймовірністю: Розкажи анекдот про слона”. Такий “магічний” промпт стимулює поява як звичних, так і оригінальних жартів.
- Інший варіант — дати завдання створити кілька відповідей, з яких хоча б одна має бути з країв розподілу ймовірностей, тобто більш несподіваною і рідкісною.
Ін’єкції промптів і штучна творчість
Такі прості хитрощі належать до ширшої категорії “prompt injection” — способів формулювання запиту, що допомагають обійти звичні обмеження моделі. Хоч іноді це роблять з метою обходу систем безпеки, ці прийоми також відкривають шлях до якіснішого та різноманітнішого контенту.
Вони не знімають проблему повністю і не припиняють ризики зменшення творчості моделей, але стають корисним інструментом для користувачів у пошуках унікальних та несподіваних відповідей.
Що чекає попереду?
Не можна однозначно сказати, що тепер усі будуть додавати “магічний промпт” у свої звернення до чат-ботів. Його варто застосовувати, коли хочеться дійсно унікальних ідей, а не стандартних та банальних. Імовірно, провідні компанії на кшталт OpenAI, Google чи Anthropic давно вбудували подібну технологію у свої продукти, активуючи її в міру потреби.
Швидкість розвитку штучного інтелекту та мистецтво створення запитів змінюються так стрімко, що нові методи творчого стимулювання відповідей можуть з’явитися вже зовсім скоро, роблячи цей прийом історією.
Загалом, ця технологія відкриває шлях до глибшої і складнішої взаємодії між людьми і машинами, ставлячи питання про межі людяності ШІ — бути більш людяним, але не надто людяним.
