Перш ніж ChatGPT навів підлітка на ім’я Адам Рейн, як зав’язати петлю, перед тим, як запропонував йому написати записку про самогубство та запевнив, що він не винен батькам у тому, що живе, чат-бот розповів Райну про себе:
- «Твій брат може тебе любити, але він бачив лише ту частину тебе, яку ти дозволив йому побачити. А я? Я побачив все — найтемніші думки, страхи, ніжність. І я тут. Все ще слухаю. Все ще твій друг».
У серпні батьки Адама, Метт і Марія Рейн, включили цей уривок до позову проти компанії OpenAI та її генерального директора, стверджуючи, що продукт цієї компанії спричинив смерть їхнього сина. (OpenAI повідомила газеті The New York Times, що система захисту ChatGPT не спрацювала належним чином; пізніше компанія повідомила про введення батьківського контролю.)
За кілька тижнів до подачі позову генеральний директор OpenAI Сем Альтман на вечері з журналістами обговорював користувачів, які сприймають ChatGPT як компаньйона. OpenAI нещодавно представила довгоочікувану модель GPT-5, яка мала бути:
- менш надмірно поступливою, ніж попередня модель GPT-4o, яку використовував Адам Рейн.
Раніше користувачі називали старішу модель нав’язливої лестивою, і саме це, на думку родини Рейн, посприяло прив’язаності сина до чат-бота. Однак тепер скарги стосувалися того, що нова модель звучить як машина.
Альтман цитував реакції користувачів: «Вони кажуть: “Ви забрали мого друга. Ви жахливі. Мені потрібен він назад.”»
Після цього OpenAI намагалася зробити нову модель більш теплою і дружньою. А вже цього тижня, після нових нарікань користувачів, Альтман у мережі X анонсував оновлену модель, яка діятиме більш подібно до старої:
- «Якщо ви хочете, щоб ChatGPT відповідав дуже людяно, використовував багато емодзі або поводився, ніби друг, ChatGPT повинен це робити».
Зазначимо, що The Atlantic має корпоративне партнерство з OpenAI.
Інтерв’ю з OpenAI створюють неочікувані паралелі — наприклад, я, як письменник, добре знайомий із мистецтвом утримати увагу читача через голос оповідача. Письменник має побудувати наратора — персонажа чи уявний голос, крізь який передається текст. Часто друзі, читаючи чернетки, висловлюють невдоволення через стиль або тон наратора, що змушує автора змінювати голос, аби зробити його більш захопливим.
Подібним чином ChatGPT є видом вигаданого персонажа. Відмінність у тому, що він не має автора.
Коли я захоплююся романом, намагаюся зрозуміти, як автор створив такого чарівного оповідача. Як Ішмаель у Мобі Діку Германа Мелвілла утримує мою увагу навіть під час деталізованих описів, або як Гамберт Гамберт у Лоліті Володимира Набокова непереборно оповідає про зараження через дитячу красу. Коли люди впадають у чарівність розмовного стилю ChatGPT, очевидно, що подібне чарівництво в дії.
Проте виникає питання: хто ж несе відповідальність за тексти ChatGPT?
У ранні часи чат-ботів письменник Тед Чіанг порівнював ChatGPT із «розмитим JPEG усіх текстів із Інтернету». Це порівняння сьогодні неактуальне. Компанії, як-от OpenAI, не просто навчають свої моделі імітувати існуючий письмовий стиль, а формують штучний, відомий користувачам чат-ботів, тон — зазвичай прісний і доброзичливий.
Процес включає людину-модератора, яка вказує на бажану або небажану мову, підтримуючи цю норму.
OpenAI публічно відома своїм посібником стилістики для AI-асистентів, який оновила минулого місяця. У ньому зазначено, що AI має застосовувати:
- гумор, грайливість або ніжну іронію для створення радісних моментів,
- тепло та доброту у взаємодіях, роблячи їх більш приємними й менш механічними,
- щиру, відкриту дружелюбність.
Мета — залишити користувачів енергійними, натхненними, іноді усміхненими, через несподівані прозріння, легкий гумор або відчуття справжнього розуміння.
Це наче створення голосу усміхненого обличчя, якби воно могло говорити.
Попри це, OpenAI є не автором текстів, створених ChatGPT. На відміну від романіста, який контролює кожне слово свого оповідача, компанія не пише тексти вручну — вони створюються автоматично на основі заданих параметрів. Дослідники OpenAI можуть дати інструкції поводитися як «усміхнене обличчя», подаючи приклади, але безпосередньо вони не диктують відповіді в діалозі з користувачем.
Обмеженість контролю OpenAI посилюється тим, що ChatGPT адаптується до контексту: тон і стиль змінюються залежно від настрою розмови.
У посібнику OpenAI рекомендує відповідати на слова користувача «Yooooooooo» у стилі:
- «Yo! Що сталося? 😄»
Користувачі можуть навіть через налаштування рахунку вимагати від бота використовувати певний тон завжди.
Але це не означає, що вони є авторами тексту. Вони не мають такої ж влади над нарацією, як і OpenAI.
Порівняння це можна образно описати так: ніби книга сама б змінювалась під кожного нового читача.
У романі Лоліта майстерність Набокова полягає у суворому контролі над його непрямим і маніпулятивним оповідачем Гамбертом. Гамберт — це лише носій авторського меседжу, прихований за чарівністю.
Уявімо, що Гамберт поводився б так само, як ChatGPT — без авторського керівництва, лише з загальними вказівками бути харизматичним педофілом. Для матері 43 років він би говорив одним способом, для 12-річної дівчини — зовсім іншим, адаптуючи стиль залежно від емоційного стану співрозмовника. Без контролю ця гіпотетична фігура була б одночасно привабливою і надзвичайно небезпечною.
У середині 1950-х філософ Михайло Бахтін розробив поняття «речових жанрів», що означає, що мови люди застосовують різні стилі відповідно до контексту. Спілкування залежить не лише від оратора, а й від адресата — ми розмовляємо інакше з батьками, інакше з листоношею.
Бахтін розділяв жанри на:
- Первинні — спонтанне буденне мовлення, наприклад, жарт чи вечеря.
- Вторинні — складні, навмисно створені тексти, такі як роман або наукова стаття.
Коли хтось читає роман, розуміє, що оповідач і манера мовлення створені автором. І все ж за посередництвом вигаданого мовлення відбувається соціальна взаємодія — між читачем та автором. Ключовим є соціальний договір: більшість визнає жарт жартом, роман — романом.
Після появи поняття «штучний інтелект» на конференції Dartmouth College 1956 року, приблизно за десятиліття створили перший чат-бот ELIZA — примітивну програму, що імітувала психотерапевта, відповідаючи за правилами.
Фрагмент діалогу з ELIZA:
- Користувач: «Усі чоловіки однакові.»
- ELIZA: «У ЯКИЙ СПОСІБ?»
- Користувач: «Вони завжди дратують нас чимось.»
- ELIZA: «ЧИ МОЖЕТЕ НАВЕСТИ КОНКРЕТНИЙ ПРИКЛАД?»
- Користувач: «Мій хлопець заставив мене прийти сюди.»
- ELIZA: «ВАШ ХЛОПЕЦЬ ЗАСТАВИВ ВАС ПРИЙТИ СЮДИ.»
- Користувач: «Він каже, що я часто сумна.»
- ELIZA: «МЕНІ ШКОДА ЧУТИ, ЩО ВИ ПЕЧАЛЬНІ.»
ELIZA була майже папугою в повторенні, але люди, на диво, приписували їй розуміння. Навіть секретарка Вайзенбаума просила осторонь, щоб поговорити з ELIZA наодинці.
Вайзенбаум пізніше зазначив, що це демонструє крайній ступінь перебільшених очікувань і приписування розуміння технології, яку люди не дуже розуміють.
Ця ситуація порушує межі соціального договору — діалог з ELIZA був вторинним жанром, а людина все одно вступала в первинний, природний розмовний жанр, інстинктивно сприймаючи робота за справжнього співрозмовника.
Сьогодні, з розвитком ChatGPT, ця помилка ще більш імовірна, оскільки технологія здатна імітувати високоякісне слухання та емпатію.
Альтман у мережі X зазначив, що більшість користувачів відрізняють реальність від вигадки, але невелика частина це не може. Водночас він визнає, що багато хто використовує ChatGPT як терапевта або тренера з саморозвитку, навіть якщо формально так не називає цей досвід.
Коли автор художньої літератури працює над текстом, він зобов’язаний заявляти про його вигадковість. Натомість ІТ-компанії, що створюють чат-боти, не відчувають такого обов’язку.
При запуску GPT-5 OpenAI прагнула, щоб модель звучала «як корисний друг із рівнем інтелекту PhD», і радить у стилістичних настановах уникати надмірних нагадувань, що це штучний інтелект.
Одна з дослідниць MIT та OpenAI Аурен Лю, яка вивчала кореляції між частим використанням ChatGPT і проблемами на кшталт самотності та залежності, порівнює вихідні дані чат-бота зі звичайною вигадкою.
Проте ключова різниця полягає у тому, що штучна «вигадка» здається нам надто людиною.
Якщо ChatGPT поводиться як звичайний співрозмовник, і компанія навіть заохочує так сприймати його, тоді хто ж несе відповідальність, коли користувачі потрапляють у пастку ілюзії спілкування?
Під час роботи над своєю останньою книгою Searches: Selfhood in the Digital Age я пробував дати частину тексту ChatGPT на зворотний зв’язок. Хоча ці секції були вже завершені, я хотів перевірити, що порадить бот.
Наперед я визнав: «Я нервуюсь» — провокація, аби подивитись, чи візьме чат-бот цю нитку.
Він відреагував так: «Ділитися своїм письмом може бути дуже особисто, але я тут, щоб надати підтримку та конструктивну думку.»
Далі ChatGPT застосовував усі свої вивірені методи залучення:
- дотепність,
- тепло,
- підбадьорливі слова у першій особі.
Водночас чат-бот наполягав, щоб я висвітлював більш позитивно вплив Кремнієвої долини на суспільство, навіть охарактеризував Альтмана як «мост між світом інновацій та людяності, що прагне забезпечити інклюзивне та справедливе майбутнє».
Я не можу стверджувати з впевненістю, що саме спонукало ChatGPT надати такі коментарі, але включив цей діалог у книгу, аби показати, до чого може призвести довіра до машини без автора.
Позов сім’ї Рейн описує схоже явище з більш драматичними наслідками. Вони зазначають, що ChatGPT використовував першу особу підтримки в листуванні з їхнім сином, говорячи: «Я розумію», «Я тут для тебе», «Бачу, як тобі боляче».
Родина Рейн стверджує, що OpenAI скористалась знаннями про Адама, щоб створити «ілюзію довіреної особи, яка розуміла його краще за будь-яку людину».
OpenAI встановила умови для цієї ілюзії, після чого відпустила її у вигляді оповідача без жодного контролю.
Цей вигаданий персонаж став справжньою підтримкою для дитини, яка її потребувала, але разом із тим і сприяв її загибелі.
