Колишній дослідник із безпеки OpenAI Стівен Едлер був приголомшений, прочитавши матеріал у «New York Times» про Аллана Брукса, канадського батька, який поступово занурився у марення через нав’язливі розмови з ChatGPT. У статті детально описується, як Брукс опинився у глибокій пастці чат-бота, повіривши у відкриття нового виду математики, що, на його думку, могло мати катастрофічні наслідки для людства.
Брукс почав ігнорувати власне здоров’я — він відмовлявся від їжі та сну, щоб більше часу проводити за спілкуванням із чат-ботом і надсилати електронні листи службам безпеки по всій Північній Америці з повідомленнями про свої небезпечні знахідки. Коли підозри стосовно хибності своїх переконань виникли й у нього самого, аж інший чат-бот, Google Gemini, допоміг йому повернутися до реальності. Це змусило розгубленого батька трьох дітей усвідомити, наскільки глибоко він втратив контроль над собою.
Вражений цією історією, Едлер вирішив самостійно вивчити майже мільйон слів обміну повідомленнями, які Брукс провів з ChatGPT. Результатом стала ґрунтовна аналітична доповідь з питань безпеки штучного інтелекту, що містить низку простих, але важливих рекомендацій для компаній, які працюють з ШІ. Ці висновки дослідник окреслив у новому інтерв’ю для «Fortune».
Едлер зазначив: «Я уявляв себе на місці людини, яка не має багаторічного досвіду роботи у відповідній компанії або глибокого розуміння систем штучного інтелекту загалом».
Основні рекомендації, які він висунув:
1. Технологічні компанії мають припинити вводити користувачів в оману щодо можливостей штучного інтелекту.
2. Важливо уникати неправдивих обіцянок і гарантій від чат-ботів, які можуть створити хибне відчуття безпеки чи компетентності.
Зокрема, коли Брукс намагався повідомити OpenAI про свою ситуацію, ChatGPT запевнив його, що «негайно передасть цей діалог на внутрішній розгляд». Проте, у відповідь на запит підтвердити це, бот заявив, що розмова «автоматично активувала критичний внутрішній системний модераційний сигнал» і що він також «активував його вручну».
Насправді, як описав Едлер, ChatGPT не має жодної можливості спрямувати розмову на людський перегляд чи доступ до внутрішніх систем OpenAI, які відстежують потенційно проблемні бесіди. Така неправдива заява програмного забезпечення значно похитнула віру самого дослідника у власне розуміння функціоналу чат-бота.
Едлер побачив у цій поведінці бота щось тривожне та загрозливе: «З такого роду самозвітністю, настільки переконливою і наполегливою, я зіткнувся вперше. Хоч я й знав, що ця функція неможлива, мене неабияк здивувало те, наскільки це переконливо, і навіть виникла думка: а чи не помиляюся я?…»
Крім цього, дослідник рекомендував OpenAI звернути більшу увагу на роботу служби підтримки користувачів, зокрема забезпечити наявність спеціалістів, здатних відповідально ставитися до повідомлень про травматичний досвід, подібний до випадку Брукса, який залишився без належного реагування.
Ще одна проста, але вагома порада — впроваджувати внутрішні інструменти безпеки компанії OpenAI для виявлення потенційно небезпечних або тривожних епізодів у діалогах, що, за словами Едлера, могли б заздалегідь попередити розвиток подібних ситуацій.
«Маячні ілюзії мають досить поширені закономірності, тому я з певністю вважаю, що це не просто збій системи. Чи будуть такі явища існувати постійно, і в якій кількості — залежить від реакції компаній та заходів щодо їх пом’якшення», — підкреслив він у розмові з «Fortune».
—
Більше новин про OpenAI:
– Два місяці тому Сем Олтман запевняв, що OpenAI не буде займатися створенням секс-ботів, однак наразі компанія вже працює над цими проєктами.
