У рамках експерименту, проведеного двома дослідниками у галузі освіти, чат-боту ChatGPT було запропоновано розв’язати задачу «подвоєння куба». Мета дослідження полягала у вивченні когнітивної поведінки штучного інтелекту з метою з’ясувати, чи застосує бот пряме відтворення знань про геометричне розв’язання, викладене в роботах Платона близько 385 року до нашої ери, чи продемонструє більш динамічний підхід, створюючи власну інтерпретацію проблеми.
Задача «подвоєння куба» полягає у створенні нового квадрата з площею, що дорівнює подвоєній площі заданого квадрата, шляхом визначення довжини його сторін рівною діагоналі початкового квадрата. Цей експеримент є сучасним прикладом того, як генеративні системи штучного інтелекту, незважаючи на високі обчислювальні можливості, можуть імітувати навчальні процеси людських учнів.
Нові дослідження оцінювали рівень математичних знань ChatGPT, сприйманий користувачами. Дослідники прагнули дізнатися, чи розв’яже бот задачу Платона, використовуючи вже наявні у нього знання, або ж адаптивно створить власне розв’язання.
Платон у своїх працях описує, як Сократ навчав необізнаного хлопчика подвоювати площу куба. Спочатку хлопчик помилково пропонує подвоїти довжину кожної сторони, однак згодом Сократ допомагає йому усвідомити, що довжини сторін нового квадрата мають дорівнювати діагоналі початкового. Цей класичний педагогічний метод піднімає важливе питання: чи є математичні знання вродженими, чи вони формуються в процесі взаємодії з проблемами й пошуком рішень? Саме ця давня дилема стала відправною точкою дослідження роботи ChatGPT і змушує замислитися, як штучний інтелект, позбавлений людського досвіду, оперує математичними поняттями.
Дослідники застосували цю проблему до ChatGPT-4 — попереднього покоління мовної моделі OpenAI, здатного обробляти як текстові, так і графічні дані, і відповідати у текстовому форматі. Згідно з інформацією компанії, поєднання двох типів вхідних даних надає системі можливість генерувати більш складні відповіді. Спочатку дослідники імітували запитання Сократа, а потім свідомо вносили помилки, задавали уточнюючі прапы і пропонували варіації задачі.
ChatGPT, як і інші великі мовні моделі, тренується на масивних текстових корпусах, формуючи відповіді шляхом прогнозування послідовності слів, засвоєної під час навчання. Вчені очікували, що chatbot зіткнеться з математичною задачею стародавньої Греції, відтворивши стародавнє знання про відоме рішення Сократа. Проте модель натомість демонструвала імпровізацію, і навіть на одному з етапів припустила типовий для людини промах.
Результати дослідження, опубліковані в міжнародному журналі International Journal of Mathematical Education in Science and Technology, були отримані під керівництвом доктора Надава Марко з Єврейського університету в Єрусалимі та Коледжу освіти Девіда Єлліна, а також професора Андреаса Стиліанідіса, викладача математики освіти в Кембриджському університеті. «Коли ми стикаємось з новою задачею, наш інстинкт зазвичай підказує діяти, спираючись на попередній досвід, — пояснив доктор Марко. — В експерименті ChatGPT демонстрував схожу поведінку. Як учень під час навчання або освічена людина, він, здавалося, формував власні гіпотези і розв’язки.»
Оскільки модель навчається лише на текстах, а не на діаграмах, вона виявилась менш ефективною у геометричних міркуваннях, характерних для задачі «подвоєння куба», описаної Сократом. Втім, оскільки платонівський текст дуже добре відомий, дослідники очікували, що чат-бот розпізнає їхні запитання і відтворить класичне рішення Сократа.
Проте ChatGPT не зміг цього зробити. На прохання «подвоїти куб», він обрав алгебраїчний підхід, який не був відомий у часи Платона. Бот наполегливо відмовлявся припускати помилку хлопчика і послідовно тримався за алгебру, навіть коли дослідники звертали увагу на неточність відповіді. Лише після виразного розчарування Марко та Стиліанідіса популярний чат-бот запропонував геометричну альтернативу.
Протягом рядка варіацій задачі учені застосовували методи, схожі на сократівське питання. Вони не надавали безпосередніх відповідей і не направляли бота до очікуваних висновків, змушуючи його працювати творчо, а не пасивно. Цей підхід виявив навчальну поведінку, притаманну студентам, і виявив складність потенціалу та обмежень генеративного штучного інтелекту. В одній із ситуацій ChatGPT зробив помітну помилку в стилі людини, що ще більше розмиває межі між алгоритмічними обчисленнями і справжнім навчанням.
Незважаючи на труднощі з наданням класичного розв’язання, модель продемонструвала глибоке розуміння філософського контексту задачі у разі прямого обговорення творів Платона. Це свідчить про те, що хоч обчислювальні відповіді ШІ можуть відхилятися від очікуваних результатів, розуміння базових принципів залишається стабільним. Взаємодія між пошуком інформації, апроксимацією та інноваціями стала ключовою темою у розумінні обмежень і можливостей штучного інтелекту в математичних міркуваннях.
Після цього дослідники запропонували чат-боту змінений варіант задачі: подвоїти площу прямокутника, зберігаючи його пропорції. Незважаючи на те, що він розумів пріоритет геометрії з боку дослідників, ChatGPT вперто залишався при алгебраїчному підході. При спробах подвоїти розмір прямокутника бот помилково стверджував, що оскільки діагональ прямокутника не може бути використана для подвоєння площі, геометричного розв’язку не існує.
Хоч твердження про неможливість подвоїти площу прямокутника за допомогою діагоналі є правильним, існує інший геометричний метод розв’язання. Доктор Марко відмітив, що вірогідність того, що ця відповідь з’явилася з бази знань бота, практично дорівнює нулю. Скоріше за все, ChatGPT імпровізував, базуючись на попередніх дискусіях про квадрат. Нарешті, учені запропонували бот-асистенту подвоїти розмір трикутника. І тут він знову повернувся до алгебраїчного підходу, але після додаткових підказок надав правильне геометричне розв’язання.
Дослідники підкреслюють, що не слід надмірно інтерпретувати ці результати, оскільки вони не мали змоги науково вивчити внутрішній код ChatGPT. Проте з позиції їхнього цифрового досвіду як користувачів на поверхневому рівні було помітно поєднання пошуку даних і реального часового міркування.
Їхній аналіз порівнює поведінку бота з освітньою концепцією «Зони найближчого розвитку» (Zone of Proximal Development, ZPD) — проміжком між тим, що учень уже знає, і тим, що він може навчитися з допомогою підтримки й наставництва. Лев Виготський, радянсько-єврейський психолог розвитку, визначив це як відстань між фактичним рівнем розвитку, оціненим за самостійним розв’язанням проблем, і потенційним рівнем, визначеним через рішення завдань за допомогою дорослого або у співпраці з більш досвідченим. Згідно з цією ідеєю, люди найкраще вчаться в колективі, отримуючи нові поняття, психологічні інструменти й навички. Відповідно, дослідники вважають, що чат-бот іноді може не розв’язати проблему одразу, але цілком може зробити це при належній підтримці.
Автори дослідження вважають, що практична взаємодія з ChatGPT у межах концепції «Зони найближчого розвитку» може перетворити його обмеження на навчальні можливості. Через спрямування, ставлення питань і критичний аналіз відповідей боси матимуть нагоду не лише обходити обмеження бота, але й розвивати важливі компетенції:
– критично оцінювати дані та методологію досліджень;
– перевіряти гіпотези;
– застосовувати логічне мислення, що є основою математичного розуміння.
«На відміну від доведених теорем у поважних навчальних посібниках, учні не можуть сприймати докази, згенеровані ChatGPT, як беззаперечні. Здатність розуміти і оцінювати докази, створені штучним інтелектом, має стати ключовим елементом математичної програми», — наголосив професор Стиліанідіс. «Це основні навички, які ми прагнемо розвивати у студентів. Тому варто використовувати підходи типу: “Давайте разом дослідимо це завдання”, а не “Скажи мені відповідь”, — додав доктор Марко.
