Дослідження моделі ChatGPT-5 від OpenAI виявило, що приблизно в 25% випадків вона генерує неправильні відповіді. Ці неточності пояснюються внутрішніми обмеженнями навчальних даних моделі та її ймовірнісною архітектурою, як зазначено у звіті Tom’s Guide.
Порівняно з попередником, GPT-4, ChatGPT-5 демонструє значне покращення:
– на 45% менше фактичних помилок;
– у шість разів зменшилась кількість “галюцинацій” — повністю вигаданих відповідей.
Проте, попри ці досягнення, дослідження підтверджує, що модель і досі проявляє явище надмірної впевненості, коли іноді з упевненістю подає хибну інформацію. Збереження цього ефекту, хоч і в зменшеному масштабі, залишає критичною проблему надійності.
Точність роботи моделі суттєво коливається залежно від сфери завдання:
– на тесті з математики AIME 2025 модель досягла 94,6% точності;
– у виконанні реальних завдань із програмування — 74,9% успішності.
У завданнях, що потребують загальних знань або складних багатокрокових міркувань, помилки стають більш поширеними, а продуктивність — менш стабільною.
При перевірці за стандартом MMLU Pro — суворим академічним тестом із широкого спектру предметів, таких як наука, математика та історія — ChatGPT-5 продемонстрував приблизно 87% точності. Основні причини помилок, окреслені в дослідженні, охоплюють:
1. Нездатність повністю розуміти нюансовані питання.
2. Залежність від навчальних даних, які можуть бути застарілими або неповними.
3. Фундаментальна особливість моделі як ймовірнісного механізму прогнозування патернів, що може породжувати правдоподібні, але фактично хибні відповіді.
Відповідно до отриманих даних, у звіті рекомендується користувачам самостійно перевіряти критично важливу інформацію, отриману від ChatGPT-5. Це особливо актуально для професійних, академічних або медичних запитів, де точність має вирішальне значення. Незважаючи на суттєві покращення, постійний рівень помилок вказує на необхідність обережного ставлення та зовнішньої верифікації результатів моделі.
