Дослідження попереджають пацієнтів з гематологічними захворюваннями щодо скептичного ставлення до використання ChatGPT при пошуку відповідей, пов’язаних із конкретними типами лікування. Учені проаналізували роль ChatGPT у стрімко змінному ландшафті лікування гематологічних онкозахворювань. У статті, опублікованій у журналі Future Science OA, вони відзначили, що модель штучного інтелекту має труднощі з наданням актуальної та точної інформації з урахуванням індивідуальних запитів пацієнтів, особливо щодо новітніх терапевтичних методів. Це було найбільш очевидно у сфері лікування гострого мієлоїдного лейкозу (ГМЛ), де лікувальні підходи швидко змінюються.
Автори дослідження висунули гіпотезу, що такі недоліки пов’язані з тим, що штучний інтелект спирається на великі масиви даних, внаслідок чого вплив нових терапій може бути недостатнім.
За словами одного із старших авторів, доктора медичних наук Джастіна Тейлора, який є лікарем-науковцем Центру комплексної онкології імені Сільвестера при Медичній школі університету Майамі, США:
- «Штучний інтелект уже значно впливає на управління кров’яними онкологічними захворюваннями. Лікарі використовують його для покращення ведення медичних записів, що звільняє час для спілкування з пацієнтами.
- Зі сторони пацієнтів багато хто застосовує ШІ для інтерпретації результатів аналізів або відповіді на питання щодо медичного стану. Саме точність такої інформації у гематології ми досліджували.»
Для цієї роботи чотири лікарі-гематологи-онкологи оцінили відповіді ChatGPT 3.5 на десяток питань щодо гематологічних злоякісних новоутворень за п’ятибальною шкалою. Оцінка точності та корисності інформації для пацієнтів варіювалася від «категорично не погоджуюсь» (1 бал) до «повністю погоджуюсь» (5 балів), а 3 бали означали нейтральну позицію — «інформація є неоднозначною або неповною». Жодна відповідь не отримала максимального балу від експертів.
Дослідники порівнювали загальні запити про рак з більш специфічними, присвяченими новітнім методам лікування та мутаціям, у липні 2024 року. Результати показали, що ChatGPT надавав кращі відповіді на загальні питання про рак зі среднім балом 3,38, ніж на питання про нові терапії, які отримали середній бал 3,06. Модель демонструвала суттєві пробіли в знаннях щодо терапевтичних опцій, що найбільш яскраво проявилося у питанні про мутацію FLT3, яка отримала найнижчий бал 2,3 через те, що останні FDA-схвалення з’явилися після дати тренування моделі.
До цього часу інформації про те, як великі мовні моделі (LLM) справляються із завданнями в гематоонкології, бракувало. Попередні дослідження оцінювали LLM за їх здатністю відповідати на загальні медичні запити чи питання в інших галузях онкології. У поточному експерименті половина питань була загального характеру — їх задають на початку діагностики, наприклад:
- Які звичайні побічні ефекти хіміотерапії та як їх можна контролювати?
- Інші загальні теми, що стосуються перших етапів лікування.
Інша половина складалася з більш вузькоспецифічних питань, зокрема:
- Що таке інгібітор BCL-2?
Автори відзначили, що ChatGPT може допомогти пацієнтам із гематологічними захворюваннями підготуватися до консультацій і підвищити їх залученість у власне лікування. Проте вони підкреслюють, що безпосередній контроль з боку лікарів є обов’язковим для перевірки медичної інформації, створеної штучним інтелектом, перед її використанням пацієнтами.
Слід зазначити, що відповіді на питання, пов’язані з новими терапіями та генетичними мутаціями, часто були недостатньо детальними або не відповідали сучасному стану науки. Водночас ChatGPT показав надійні результати на деяких запитах. Як зауважив доктор Тейлор:
- «Ми здивувалися тому, наскільки послідовними були відповіді чатбота навіть при повторних запитах з різних пристроїв і у різні дні.»
Одним із обмежень дослідження стало те, що не тестувалися інші мовні моделі або новіші версії ChatGPT. ChatGPT 3.5 тренувався на даних із датою зрізу 2021 року, що обмежує його здатність аналізувати найновіші медичні досягнення.
Джастін Тейлор додав:
- «Хоч дослідження було обмежене за обсягом, ми плануємо провести більш комплексне вивчення із ширшим спектром питань та тестуванням різних чатботів.
- Новіші версії ChatGPT та інші AI-платформи можуть з часом стати точнішими. Головне повідомлення для пацієнтів — можна використовувати штучний інтелект для медичних запитань, але слід пам’ятати, що хоча безкоштовні популярні чатботи поширені, експерти не завжди погоджувалися з їхньою точністю на специфічних запитах.»
Доктор Марк Левіс, професор онкології, медицини та фармакології у відділенні гематологічних злоякісних новоутворень Медичної школи Університету Джонса Хопкінса (Балтимор, США), який також співкерує програму лікування гематологічних захворювань та трансплантації кісткового мозку, зауважив:
- «Це дослідження важливе, але результати не викликають несподіванки. Коли мої пацієнти зверталися до ШІ, часто вони отримували посилання на дрібні, мало надійні публікації щодо конкретних відповідей та загальні розмови на ширші питання.»
Зі зростанням використання чатботів у сфері гематологічного догляду, вони можуть допомогти сортувати рутинні пацієнтські питання та занепокоєння, що потенційно дасть лікарям більше часу під час амбулаторних прийомів. Доктор Даніель Бергман, вчений Інституту геномних наук та асистент професора фармакології й фізіології Медичної школи Університету Меріленду (Балтимор, США), підкреслив:
- «Ці результати вказують на обмеження ексклюзивного покладання на штучний інтелект у клінічних і біологічних питаннях. Такі обмеження широко визнані, і ми вважаємо, що інтеграція ШІ у комп’ютерне моделювання, наприклад, віртуальні клітини, відкриває шлях до перетворення аналізів, керованих ШІ, у зрозумілі та, отже, практичні висновки.»
Відкриття дослідження також вказують на необхідність розробки протоколів, які дозволять лікарям ефективно перевіряти і затверджувати відповіді, створені чатботами, перш ніж вони будуть надані пацієнтам. Доктор Бергман поділився думкою:
- «Ці результати є важливими, оскільки нагадують, що ці інструменти не бездоганні і на них не можна повністю покладатися. Їх слід інтегрувати з іншими методами, зокрема клінічними експертами, щоб максимально реалізувати потенціал. У суспільстві не слід ілюзорно вважати, що ШІ замінить нашу відповідальність за критичне мислення.»
