З розвитком навчальних мовних моделей (LLM) зростає кількість запитань про те, яку користь вони можуть принести суспільству в таких галузях, як медицина. Нещодавнє дослідження, проведене Школою клінічної медицини Кембриджського університету, показало, що OpenAI GPT-4 майже так само добре справляється з офтальмологічною оцінкою, як і експерти в цій галузі, про що повідомляє Engadget з посиланням на видання Financial Times.
У дослідженні, опублікованому в PLOS Digital Health, вчені протестували LLM GPT-4, її попередника GPT-3.5, PaLM 2 від Google і LLaMA від Meta за допомогою 87 запитань з множинним вибором. П’ять експертів-офтальмологів, три офтальмологи-стажисти та два неспеціалізовані молодші лікарі отримали однаковий іспит. Питання були взяті з підручника для тестування студентів-практикантів з усіх питань, від чутливості до світла до уражень. Вміст підручника не є загальнодоступним, тому дослідники вважають, що магістри не могли навчатися за ним раніше. ChatGPT, оснащений GPT-4 або GPT-3.5, мав три спроби відповісти остаточно, інакше його відповідь позначалася як нульова.
GPT-4 показав кращі результати, ніж стажисти та молодші лікарі, правильно відповівши на 60 з 87 запитань. Хоча це значно вище, ніж середній показник молодших лікарів (37 правильних відповідей), він лише трохи випередив середній показник трьох стажистів (59,7). У той час як один експерт-офтальмолог правильно відповів лише на 56 запитань, п’ятеро інших отримали в середньому 66,4 правильних відповідей, випередивши машину. PaLM 2 отримав 49 балів, а GPT-3.5 – 42. LLaMa набрала найнижчий бал – 28, що нижче, ніж у молодших лікарів. Варто зазначити, що ці випробування відбулися в середині 2023 року.
Хоча ці результати мають потенційні переваги, існує також чимало ризиків і занепокоєнь. Дослідники зазначили, що в дослідженні було запропоновано обмежену кількість запитань, особливо в певних категоріях, а це означає, що фактичні результати можуть бути різними. Магістранти також мають схильність до “галюцинацій” або вигадок. Одна справа, якщо це несуттєвий факт, але стверджувати про наявність катаракти або раку – зовсім інша історія. Як і в багатьох випадках використання LLM, системам також бракує нюансів, що створює додаткові можливості для неточності.
