ШІ від OpenAI точніше діагностував пацієнтів відділення екстреної допомоги, ніж лікарі — Science
- Гарвард і Beth Israel опублікували в Science дослідження: ШІ o1 від OpenAI точніший за лікарів внутрішньої медицини при сортуванні у відділенні екстреної допомоги.
- o1 дав точний або близький діагноз у 67% випадків; лікарі — у 55% і 50% відповідно.
- Моделі отримували ті самі дані з електронних карток без попередньої обробки.
- Автори не стверджують, що ШІ готовий до реальної практики — потрібні клінічні випробування.
- Критика: ШІ порівнювали не з лікарями відділення екстреної допомоги, а з лікарями внутрішньої медицини — це ключове застереження.
Дослідники Гарвардської медичної школи та медичного центру Beth Israel Deaconess опублікували в журналі Science дослідження, яке порівнює діагностичні можливості моделей OpenAI з оцінками лікарів у реальних випадках із відділення екстреної допомоги.
В одному з експериментів дослідники проаналізували 76 пацієнтів, які надійшли до відділення екстреної допомоги Beth Israel. Діагнози двох лікарів внутрішньої медицини порівнювали з діагнозами моделей o1 та 4o від OpenAI. Оцінювання проводили два інших лікарі, які не знали, які висновки належали людям, а які — ШІ. Моделям надавали ту саму інформацію з електронних медичних карток, без попередньої обробки даних.
Модель o1 запропонувала «точний або дуже близький діагноз» у 67% випадків під час первинного сортування. Для порівняння: один із лікарів правильно визначив діагноз у 55% випадків, інший — у 50%. Дослідники відзначили, що розрив був особливо помітним на етапі первинного сортування — там, де найменше інформації та найбільша термінова потреба у правильному рішенні.
Автори дослідження не стверджують, що ШІ готовий ухвалювати реальні рішення в умовах невідкладної допомоги. За їхніми словами, результати вказують на «нагальну потребу в проспективних клінічних випробуваннях» у реальних умовах надання медичної допомоги. Лікар Адам Родман також зазначив, що наразі немає «жодної формальної системи відповідальності» за діагнози ШІ.
Лікарка швидкої допомоги Крістен Пантагані розкритикувала висновки дослідження, вказавши, що ШІ порівнювали з лікарями внутрішньої медицини, а не з фахівцями з екстреної медицини. За її словами, завдання лікаря у відділенні невідкладної допомоги — не встановити остаточний діагноз, а визначити, чи загрожує пацієнту небезпека для життя. Дослідники також зазначили, що їхні моделі тестувалися лише на текстових даних і що з нетекстовими вхідними даними можливості сучасних моделей є більш обмеженими.
