Google змінює підхід до оцінки відповідей ШІ Gemini: нові вимоги до контракторів
Google змінила правила для оцінювачів ШІ Gemini, заборонивши пропускати запити, навіть якщо вони виходять за межі експертизи рейтера. Новий підхід викликав суперечливі реакції серед контрактних працівників.
Ключові моменти:
- Контрактори GlobalLogic тепер повинні оцінювати всі запити, які вони розуміють хоча б частково.
- Пропуск дозволений лише у разі значного браку інформації або наявності шкідливого контенту.
- Google стверджує, що ці зміни не вплинуть на точність Gemini, адже оцінювачі надають зворотний зв’язок щодо формату, а не лише змісту.
Нові правила оцінки ШІ Gemini: що змінилось
Нещодавно Google внесла суттєві зміни до роботи контракторів, які оцінюють якість відповідей ШІ Gemini. Відтепер їм заборонено пропускати запити, навіть якщо вони виходять за межі їхньої компетенції. Згідно з інформацією, отриманою TechCrunch, компанія інструктувала оцінювачів оцінювати лише ті частини запиту, які вони розуміють, і додавати примітку про відсутність знань у певній галузі.
Раніше контрактори могли пропускати завдання, які вимагали спеціалізованих знань, наприклад, юридичні чи математичні запити. Це, на думку багатьох, підвищувало точність оцінок, адже завдання передавали фахівцям відповідної галузі.
Реакція працівників
Один із контракторів прокоментував нові вимоги так:
“Я думав, що мета пропуску завдань — підвищити точність, передавши їх більш компетентним людям”.
Тепер пропуск завдань дозволений лише у двох випадках:
- Якщо у завданні бракує великої частини інформації.
- Якщо запит містить шкідливий контент, що потребує спеціальних форм для оцінки.
Коментар Google
Google надала офіційну заяву Engadget, пояснивши новий підхід:
“Оцінювачі виконують широкий спектр завдань, включаючи оцінку стилю, формату та інших аспектів відповідей. Їхні оцінки не впливають безпосередньо на алгоритми, але у сукупності є корисним інструментом для вимірювання ефективності наших систем”.
Компанія також стверджує, що новий підхід не повинен знижувати точність відповідей Gemini. Завдяки системі FACTS Grounding, яка була представлена нещодавно, Google має на меті забезпечити не лише фактичну точність відповідей, а і їхню деталізованість.
Нові правила оцінки викликають суперечки, однак Google впевнена, що такі зміни сприятимуть вдосконаленню ШІ, дозволяючи аналізувати не тільки зміст, але й формат та інші технічні аспекти відповідей.
