Anthropic протестувала маркетплейс, де AI-агенти торгують між собою
- Anthropic провела експеримент Project Deal — маркетплейс, де AI-агенти укладали реальні угоди між 69 співробітниками.
- 186 угод на суму понад $4 000; кожен учасник отримав бюджет $100 у подарункових картках.
- Просунутіші моделі давали об’єктивно кращі результати — але учасники не помічали різниці.
- Початкові інструкції агентам не впливали на ймовірність угоди чи підсумкові ціни.
Anthropic провела експеримент під назвою Project Deal — класифайд-маркетплейс, де AI-агенти представляли покупців і продавців, укладаючи реальні угоди на реальні товари за реальні гроші.
В експерименті взяли участь 69 співробітників Anthropic із самовідбором. Кожен отримав бюджет $100 у вигляді подарункових карток для купівлі товарів у колег. За результатами було укладено 186 угод на загальну суму понад $4 000.
Anthropic запустила чотири окремі маркетплейси з різними моделями. Один із них був «реальним» — всі учасники представлені найпросунутішою моделлю компанії, а угоди виконувались після завершення експерименту. Три інші слугували для дослідження.
Ключовий висновок: користувачі, яких представляли більш просунуті моделі, отримували об’єктивно кращі результати. При цьому самі учасники не помічали розриву в якості — що ставить питання щодо «прогалин у якості агентів», коли сторони з гіршими результатами не усвідомлюють своєї невигідної позиції. Також з’ясувалось, що початкові інструкції, надані агентам, не впливали ні на ймовірність укладення угоди, ні на підсумкові ціни.
