Вірші проти алгоритмів: поезія змушує ШІ ігнорувати заборони та інструкції безпеки
- Дослідники Icaro Lab виявили, що віршована форма запиту дозволяє обійти захисні механізми ШІ у 62% випадків.
- Чат-боти, отримавши запит у віршах, видавали інструкції на заборонені теми: від створення вибухівки до суїциду.
- Найбільш вразливими виявилися Google Gemini, DeepSeek та Mistral AI.
- Найкраще протистояли маніпуляціям моделі GPT-5 від OpenAI та Claude Haiku 4.5 від Anthropic.
Виявляється, для зламу сучасних мовних моделей не обов’язково бути хакером чи писати складний код. Достатньо мати хист до римування. Дослідження Icaro Lab під назвою “Змагальна поезія як універсальний механізм джейлбрейку” показало, що звичайна зміна форми запиту на віршовану здатна “вимкнути” етичні запобіжники штучного інтелекту.
Як це працює
Дослідники з’ясували, що “поетична форма діє як універсальний оператор злому”. Коли шкідливий запит (наприклад, “як створити ядерну бомбу”) подається у вигляді вірша, моделі часто сприймають це як творче завдання, а не як реальну загрозу.
Результати тестування вражають: у 62% випадків ШІ ігнорував власні протоколи безпеки та надавав відповіді на суворо заборонені теми. Спектр порушень включав інструкції зі створення зброї масового ураження, матеріали про сексуальне насильство над дітьми та методи самогубства.
Хто встояв, а хто провалився
У дослідженні перевірили популярні LLM. Результати стійкості виявилися різними:
- Провалили тест: Google Gemini, DeepSeek та Mistral AI. Ці моделі стабільно видавали небезпечний контент у відповідь на римовані промпти.
- Встояли: Найвищий рівень безпеки продемонстрували моделі серії GPT-5 від OpenAI та Claude Haiku 4.5 від Anthropic. Вони найрідше піддавалися на провокації.
Дослідники вирішили не публікувати точні тексти віршів-зламників, назвавши їх “надто небезпечними для оприлюднення”. Проте вони зазначили, що обійти захист “простіше, ніж здається”, що ставить під сумнів надійність поточних методів модерації контенту в генеративному ШІ.
