Дослідники показали атаки на голосові ШІ через приховане аудіо
- Вчені створили метод атак на голосові ШІ через невидимі аудіосигнали.
- Шкідливе аудіо можна вбудовувати у відео, музику або подкасти.
- Сигнал створюється за 30 хвилин і працює незалежно від контексту.
- Атака протестована на відкритих моделях і впливає на комерційні рішення.
- Microsoft заявляє про використання додаткових рівнів захисту.
Дослідники з Китаю та Сінгапуру продемонстрували можливість атак на голосові ШІ-системи за допомогою прихованих аудіосигналів, які не сприймаються людським слухом. Результати дослідження представлені на конференції IEEE Symposium on Security and Privacy, пише Futurism.
Метод базується на створенні так званого «ворожого аудіо», яке змушує голосові моделі виконувати небажані дії. Такі сигнали можна вбудовувати у звичайний аудіоконтент — музику, відео або подкасти — і відтворювати у фоновому режимі.
За словами одного з авторів дослідження, аспіранта Чжецзянського університету Мен Чена, створення такого сигналу займає близько 30 хвилин. Після цього його можна використовувати повторно незалежно від контексту, оскільки модель не здатна відрізнити звичайні команди користувача від шкідливих сигналів.
Обмеженням методу є необхідність доступу до повних ваг моделі, що дозволило дослідникам протестувати атаку лише на відкритих моделях. Водночас зазначається, що багато комерційних рішень побудовані на основі таких моделей, тому атака виявилася ефективною і проти продуктів компаній Microsoft та Mistral.
Microsoft у коментарі зазначила, що подібні дослідження допомагають оцінювати стійкість моделей і вдосконалювати захист. Компанія також вказала, що в реальних застосунках використовуються додаткові рівні безпеки для захисту користувачів.
