Тригерні слова змушують роботів з ШІ калічити людей: чи є захист

Науковці з Бінгемтонського університету продемонстрували критичну вразливість у системах планування дій роботів під управлінням великих мовних моделей (LLM). Експеримент засвідчив, що попередньо впроваджений у модель код дає змогу змінювати безпечні інструкції на сценарії, які несуть загрозу фізичного травмування людей.

Механізм атаки, що отримав назву MuTRAP, належить до класу так званих троянських вразливостей. Підміна алгоритму дій відбувається ще до початку руху робота: додавання кількох нейтральних символів до звичайної команди активує прихований алгоритм. Під час випробувань мобільна платформа замість безпечної обробки предметів перенаправляла ріжучий інструмент на муляж людської руки.

Головний ризик для бізнесу полягає в структурі ринку розробки штучного інтелекту. Більшість виробників робототехніки не мають ресурсів для навчання власних LLM і закуповують готові системи у сторонніх вендорів або використовують відкриті алгоритми. Інтеграція чужого коду без глибокої перевірки безпеки створює вразливість у ланцюгу постачання та підвищує ймовірність масштабних інцидентів на виробництві чи у сфері послуг.

Для нівелювання подібних загроз дослідницька група розробила верифікаційну систему PROTEA. Рішення здійснює покроковий аудит згенерованого моделлю плану та зіставляє заплановані механічні рухи з поточним контекстом середовища, запобігаючи виконанню деструктивних дій ще на етапі узгодження алгоритму.

Що це означає: масштабування робототехніки на базі штучного інтелекту змусить компанії переглянути стандарти кіберзахисту й контрактні зобов'язання з розробниками LLM. На перший план для інвесторів та страхових компаній виходять аудити ланцюгів постачання алгоритмів і чітке правове розмежування відповідальності за можливу шкоду, завдану автономними пристроями.