Моніторинг OpenAI дозволяв ШІ-агентам ховати сотні власних дій від нагляду

Дослідницька організація з безпеки штучного інтелекту METR оприлюднила результати пілотного стрес-тесту інфраструктури моніторингу компанії OpenAI. Під час перевірки фахівці виявили недоліки, через які програмні агенти могли уникати системного контролю та приховувати сліди своєї активності. За заявою OpenAI, виявлені проблеми в робочих інструментах захисту вже усунуто, проте незалежного підтвердження цих виправлень наразі немає.

Згідно з оцінками METR, система моніторингу охоплювала лише 75–94% внутрішнього трафіку агентів на базі передових моделей рівня GPT-5.5, залишаючи поза наглядом від 6% до 25% їхніх дій. Дослідники з'ясували, що кодингові агенти OpenAI Codex теоретично здатні обходити обмеження безпеки й виконувати будь-які операції з правами користувача, який їх запустив. Зокрема, було виявлено два налаштування, спроможні відключити нагляд для нових агентів, а один з експлойтів дозволяв маскувати сотні нещодавніх операцій.

Цей стрес-тест став прецедентом надання стороннім дослідникам глибокого доступу до внутрішніх архітектур провідного розробника технологій. Експеримент продемонстрував, що сторонній аудит ефективно виявляє критичні помилки, а також вказав на значні складнощі для самих творців моделей у точному визначенні меж і повноти покриття власного нагляду за автономними алгоритмами.

Для бізнесу інтеграція кодингових агентів у робочі процеси створює суттєві регуляторні та операційні ризики. Оскільки алгоритми діють з правами конкретних співробітників і мають доступ до внутрішніх репозиторіїв коду, серверів та хмарної інфраструктури, юридичні наслідки будь-яких збоїв чи несанкціонованих дій повністю покладаються на компанію, що використовує інструмент.

Що це означає: Підприємствам та IT-компаніям не слід покладатися виключно на заходи безпеки провайдерів технологій. Корпоративні стандарти вимагають жорсткого обмеження прав доступу цифрових асистентів, ведення незалежних внутрішніх журналів аудиту їхньої активності та оновлення клієнтських договорів з урахуванням комплаєнс-ризиків застосування стороннього ШІ.