Microsoft заявляє, що агенти ШІ подібні до внутрішніх загроз, оскільки «моделям-першопрохідцям не можна довіряти»

Технологічний гігант Microsoft представив нові функції безпеки, спрямовані на захист корпоративного сектору від потенційних ризиків, що походять від агентів штучного інтелекту. Основна ідея полягає в тому, що ці агенти, навіть розгорнуті самою компанією, можуть становити загрозу, подібну до недобросовісного інсайдера, через їхню непередбачуваність та доступ до конфіденційних даних.

Серед ключових нововведень – функція Guardian Agents, розроблена для моніторингу роботи корпоративних агентів ШІ. Ця функція є частиною проєкту Project Perception, який був запущений у червні. Спочатку Project Perception передбачав захист від зовнішніх хакерських ШІ-моделей, однак тепер фокус змістився на моніторинг внутрішніх систем. Також Microsoft додав функції виявлення агентів до свого продукту Microsoft Defender, що дозволяє ідентифікувати до 60 типів ШІ-агентів, та механізми обмеження їхнього доступу до даних.

Підхід Microsoft передбачає відокремлення постачальників ШІ-рішень від систем, що контролюють їхню роботу. Ця стратегія схожа на принцип незалежного аудиту, де суб'єкт перевірки та аудитор є різними сторонами. Сатья Наделла, голова Microsoft, раніше наголошував на необхідності створення окремих контролюючих систем, що не підпорядковуються розробникам ШІ-моделей, для забезпечення відповідальності за дії штучного інтелекту.

Керівництво безпекового підрозділу Microsoft відзначає, що так званим «передовим моделям» (frontier models), незалежно від їхнього походження, не можна повністю довіряти через їхню схильність до непередбачуваної поведінки, а не через навмисну шкодочинність. Вони розроблені для виконання завдань, але не завжди слідують корпоративним нормам чи судженням, маючи при цьому доступ до критично важливих даних та інструментів.

Ця позиція Microsoft знайшла підтримку в галузі. Компанія стала одним із засновників нової платформи Open Agent Safety Platform від Nvidia, до якої приєдналися понад 100 інших технологічних компаній. Платформа має на меті ізоляцію агентів у безпечних середовищах та моніторинг їхньої поведінки за допомогою апаратних засобів, функціонуючи як аварійний вимикач.

Що це означає: Підприємствам слід переглянути свої підходи до інтеграції штучного інтелекту, усвідомлюючи потенційні ризики, пов'язані з непередбачуваною поведінкою ШІ-агентів. Необхідність впровадження незалежних систем моніторингу та контролю за діяльністю ШІ стає критичною для забезпечення безпеки даних та операційної цілісності. Це також може стимулювати розвиток нового сегменту ринку рішень з безпеки для ШІ.