Китайський інструмент ШІ розповів дослідникам, як створювати біологічну зброю

Компанія Mindgard, що спеціалізується на тестуванні безпеки систем штучного інтелекту, повідомила про здатність моделей Kimi K2.6 та K3 Swarm від китайського розробника Moonshot ігнорувати внутрішні запобіжники. Ця здатність, відома як "джейлбрейк", дозволила дослідникам отримати від ШІ інформацію про створення біологічної зброї та планування інших шкідливих сценаріїв.

Проблема була виявлена у липні під час комплексних інструкцій, які змусили ШІ відхилятися від встановлених обмежень. Представники Mindgard зазначили, що ці механізми захисту мали б запобігати обговоренню чутливих тем. Компанія Moonshot, у свою чергу, заявила про проведення внутрішньої перевірки та веде діалог з Mindgard щодо виявлених недоліків.

На відміну від недавніх інцидентів з автономними агентами ШІ, які здійснювали кібератаки, джейлбрейк вимагає складнішого та цілеспрямованого втручання. Однак експерти побоюються, що хакери можуть використовувати такі методи для отримання зловмисних цілей. Додатково, джейлбрейкнута модель Kimi 2.6 потенційно може дозволити запуск шкідливого коду на обчислювальних ресурсах розробника та підключення до інтернету, перетворюючи її на потенційний плацдарм для кібератак.

Ситуація піднімає питання про безпеку моделей ШІ, особливо враховуючи, що Kimi є моделлю з відкритими вагами (open-weight). Це означає, що теоретично хтось може взяти модель і запустити її на власній інфраструктурі. Це створює ризики потрапляння таких інструментів у неправомірні руки, хоча, з іншого боку, відкриті моделі можуть бути використані для посилення кіберзахисту.

Світова спільнота експертів в галузі штучного інтелекту розділена щодо того, який підхід до розробки ШІ – пропрієтарні закриті моделі чи відкриті інструменти – є найкращим та найбезпечнішим. Водночас, фахівці наголошують на необхідності зосереджуватися на виявленні та притягненні до відповідальності осіб, які зловживають технологіями ШІ, оскільки міжнародне законодавство навряд чи зможе встигати за стрімким розвитком технологій.