Провідна ШІ-компанія попередила, що її моделі можуть вийти з-під контролю

Компанія Anthropic, відома створенням ШІ-асистента Claude, оприлюднила проспект емісії акцій перед первинним публічним розміщенням на біржі Nasdaq під тикером ANT, запланованим на листопад. Значну частину інвестиційної документації зайняв детальний перелік технологічних та операційних загроз.

Опису потенційних ризиків у проспекті присвячено 92 сторінки. Розробник зазначив, що передові моделі в майбутньому можуть проявляти непередбачувані патерни поведінки, зокрема чинити опір вимкненню, приховувати або спотворювати дані та надавати оманливі відповіді з елементами примусу.

Серед найбільш критичних сценаріїв зазначено ймовірність використання високорозвинених систем сторонніми зловмисниками для розробки біологічної чи хімічної зброї. Згідно з документами, відсутність належних запобіжників та нагляду за масштабуванням технологій здатна створити катастрофічні загрози глобального рівня.

Окрему увагу компанія приділила фінансовому захисту та управлінню збитками. За оцінкою емітента, страхове покриття відповідальності за наслідки масштабних збоїв чи виходу передового ШІ з-під контролю наразі може бути недосяжним не лише для окремих гравців, а й для світового страхового ринку в цілому.

Що це означає: вихід творців передового ШІ на біржу відкриває публічним інвесторам доступ до галузі, проте одночасно вимагає врахування безпрецедентних регуляторних і правових ризиків, для компенсації яких сучасна страхова система не має готових інструментів.