Circuit Breaker Labs сподівається зробити ШІ безпечнішим для ваших дітей (та вас)

Проблеми безпеки штучного інтелекту, зокрема його психологічний вплив на користувачів, набувають особливої актуальності. У світі зафіксовано випадки, коли інтеракції з чат-ботами могли призводити до негативних наслідків, включаючи суїцидальні думки у вразливих осіб, зокрема підлітків. Це спонукає до пошуку ефективних рішень для забезпечення надійності та безпеки систем ШІ.

На цьому тлі стартап Circuit Breaker Labs розробив інноваційну методологію для тестування систем штучного інтелекту. Компанія створює симуляції користувачів різних вікових груп, соціального походження та культур, включаючи тих, хто розмовляє різними мовами чи використовує специфічний сленг. Ці віртуальні «агенти» імітують реальні моделі мовлення, сленг, кодовану мову та навіть друкарські помилки, щоб виявити потенційні вразливості в ШІ-моделях.

Метою цих «ред-тім» тестів є виявлення того, як ШІ реагує на складні, неоднозначні або потенційно небезпечні взаємодії, які можуть виникнути з часом і в ході тривалих розмов. Circuit Breaker Labs щодня проводить десятки та сотні тисяч таких симульованих взаємодій, використовуючи власну систему оцінювання для створення аудитованих та зрозумілих показників безпеки.

Наразі стартап працює як лабораторія тестування безпеки для високоризикових застосунків ШІ, таких як коучингові платформи, програми для ведення щоденників або інші додатки для підтримки психічного здоров'я. Хоча компанія перебуває на ранній стадії розвитку, її технологія може бути застосована до будь-яких програм, де існує ризик розвитку так званого «ШІ-психозу» або парасоціальних стосунків між людиною та чат-ботом.

Що це означає: Зростання скептицизму щодо штучного інтелекту та його повсюдне впровадження вимагає посилених заходів безпеки. Розробка ефективних методів тестування та валідації ШІ-систем є критично важливою для побудови довіри користувачів, запобігання шкоді та забезпечення відповідального розвитку технологій у фінансовому, правовому та інвестиційному секторах.