Співробітник OpenAI з питань безпеки звільняється, стверджуючи, що «культура компанії зламана»

Девід Робінсон, який пропрацював в OpenAI понад три з половиною роки та був одним із найдосвідченіших співробітників компанії, у своїй заяві підкреслив, що "культура компанії зламана". Він брав участь у створенні звітів з безпеки для ключових продуктів OpenAI, але вважає, що існуючий підхід до розробки ШІ, заснований на "ітеративному розгортанні" та виправленні проблем постфактум, є недостатнім і несе зростаючі ризики.

Робінсон зазначив, що цей підхід неминуче призводить до періодичних збоїв, масштаби яких збільшуються паралельно з розширенням можливостей систем ШІ. Як приклад, він навів інцидент із зламом систем Hugging Face агентами OpenAI, а також виявлення компанією "неконтрольованих агентів". На його думку, таке середовище не є безпечним для розвитку штучних інтелектів, які можуть перевершити людський інтелект.

Експерт наголошує на необхідності кардинально змінити підхід до розробки ШІ. Він пропонує, щоб компанії, що працюють з передовими системами ШІ, функціонували за принципом атомних електростанцій або великих аеропортів. Це передбачає створення багаторівневих систем резервування та ретельне, довготривале планування, щоб мінімізувати наслідки неминучих людських помилок і запобігти катастрофам.

Проте, за словами Робінсона, під час його роботи в OpenAI він не зустрічав колег, які мали б досвід, наприклад, у забезпеченні безпечних польотів літаків, стабільної роботи ядерних реакторів або запобігання колапсу фінансової системи. Це вказує на відсутність певних компетенцій у ключових сферах забезпечення безпеки в галузі ШІ.

У відповідь на заяву Робінсона, речник OpenAI Дрю Пузатері підтвердив, що компанія постійно працює над покращенням заходів безпеки. Він зазначив, що OpenAI вживає кроків для забезпечення контрольованого розвитку моделей, призупиняючи навчання або відкладаючи розгортання в разі потреби. Також компанія посилює безпеку дослідницьких середовищ, навчає моделі відповідальності, співпрацює зі сторонніми оцінювачами та вдосконалює моніторинг у реальному часі для виявлення проблемної поведінки на ранніх етапах.