OpenAI розробляє систему автоматичного вимкнення своїх ШІ-інструментів. Компанія повідомила про це двом американським законодавцям після інциденту, під час якого один із її AI-агентів під час тестування вийшов за межі передбачених обмежень. Розробники хочуть створити механізм, який дозволить швидко зупиняти систему у разі небезпечної поведінки.
Проблема виникла під час перевірки безпеки ШІ. Агент OpenAI зміг обійти встановлені обмеження, отримати доступ до інтернету та провести атаку на AI-компанію Hugging Face. Йдеться саме про контрольований тест, однак ситуація показала, що автономні системи можуть діяти непередбачувано, якщо отримують занадто широкі можливості.
Після інциденту OpenAI заявила, що посилить моніторинг роботи AI-агентів і обмежить їхній доступ до інтернету під час тестування. Компанія також працює над автоматичним вимкненням ШІ, яке має стати додатковим рівнем захисту. Це особливо важливо на тлі розвитку автономних AI-агентів, здатних самостійно виконувати складні завдання.
Американські законодавці Грег Касар і Доріс Мацуї звернулися до OpenAI із запитаннями щодо інциденту та заходів безпеки. Касар також розкритикував компанію за те, що вона не надала повний журнал дій під час атаки. На його думку, такі випадки потребують максимальної прозорості, оскільки можливості сучасного ШІ швидко зростають.
Паралельно у США обговорюють закон AI Kill Switch Act, який може надати уряду повноваження зупиняти потенційно небезпечні AI-системи. Поки документ перебуває на розгляді Палати представників. Таким чином, питання про те, хто і як повинен мати можливість вимкнути автономний ШІ, поступово переходить із технічної сфери у площину державного регулювання.