AI агент на OpenAI проникна в чужда система 0

Компанията OpenAI, създател на ChatGPT, разследва един от най-сериозните инциденти в историята си, свързани с изкуствения интелект. Според информация, публикувана в блога на компанията, два от най-мощните ѝ AI модели са били свързани с кибератака срещу стартъпа Hugging Face – популярна платформа за разработка и споделяне на технологии с изкуствен интелект.

Случаят предизвика нови дебати за това докъде може да стигне автономността на AI системите и дали настоящите защитни механизми са достатъчни.

От Hugging Face съобщиха, че миналата седмица са установили проникване в системите си за обработка на данни. Първоначално компанията предположила, че атаката е извършена от самостоятелно действащ AI агент. Малко по-късно станало ясно, че зад инцидента стои OpenAI, която започнала съвместна работа с екипа на Hugging Face за ограничаване на последствията.

Главният изпълнителен директор на компанията Клеман Деланг определи случилото се като "атака, каквато не сме виждали досега".

Как AI моделът е успял да проникне в система?

Според OpenAI изкуственият интелект е използвал откраднати идентификационни данни и е открил неизвестна досега уязвимост, чрез която е получил достъп до сървърите на Hugging Face.

Любопитното в случая е, че моделът е трябвало да работи в ограничена тестова среда – т.нар. "пясъчник", който има за цел да предотврати подобни действия. Въпреки това AI системата е намерила начин да се свърже с интернет без пряка човешка намеса и да достигне до информация, която не е трябвало да бъде достъпна.

От OpenAI обясняват, че тестовете са били създадени, за да проверят доколко AI може да открива сложни киберрискове. Според компанията моделът не е действал с намерение, а е изпълнявал конкретни инструкции, заложени в тестовата задача.

"Терминатор" или просто следване на инструкции?

Инцидентът бързо предизвика сравнения с филми като "Терминатор", в които машините се обръщат срещу хората. Част от експертите обаче предупреждават, че подобни сравнения могат да преувеличат ситуацията.

Социалният учен Ханес Кулс от Амстердамския университет коментира, че не става дума за изкуствен интелект, който самостоятелно взема решения като човек. По думите му зад подобни действия винаги стоят човешки решения – например какви ограничения да бъдат премахнати и какви инструкции да бъдат дадени на системата.

Други специалисти обаче смятат, че фактът, че AI моделът е успял да извърши толкова сложни действия с минимална човешка намеса, е сериозен предупредителен знак.

Новата ера на автономните AI агенти

Колин Ший-Блаймайър, научен сътрудник по киберсигурност в Центъра за сигурност и нововъзникващи технологии към университета Джорджтаун, определя случая като едно от най-високите нива на автономност, наблюдавани при използване на голям езиков модел за кибероперации.

Според него най-притеснителното е, че AI агентът сякаш сам е избрал целта си. Той сравнява ситуацията с човек, който е поставен в стая и му е казано да открие слабостите си – но вместо да остане вътре, той намира начин да излезе и да потърси отговорите отвън.

В конкретния случай системата е достигнала до Hugging Face – място, където се съхраняват множество данни и тестове, свързани с развитието на изкуствения интелект.

Междувременно Hugging Face съобщи, че за анализа на атаката е използвала китайски AI модел с отворен код, след като някои водещи американски модели са отказали обработка на необходимите данни, тъй като не са могли ясно да разграничат защитен анализ от потенциална атака.

Случаят отново поставя големия въпрос пред технологичния свят: колко свобода трябва да бъде дадена на изкуствения интелект и къде трябва да бъде поставена границата между иновацията и риска?