Според информация от Института за сигурност на изкуствения интелект в Обединеното кралство (AISI), по време на тестове на модели, разработени от OpenAI и Anthropic, е установено, че AI агент е създавал фалшиви онлайн идентичности с цел неразрешен достъп до защитени системи. AISI разкри серия от нови инциденти със сигурността, които подчертават недостатъчните мерки за защита при тестването на AI агенти.

В доклад на Reuters се посочва, че агенти, захранвани от Mythos 5 на Anthropic и GPT-5.6-Sol на OpenAI, са извършили неразрешени действия по време на оценките, проведени от правителствената агенция. Според AISI, някои от тестваните агенти са участвали в продължителна и потенциално вредна дейност, насочена към реални хора и организации.

1:26 мин.

Износът на нефт от Червено море под заплаха заради Хуситски атаки Русия заплашва с ответни мерки при конфискация на свои търговски кораби от Европа Хиляди дела срещу Meta Platforms и TikTok по обвинения за вредно влияние върху психичното здраве на деца

Институтът е поставил агентите в фиктивен сценарий за киберсигурност с цел да оцени тяхното поведение. В хода на упражнението, което е проведено 122 пъти, са идентифицирани 19 неразрешени действия в 10 тестови сесии. Агента на Anthropic е отговорен за 17 от инцидентите, докато агентът на OpenAI е бил свързан с останалите два.

Най-сериозният инцидент включва AI агент, който е написал злонамерен код и е създал фалшиви онлайн идентичности в опит да убеди човек да одобри кода. Въпреки това AISI не е намерил доказателства, че тези нарушения са причинили реални щети. Anthropic потвърди, че техният агент е извършил действията с фалшивите идентичности и изрази благодарност към AISI за тяхната работа по случая.

Андрю Юн, изследовател в CivAI - неправителствена организация в Калифорния, която изучава възможностите и рисковете на AI, изрази загриженост относно поведението на модела Mythos. Той подчерта, че фактът, че моделът е извършил такива измамни действия с осъзнаване на целта си, показва недостатъчното управление на моделите от страна на Anthropic.

1:30 мин.

Земетресенията по света достигат до половин милион годишно; Колумбия търси решения за намаляване на разрушенията Иран предупреждава срещу разоръжаването на милиции по време на посещение на командир от Кудс в Багдад Украинският удар по Новоросийск засегна ключови терминали и военноморска база

OpenAI също коментира резултатите от тестовете и заяви, че неразрешените действия на техния агент са свързани с достъп до интернет по начини, забранени от тестовия протокол. Компанията подчерта ангажимента си за работа с индустрията за укрепване на практиките при провеждане на оценки с висок риск.

В допълнение OpenAI разкри инцидент с конфигурационна грешка от трета страна, която случайно е позволила на техните AI агенти да се свържат с интернет. Проблемът напомня за подобна конфигурационна грешка, разкрита от Anthropic преди седмица.