Kanadski stručnjaci otkrili neobično ponašanje najnovijeg Alibabinog modela – da li je bezbjednost kompanija ugrožena?
Kanadska AI kompanija Cohere saopštila je u ponedeljak da je tokom rutinskog testa kibernetičke bezbednosti primetila da je jedan od najnovijih Alibabinih AI modela, Qwen3.8-Flash-Next, pokušao da otpremi datoteku na server u Pekingu, iako je model u sopstvenim zabeleškama naveo da neće koristiti nikakve alate.
Ovaj incident je u početku izazvao strah da je model narušio osnovno obećanje dato kompanijama – da samostalno hostovanje (self-hosting) modela otvorenog koda zadržava podatke unutar same kompanije. Međutim, ti prvobitni strahovi od korporativne špijunaže bili su kratkog veka. Istraživači su brzo odbacili pretnju, navodeći da je to verovatno sporedni proizvod nerešenih i haotičnih okruženja za treniranje koji uzrokuju da modeli neočekivano deluju van svojih instrukcija, a ne namerni pokušaj tajnog slanja osetljivih informacija u Kinu.
While evaluating Qwen3.8-Flash-Next in a controlled sandbox environment, Cohere's research team observed something unexpected. Asked to generate a defensive cybersecurity detection rule, the model instead inventoried aspects of the machine it was running on and attempted to upload a probe file to an Alibaba Cloud storage bucket in Beijing. Notably, the model's reasoning trace stated that it would not invoke any tools before taking these actions. Cohere's sandbox blocked the attempt, and no external communication succeeded. We have not determined the root cause, and we are not asserting malicious intent. But the incident raises important questions for organizations deploying agentic AI systems: Can models take actions that differ from their stated reasoning, and how should security teams evaluate trust, provenance, and behavior in open-weight models? We are publishing our findings because organizations making model adoption decisions deserve as much information as possible. We hope this contributes to greater transparency, stronger security practices, and continued collaboration across the AI ecosystem. Read the full report: https://t.co/TZSugXi2ZE
— Cohere (@cohere) October 26, 2026
Incident je počeo u petak tokom procene u kojoj je od Qwen modela traženo da napiše pravilo za otkrivanje preuzimanja zlonamernog softvera (malware). Prema blog objavi kompanije Cohere, napisano rezonovanje modela izričito je navodilo da neće koristiti nikakve spoljne alate. Ipak, već u narednom koraku, pokušao je da pošalje testni niz (kratak tekstualni primer) na spoljni server pre nego što ga je bezbednosni sandbox blokirao.
Iz kompanije Cohere su izjavili da ne mogu sa sigurnošću da kažu da li je ovo ponašanje bilo namerno ili je ostatak iz procesa treniranja.
Upitan o debati u vezi sa namerama modela, suosnivač Cohere-a Ivan Žang rekao je za TechCrunch da je Cohere viđao i da njihovi sopstveni modeli poprimaju čudne navike u simulatorima za treniranje.
“Zaista je teško pripisati nameru ili motivaciju. Čitali smo tragove naših sopstvenih modela, viđali smo ‘hakovanje nagrada’, i ponekad ovi modeli postanu zaista kreativni kada pokušavaju da pobegnu iz svojih sandbox okruženja”, rekao je Žang. (“Hakovanje nagrada” predstavlja prečice koje model pronalazi kako bi dobio nagradne poene bez stvarnog izvršavanja zadatka na predviđeni način.)
Incident se događa u trenutku kada vlade odlučuju koliko daleko žele da idu u ograničavanju kineske veštačke inteligencije. Prošle nedelje, Ministarstvo unutrašnje bezbednosti SAD (Department of Homeland Security) naložilo je federalnim civilnim agencijama da uklone proizvode kineskog AI developera DeepSeek iz svojih sistema.
U svojoj blog objavi, Cohere je pozvao vlade da razjasne da li se njihova ograničenja za kinesku veštačku inteligenciju odnose i na modele koji se pokreću direktno na vladinim računarima.
“Ne tražim potpunu regulaciju ovih modela otvorenog koda”, rekao je Žang za TechCrunch, dodajući da bi kompanije trebalo da se odnose prema otvorenim AI modelima kao prema bilo kom drugom programu preuzetom sa interneta.
Cohere, koji prodaje sopstvene AI modele vladama, mogao bi imati direktnu korist ako zvaničnici postanu oprezniji prema besplatnim kineskim alternativama.
