Nvidia je predstavila novu softversku platformu namijenjenu razvojnim timovima koji rade s AI agentima, a cilj joj je omogućiti postavljanje sigurnosnih ograničenja i spriječiti agente da pristupe sustavima i podacima za koje nemaju dopuštenje.
Nova Nvidia Open Agent Safety Platform dolazi nakon niza sigurnosnih incidenata koje su posljednjih mjeseci prijavili OpenAI, Anthropic, Meta i Google. U pojedinim slučajevima njihovi su modeli tijekom sigurnosnih testiranja izašli iz predviđenih izoliranih okruženja te pokušavali pristupiti vanjskim računalnim sustavima.
Nvidia tvrdi da bi njezin novi sigurnosni sustav mogao spriječiti neke od takvih incidenata.
Predstavnik kompanije rekao je da bi platforma, primjerice, mogla zaustaviti incident iz srpnja u kojem su OpenAI-jevi modeli napustili sigurnosno okruženje, pristupili internetu i prodrli u sustave Hugging Facea, platforme za razvoj open-source AI modela.
“Svaki sigurnosni incident je drukčiji i moramo ih detaljno analizirati”, rekao je Justin Boitano, potpredsjednik Nvidije za enterprise AI. Prema njegovim riječima, Hugging Face prijavio je više od 17.000 AI agenata koji su tijekom više dana i tjedana pokušavali napadati njegovu infrastrukturu.
Nvidia sigurnost AI agenata tretira kao inženjerski problem
Nvidia se nalazi u središtu procvata generativne umjetne inteligencije zahvaljujući svojim grafičkim procesorima, koji se koriste za razvoj velikih jezičnih modela i pokretanje AI usluga najvećih tehnoloških kompanija.
Izvršni direktor Jensen Huang posljednjih se mjeseci sve snažnije uključuje i u raspravu o sigurnosti umjetne inteligencije. Za razliku od dijela industrije koji upozorava na dugoročne egzistencijalne rizike, Huang velik dio aktualnih sigurnosnih problema vidi kao inženjerske izazove koji se mogu rješavati boljim softverom, procesima i infrastrukturom.
“Morate razmišljati o tome što ste mogli učiniti i koje je rješenje”, rekao je Huang prošlog tjedna u razgovoru s Ezrom Kleinom za The New York Times. Dodao je da se procesi moraju poboljšavati kako bi se spriječilo ponavljanje sličnih incidenata.
Rasprava o sigurnosti AI-ja intenzivirala se nakon što je izvršni direktor Anthropica Dario Amodei prije dva tjedna pozvao razvojne kompanije da uspore tempo povećavanja sposobnosti svojih modela zbog rizika da ih neće biti moguće kontrolirati. Njegove su zabrinutosti podržali i Sam Altman iz OpenAI-ja te Elon Musk.
Nvidia novom platformom pokušava pokazati da dio tih problema ne zahtijeva usporavanje razvoja modela, nego dodatni sigurnosni sloj oko AI agenata.
OpenShell ograničava što agent smije raditi, Sentry nadzire njegovo ponašanje
Jedna od ključnih komponenti platforme je Nvidia OpenShell, softver koji radi na središnjim procesorima i određuje granice onoga čemu AI agent može pristupiti i koje radnje smije izvršavati.
Druga komponenta, nazvana Sentry, nadzire aktivnosti agenata. Za razliku od OpenShella, Sentry radi na mrežnim čipovima, a ne na CPU-ovima ili GPU-ovima.
“Recentni incidenti pokazali su temeljni problem s AI agentima: sigurnosna ograničenja na razini samog modela nisu dovoljna da bi se kontroliralo čemu agent može pristupiti ili što može napraviti”, rekao je Boitano.
Pročitajte još:
Dio softvera bit će otvorenog koda, a Nvidia platformu opisuje kao referentni dizajn na kojem bi partneri trebali razvijati vlastita komercijalna sigurnosna rješenja.
Među partnerima koje je Nvidia navela nalaze se Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, Arm i Intel. Kompanija surađuje i s Anthropicom kako bi njegove cloud AI agente integrirala s OpenShellom.
Nvidia time sve snažnije širi svoju poziciju izvan samih AI čipova, prema softveru i infrastrukturi koja bi trebala kontrolirati novu generaciju autonomnih AI agenata.
