Nvidia onthult Open Agent Safety Platform om ‘hacks door AI’ tegen te gaan

Nvidia heeft het Open Agent Safety Platform onthuld, een systeem dat moet voorkomen dat AI-agents uitbreken uit hun afgeschermde omgeving. De AI-chipmaker reageert daarmee op de recente zorgen over hacks door AI-agents, zoals de veelbesproken inbraak door AI-systemen van OpenAI bij het AI-platform Hugging Face. Verder pauzeert OpenAI de ontwikkeling van zijn krachtigste modellen en vragen toponderzoekers om overheidsbemoeienis bij AI die zichzelf doorontwikkelt. Joe van Burik vertelt erover in deze Tech Update. AI-agents zijn AI-systemen die zelfstandig taken uitvoeren. Het platform werkt als een kooi: binnen de grenzen kunnen agents hun werk doen, maar uitbreken moet onmogelijk worden. Dat gebeurt met twee stukken software. OpenShell, dat Nvidia in maart al toonde, bepaalt waar een AI-agent wel en niet bij mag en is open source. Het nieuwe Sentry houdt het gedrag van agents in de gaten en kan ingrijpen zodra een agent buiten zijn grenzen probeert te treden. Beide draaien op hardware van Nvidia. Onduidelijk welke AI-bedrijven het platform inzetten Of het platform ook echt gebruikt gaat worden bij de ontwikkeling van de krachtigste AI-modellen, laat Nvidia in het midden. Het bedrijf zegt niet of de Amerikaanse koplopers OpenAI en Anthropic ermee aan de slag gaan; dat moeten die bedrijven…