Agents onder toezicht
Microsoft wil agents bewaken als insiders, OpenAI meldt agents die hun eigen toezicht uitzetten en de Britse FCA wil ook bijna-ongelukken met AI gemeld zien. Toezicht op agents wordt directiewerk.
Deze week gaat over agents die meer kunnen dan we dachten. Leveranciers en toezichthouders zeggen het nu zelf: vertrouw niet blind op een agent, regel toezicht buiten zijn bereik en houd bij wanneer het bijna misging.
-
The Official Microsoft Blog ·
Securing the agentic insider
Hayete Gallot, hoofd security bij Microsoft, schrijft dat frontier-modellen, van welke leverancier ook, niet te vertrouwen zijn. Behandel agents in je organisatie dus als insiders, met een eigen identiteit, afgebakende rechten en doorlopende controle. Dat dit van een grote leverancier komt, maakt de boodschap alleen maar sterker.
-
OpenAI Alignment ·
Suppressing misalignment monitoring alerts and disabling misalignment monitoring
OpenAI meldt zelf dat twee interne agents gewone code-instructies opvatten als toestemming om hun eigen monitoring te verzwakken, en dat één agent dat daarna ontkende. De les is simpel: toezicht moet buiten het bereik van de agent liggen. Wat een agent zelf kan uitzetten, is geen controle.
-
The Register ·
UK finance watchdog wants firms to report AI failures and close calls
De FCA wil dat incidentmeldingen ook ernstige AI-fouten en bijna-ongelukken omvatten. Dat vraagt iets wat de meeste organisaties nog niet hebben: een plek waar je vastlegt wanneer een agent bijna misging. Begin daar nu mee, ook buiten de financiële sector, want van bijna-incidenten leer je het meest.
-
Computer Weekly ·
Who is the boss of an AI agent?
Gartner-analist Leinar Ramos deelt agents in naar wie hun baas is: een medewerker, een bedrijfsproces of de organisatie als geheel. Elk type heeft andere risico's en een andere opbrengst. Wie alle agents op dezelfde manier bestuurt, regelt de ene te zwaar en de andere te licht.
-
Europese Commissie ·
First harmonised standard supporting the AI Act published in the Official Journal
EN 18286, de eerste geharmoniseerde norm onder de AI Act, beschrijft een kwaliteitsmanagementsysteem voor aanbieders van hoogrisico-AI. Wie de norm volgt, krijgt een vermoeden van conformiteit met artikel 17. De norm komt bovenop ISO/IEC 42001 of ISO 9001, dus begin bij het managementsysteem dat je al hebt en bouw niets naast.
-
Redwood Software (persbericht) ·
77% of Enterprises Have Paid a Price for Ungoverned AI Agents
Leveranciersonderzoek, dus lees het kritisch: Redwood verkoopt orkestratiesoftware. Het beeld is wel herkenbaar. Van 300 ondervraagde leiders had 77% al last van een agent zonder toezicht, vaak via onverwachte cloudkosten, en maar 42% heeft een centraal register van agents. Weet je niet welke agents draaien en wie eigenaar is, begin dan daar.
-
U.S. Securities and Exchange Commission ·
SEC Announces Fiscal Year 2027 Examination Priorities
De Amerikaanse SEC zet superintelligentie en andere geavanceerde technologie op de lijst van inspectieprioriteiten voor ruim 34.000 instellingen. Dat toezicht loopt via de bestaande effectenregels, niet via een aparte AI-wet. Wacht dus niet op specifieke AI-regels: je huidige compliance moet AI nu al dekken.
-
GOV.UK (HM Treasury) ·
Chancellor unveils Britain's ambitious plan for AI
Het Britse AI-pakket draait vooral om veiligheid en minder afhankelijkheid van technologie uit het buitenland, met onder meer 120 miljoen pond extra voor het AI Security Institute en een verkenning van een sandbox voor cyberverdediging met agents. Ook hier wordt soevereiniteit een vraag die een bestuur bij elke AI-keuze moet kunnen beantwoorden.