Wie verantwoordelijk is voor werk, moet kunnen begrijpen wat er gebeurt en kunnen ingrijpen. Anders blijft er weinig meer over dan een handtekening. Die vraag houdt mij bezig nu AI steeds vaker ook het werk van AI controleert. Anthropic beschreef onlangs hoe het team achter Claude Code daarmee omgaat. Ik lees hun aanpak vooral als een organisatievraag: welke informatie en bevoegdheden hebben mensen nodig om verantwoordelijk te kunnen blijven?
Wat Anthropic beschrijft
De aanleiding is volume. In de grote centrale codebase van Anthropic, de monorepo, ging het aantal wijzigingen per dag volgens het bedrijf van ongeveer 2.500 in mei naar meer dan 30.000 in september. Claude Code heeft een eigen, aparte codebase, maar ook daar neemt de druk toe. Dat leest geen team meer regel voor regel. Anthropic stelt daarom een andere vraag. In plaats van “heeft een mens dit gelezen?” vraagt het bedrijf wat er mis kan gaan met een wijziging en welke controle dat het best opvangt, door een machine of door een mens.
Het antwoord is een reeks controles in plaats van één poort aan het eind. De AI moet eerst met testresultaten laten zien dat de wijziging doet wat is bedoeld, in plaats van te melden dat het klaar is. Daarna beoordeelt een AI-reviewer elke wijziging. Automatische checks blokkeren wijzigingen die niet aan de ingestelde controles voldoen.
Hoeveel mensen er daarna nog naar kijken, hangt af van het risico. Een documentatiewijziging kan zonder menselijke goedkeuring door, een gewone wijziging vraagt één persoon, de gevoeligste code twee. Die lichte route geldt wel onder voorwaarden. Alleen vertrouwde auteurs, meestal het team dat de code beheert, mogen die route gebruiken. En onderdelen die als gevoelig zijn aangemerkt, zoals de bestanden die het proces voor het bouwen en testen van de software aansturen, vragen altijd een mens. De goedkeuring van een agent telt nooit als die van een mens. Wie de AI de opdracht gaf, is verantwoordelijk voor de uitkomst. Anthropic vat het samen in één zin: “A person is accountable for every change that ships, whoever typed it.”
Een bril uit de organisatiekunde
Ik lees dit door een bril die ik in Nijmegen meekreeg. In 2015 en 2016 volgde ik aan de Radboud Universiteit colleges bij Jan Achterbergh en Dirk Vriens. Bij Vriens ben ik ook afgestudeerd. Samen schreven ze Organizations: Social Systems Conducting Experiments (Springer, 2009, herziene druk 2010). Ze beschrijven organisaties als sociale systemen die voortdurend experimenteren met hun eigen voortbestaan, door te sleutelen aan doelen, inrichting en werkprocessen. Regelen gebeurt daarbij op drie niveaus: bij het kiezen van doelen, bij het ontwerpen van de organisatie en in het dagelijkse werk. Een van de bouwstenen is de Nederlandse sociotechniek van Ulbo de Sitter.
De werkwijze van Anthropic doet mij denken aan die sociotechniek: problemen zo dicht mogelijk bij het werk kunnen signaleren en oplossen. Anthropic beschrijft hoe de controle in het eigen team is verschoven van een afzonderlijk moment naar beoordeling tijdens het werk, “more like spellcheck while you write”, zoals het bedrijf het noemt. Maar automatische controle tijdens het werk is nog niet hetzelfde als zeggenschap voor de mensen die ervoor verantwoordelijk blijven. Je kunt controles technisch dichter bij het werk zetten en tegelijk de beslisruimte van mensen kleiner maken. Daarbij tellen zowel de technische mogelijkheden als de inrichting van de organisatie mee.
Wat ik herken
Twee dingen in de aanpak spreken me aan. Als de automatische controleur steeds hetzelfde vindt, lossen ze het op bij de bron, in de instructies voor de AI of met een nieuwe regel. Vanuit het perspectief van het boek lees ik dat als regelen door ontwerp. In plaats van steeds dezelfde melding af te handelen, pas je de werkwijze aan zodat dezelfde fout minder vaak terugkomt. Daarnaast maakt Anthropic van oude incidenten een toets die de automatische controleur elke dag opnieuw moet halen. Die incidentgeschiedenis maakt de toets specifiek voor de eigen systemen en werkwijze.
Vanuit dat perspectief lees ik ook de volgorde die Anthropic kiest. Ze rollen nieuwe functies eerst intern uit en kunnen de meeste fouten binnen minuten terugdraaien. Hun advies is om streng te beginnen en pas losser te worden als het bewijs er is. In dit softwarevoorbeeld is snel terugdraaien een belangrijke voorwaarde voor minder menselijke controle. Maar niet elk gevolg laat zich herstellen. Gegevens die zijn uitgelekt, haal je niet terug door de code terug te zetten. Wie deze aanpak buiten software wil toepassen, moet dus eerst weten welke fouten omkeerbaar zijn en welke niet.
Hoe onafhankelijk is de tweede AI?
Anthropic is open over de kuren van een AI-controleur. Hij kan te veel melden of eindeloos heen en weer gaan met de AI die de code schreef. Eén wijziging ging in één nacht door meer dan vijftig rondes controle en herstel, totdat iemand het stopte. Belangrijker vind ik dat een tweede AI-oordeel niet vanzelf een onafhankelijke controle is. Twee agents kunnen dezelfde verkeerde aanname delen of hetzelfde probleem over het hoofd zien. Dan zijn ze het eens zonder dat de kwaliteit is vastgesteld. De waarde van een tweede AI-oordeel hangt af van welke fouten het opspoort en welke het deelt met de eerste beoordeling. Je moet dus weten welke fouten tests met een bekende uitkomst opvangen, waar menselijke beoordeling nodig blijft en wie onderzoekt of schrijver en controleur dezelfde blinde vlek hebben.
Een andere lezing
AI-commentator David Shapiro besprak dezelfde post op YouTube en kwam tot een conclusie die op de mijne lijkt: “The principle underneath all of this is not new at all.” Hij wijst op techniek en boekhouding, waar machines elkaar al lang controleren en mensen de controles ontwerpen. Daarna gaat hij een stap verder. Hij verwacht agents die werken, toezicht houden, coördineren en auditen, met “an org chart all of their own”, en op termijn een volledig geautomatiseerde technische laag, gevolgd door de zakelijke.
Daar ben ik het niet mee eens. Toetsen aan een gekozen norm is iets anders dan besluiten welke norm past. Een machine kan nagaan of werk voldoet aan wat is afgesproken. Maar wat goed genoeg is, voor wie en waarom, is een keuze die steeds opnieuw gemaakt moet worden. AI kan dat gesprek ondersteunen, met analyses, scenario’s en tegenvragen. Mensen blijven verantwoordelijk voor het kiezen en herzien van de normen. Anthropic laat ook de beslissing of iets gebouwd moet worden bewust bij mensen.
Verantwoordelijkheid zonder zeggenschap
Mijn grootste zorg zit in wat er overblijft voor de mens. Als machines werken, controleren en coördineren, kan menselijke verantwoordelijkheid langzaam uitgehold raken. Iemand blijft formeel aanspreekbaar, maar heeft geen zicht meer op wat er gebeurt en geen middelen om in te grijpen. Verantwoordelijkheid raakt dan zo verdeeld over mensen en systemen dat niemand haar echt draagt. Dat is mijn lezing van het risico. De organisatiekunde dwingt je te kijken naar wie welke informatie heeft en wie mag ingrijpen. Anthropic heeft daar een goede regel voor: wie niet kan zeggen wat de controles zouden missen, vraagt om een inhoudelijke beoordeling in plaats van snel goed te keuren. Maar een regel is geen garantie. De inspanning voor sommige ontwikkeltaken neemt af, terwijl beoordeling en verantwoordelijkheid aandacht blijven vragen. Daar moeten mensen tijd voor krijgen.
De vraag voor de directie
De directie moet daarom verder kijken dan de naam onder de goedkeuring. Kan die persoon de uitkomst beoordelen, de controles laten aanpassen en de uitvoering stilzetten? En is daar tijd voor? Ontbreekt die ruimte, dan is de verantwoordelijkheid vooral formeel. Pas met die ruimte kan iemand haar echt dragen.