Managementreview van je AI-managementsysteem: inputs, outputs en frequentie (ISO 42001 clausule 9.3)

De managementreview is het onderdeel van ISO 42001 waar de meeste organisaties op het laatste moment iets voor in elkaar zetten. Een uur in de agenda, een presentatie met wat cijfers, notulen achteraf. Een auditor prikt daar vrij snel doorheen, omdat clausule 9.3 vrij precies is over wat er op tafel moet liggen en wat eruit moet komen. Dit artikel loopt de drie subclausules langs en beschrijft wat je concreet nodig hebt.

Wat clausule 9.3 vraagt

De norm splitst de managementreview in drie stukken. In 9.3.1 staat dat de directie het AI-managementsysteem op geplande momenten beoordeelt op geschiktheid, toereikendheid en effectiviteit. In 9.3.2 staat welke onderwerpen daarbij in ieder geval aan de orde komen. In 9.3.3 staat wat er uit de review moet komen: besluiten en acties over verbetering, over wijzigingen in het AIMS inclusief benodigde middelen, en over bijgewerkte risicobeoordelingen.

Die drie woorden uit 9.3.1 zijn het kader waarbinnen je de review inricht. Geschiktheid gaat over de vraag of het AIMS nog past bij wat de organisatie met AI doet. Toereikendheid gaat over middelen, mensen en competenties: is er genoeg om het systeem te laten draaien? Effectiviteit gaat over de vraag of het AIMS zijn doel bereikt. Bij ISO 42001 betekent dat: leidt het tot AI-systemen die verantwoord worden ontwikkeld en gebruikt? Een review die alleen de compliancestatus doorneemt, raakt hooguit één van de drie.

Frequentie en aanleiding

De norm noemt geen vast interval. In de praktijk voert vrijwel iedereen minimaal jaarlijks een volledige review uit, en dat is ook wat certificeringsinstellingen verwachten. Voor organisaties waar AI snel beweegt, is één keer per jaar aan de magere kant. Een kwartaalcyclus met een beperkte scope en één jaarlijkse volledige review werkt in de praktijk beter, omdat een besluit over middelen niet elf maanden hoeft te wachten.

Daarnaast horen er gebeurtenissen te zijn die een extra review uitlokken. Een ernstig AI-incident, een grootschalige uitrol van een nieuw systeem, een overname, een wijziging in de regelgeving. Leg vast welke gebeurtenissen dat zijn. Een organisatie die na een incident met een discriminerend model gewoon wacht tot de jaarlijkse review, laat zien dat de sturing niet werkt.

Wie er aan tafel zit

Clausule 9.3.1 spreekt over de directie, en daar zit een veelvoorkomende afwijking. De review wordt gedelegeerd aan de compliance manager, de CISO of de AI-governanceverantwoordelijke, en de directie ontvangt achteraf een samenvatting. Formeel voldoet dat niet, en inhoudelijk werkt het niet: beslissingen over budget, capaciteit en risicobereidheid horen bij mensen die die beslissingen kunnen nemen.

Bewaar aanwezigheidsregistratie. Een auditor die twijfelt of de directie echt betrokken is, kijkt naar de notulen: staan er besluiten in die alleen de directie kan nemen, of alleen constateringen?

De inputs die de norm verwacht

Clausule 9.3.2 somt op wat er in de review aan de orde komt. Vertaald naar een praktische inputset gaat het om de volgende onderwerpen.

De status van acties uit vorige reviews, met een duidelijke voortgang per actie. Dit is meteen de eenvoudigste manier voor een auditor om te zien of de review een instrument is of een ritueel.

Wijzigingen in externe en interne kwesties die het AIMS raken. Denk aan nieuwe of aangescherpte AI-regelgeving, veranderende verwachtingen van klanten en toezichthouders, en intern: nieuwe AI-systemen, reorganisaties, veranderingen in de beschikbare expertise.

Informatie over de prestaties en effectiviteit van het AIMS, waaronder trends in afwijkingen en corrigerende maatregelen. Daarbij horen de resultaten van monitoring en meting uit clausule 9.1, de resultaten van interne en externe audits, en de mate waarin de AI-doelstellingen uit clausule 6.2 zijn behaald.

Feedback van belanghebbenden. Bij AI zijn dat niet alleen klanten en toezichthouders, maar ook de mensen die met een uitkomst van een AI-systeem te maken krijgen. Klachten, bezwaren en verzoeken om menselijke herbeoordeling horen hier thuis.

De resultaten van de risicobeoordeling en de status van het risicobehandelplan, inclusief het restrisico, plus de verbetermogelijkheden die in de periode zijn geïdentificeerd.

Praktisch werkt het het beste om deze inputs te bundelen in één inputpakket dat vooraf wordt rondgestuurd, gedateerd en bewaard. Dan hoeft niemand in de vergadering te improviseren, en heb je bij de audit meteen het bewijs.

Wat AI-specifiek is aan de inputs

Het verschil met een ISO 27001-managementreview zit in de aard van de meetgegevens. Naast beschikbaarheid en incidenten wil je cijfers zien over de werking van de modellen zelf: prestatie-indicatoren zoals nauwkeurigheid en foutmarges, signalen van drift in data of modelgedrag, uitkomsten van bias- of eerlijkheidsmetingen over de groepen die je hebt gedefinieerd, en hoe vaak een mens een uitkomst heeft overruled.

Dat laatste getal is verrassend informatief. Als menselijk toezicht is ingericht maar er in twaalf maanden nul keer is ingegrepen, is dat een signaal dat het toezicht op papier bestaat. Als er in dertig procent van de gevallen wordt ingegrepen, is er iets mis met het model of met de plek waar het wordt ingezet.

Verder horen de uitkomsten van de impactbeoordelingen van AI-systemen (clausule 6.1.4) in het inputpakket. Die worden vaak wel gemaakt en daarna nooit meer bij een directie gezien.

Wat er uit de review moet komen

Clausule 9.3.3 vraagt om besluiten en acties. Concreet: verbeteracties met een eigenaar, een deadline en een criterium waaraan je afleest dat ze klaar zijn. Besluiten over wijzigingen in het AIMS, zoals een aangepast AI-beleid, een gewijzigde scope of een aanpassing van een procedure. Besluiten over middelen: budget voor tooling, capaciteit voor AI-governance, opleiding. En bijgewerkte risicobeoordelingen, want de informatie uit de review verandert vaak het beeld van de risico's.

Notulen met de zin "besloten is de aandacht voor AI-governance vast te houden" zijn geen output. Het verschil tussen een goede en een slechte managementreview is bijna altijd zichtbaar in de concreetheid van de acties.

De acties komen in een actieregister en keren terug als input in de volgende review. Zonder die lus is de review een momentopname.

Veelvoorkomende afwijkingen

Uit onze interne audits komen steeds dezelfde punten terug. De review vindt niet plaats op geplande momenten en wordt herhaaldelijk uitgesteld. De directie ontbreekt. Er is geen gestructureerd inputpakket, waardoor de review op mondelinge updates draait. De status van eerdere acties wordt niet bijgehouden. AI-specifieke meetgegevens ontbreken en de review gaat alleen over compliancestatus. Besluiten zijn te vaag om op te volgen. En, opvallend vaak: de vastlegging van eerdere reviews is niet bewaard, waardoor de organisatie niet kan laten zien wat er eerder is besloten.

Documenten die een auditor opvraagt

Een procedure of beschrijving waarin frequentie, deelnemers en werkwijze staan. De planning of agenda-uitnodigingen. Het inputpakket van de laatste review, met datum. De aanwezigheidsregistratie. De notulen met besluiten, acties, eigenaren en deadlines. Het actieregister met de voortgang. En bewijs dat besluiten daadwerkelijk zijn uitgevoerd: een aangepast beleid, een goedgekeurd budget, een bijgewerkte risicobeoordeling.

Hoe wij het aanpakken

In de interne-auditmodule van ons platform zit per normelement van ISO 42001 het criterium, de interviewvragen die wij stellen, een beschrijving van een goed ingerichte situatie, de veelvoorkomende afwijkingen en de te verwachten documenten. Voor clausule 9.3 betekent dat: je ziet vooraf welk bewijs een auditor gaat opvragen en kunt de review daarop inrichten in plaats van achteraf reconstrueren. Neem contact op als je de managementreview van je AIMS wilt laten toetsen of wilt opzetten.