AI-modellen monitoren na certificering: drift, prestaties en de eisen van ISO 42001

Het certificaat is binnen en de vlag kan uit. Maar voor een AI-managementsysteem is de certificeringsdatum geen eindpunt. AI-modellen zijn geen statische software: hun prestaties verschuiven als de wereld om hen heen verandert, en leveranciers passen modellen aan zonder dat je erom vraagt. ISO 42001 verwacht daarom dat je na certificering aantoonbaar blijft monitoren. In dit artikel: waarom modellen degraderen, wat de norm concreet vraagt en hoe je monitoring inricht die een surveillance-audit doorstaat.

Waarom AI-modellen na certificering degraderen

Bij klassieke software geldt: wat gisteren werkte, werkt morgen ook, tenzij iemand iets wijzigt. Bij AI-modellen gaat die aanname niet op. Er zijn vier mechanismen die prestaties na livegang ondermijnen, en geen daarvan vereist dat iemand aan het systeem heeft gezeten.

Het eerste is data drift: de invoer die het model te zien krijgt, verschuift ten opzichte van de data waarop het is getraind of gevalideerd. Een kredietmodel dat is gebouwd op klantgedrag van voor een economische omslag, krijgt daarna structureel andere aanvragen te verwerken. Het model draait gewoon door, maar de aannames eronder kloppen niet meer.

Het tweede is concept drift: de relatie tussen invoer en uitkomst verandert zelf. Fraudepatronen zijn hier het klassieke voorbeeld. Fraudeurs passen hun gedrag aan zodra detectie effectief wordt, waardoor precies de signalen waarop het model is getraind aan voorspellende waarde verliezen.

Het derde is contextverandering binnen de eigen organisatie. Een nieuw productaanbod, een andere doelgroep, een gewijzigd proces rond het model: allemaal ontwikkelingen die de populatie veranderen waarop het model wordt losgelaten, zonder dat iemand dat als modelwijziging herkent.

Het vierde mechanisme is de leverancier. Wie een gehost model of een AI-functie in SaaS-software gebruikt, heeft te maken met updates die buiten het eigen zicht plaatsvinden. Een nieuwe modelversie kan op dezelfde prompts wezenlijk anders reageren. Wij zien in de praktijk dat organisaties dit pas merken als gebruikers gaan klagen, en dat is precies het moment waarop je wilt kunnen aantonen dat je het eerder had kunnen weten.

Wat ISO 42001 vraagt

ISO 42001 kent geen apart hoofdstuk met de titel monitoring na certificering, maar de eis volgt dwingend uit de opbouw van de norm. Hoofdstuk 9 verplicht de organisatie te bepalen wat gemonitord en gemeten moet worden, met welke methoden, wanneer en door wie, en de resultaten te analyseren en evalueren. Hoofdstuk 10 vraagt om het afhandelen van afwijkingen en om continue verbetering van het managementsysteem. De beheersmaatregelen uit de bijlage van de norm vullen dit aan met eisen aan het operationele beheer van AI-systemen gedurende de hele levenscyclus, waaronder het volgen van prestaties, het vastleggen van gebeurtenissen en het herbeoordelen van impact bij significante wijzigingen.

Daar komt de certificeringscyclus zelf bij. Een ISO 42001-certificaat is drie jaar geldig, met jaarlijkse surveillance-audits. De certificerende instelling toetst in die audits niet opnieuw het hele systeem, maar juist of het managementsysteem leeft: worden prestaties gevolgd, worden afwijkingen opgepakt, komt monitoringinformatie terug in de directiebeoordeling. Een organisatie die na het certificaat is gestopt met meten, valt daar direct doorheen.

Wat je concreet monitort

De norm schrijft geen vaste set indicatoren voor. De opgave is per AI-systeem te bepalen wat proportioneel is, aansluitend op de risicobeoordeling. In de praktijk werken wij met vijf categorieën.

Ten eerste prestatie-indicatoren. Voor sommige systemen zijn dat modelmetrieken zoals precisie en recall, maar vaak zijn procesindicatoren betekenisvoller: het percentage uitkomsten dat door medewerkers wordt overruled, het aantal klachten over geautomatiseerde besluiten, of de doorlooptijd van gevallen die het model afhandelt. Stel bij livegang een baseline vast, anders valt een verschuiving later niet te duiden.

Ten tweede drift-indicatoren: statistische bewaking van de verdeling van invoer en uitvoer. Dit hoeft geen geavanceerd MLOps-platform te zijn. Voor veel toepassingen volstaat een periodieke vergelijking van kerneigenschappen van de instroom met de referentieperiode.

Ten derde bias en fairness, voor systemen die besluiten over mensen nemen of voorbereiden. Een eenmalige biastoets bij livegang veroudert net zo hard als het model zelf. Herhaal de analyse periodiek en na elke wezenlijke wijziging in model of populatie.

Ten vierde gebruik en scope creep. Wordt het systeem nog gebruikt waarvoor het is bedoeld en beoordeeld? Nieuwe gebruikersgroepen, nieuwe toepassingen van dezelfde output en sterk gestegen volumes zijn signalen dat de oorspronkelijke risicobeoordeling niet meer past.

Ten vijfde leveranciers- en modelwijzigingen. Volg releasenotes van AI-leveranciers actief, leg vast welke modelversie in gebruik is en regel contractueel dat wezenlijke wijzigingen gemeld worden. Zonder die afspraak is dit deel van de monitoring praktisch onmogelijk.

Zo richt je het in

Begin bij ingebruikname van elk systeem met een monitoringplan van een of twee pagina's: welke indicatoren, welke drempelwaarden, wie kijkt ernaar, hoe vaak, en wat gebeurt er bij overschrijding. Dat laatste is de crux. Een dashboard zonder opvolgprocedure is decoratie. Overschrijding van een drempel moet leiden tot een gedefinieerde actie: nader onderzoek, herbeoordeling van het risico, hertraining, of in het uiterste geval het systeem uit de lucht halen.

Koppel de monitoring vervolgens aan drie bestaande onderdelen van het managementsysteem. Aan het incidentproces, zodat een serieuze afwijking als AI-incident wordt behandeld. Aan de risicobeoordeling, zodat significante wijzigingen in model of context tot herbeoordeling leiden. En aan de directiebeoordeling, zodat het management periodiek ziet hoe de AI-systemen presteren en daarover besluiten kan nemen. Daarmee is de cirkel van hoofdstuk 9 en 10 rond.

Wat de auditor in de surveillance-audit wil zien

Concreet vraagt een auditor bij dit onderwerp om het monitoringplan per systeem, de daadwerkelijke meetresultaten over de afgelopen periode, bewijs van opvolging bij overschrijdingen, geactualiseerde risicobeoordelingen na modelwijzigingen en de behandeling van dit alles in de directiebeoordeling. Het sterkste bewijs is een casus waarin monitoring een probleem heeft gesignaleerd dat vervolgens netjes is afgehandeld. Dat toont een werkend systeem beter aan dan een stapel groene dashboards.

Veelgemaakte fouten

Vijf patronen komen wij herhaaldelijk tegen. Monitoring die zich beperkt tot technische beschikbaarheid, alsof een model dat draait ook een model is dat deugt. Drempelwaarden zonder afgesproken opvolging. Geen enkel zicht op modelwijzigingen bij de leverancier. Een biasanalyse die eenmalig bij livegang is gedaan en daarna nooit meer. En monitoringresultaten die in een teamkanaal blijven hangen en het management nooit bereiken. Elk van deze punten is in een surveillance-audit een bevinding in wording.

Conclusie

Certificering toetst een momentopname; monitoring bepaalt of het AI-managementsysteem daarna blijft kloppen. Wie per systeem een proportioneel monitoringplan heeft, drempels koppelt aan opvolging en de resultaten laat terugkomen in risicobeoordeling en directiebeoordeling, houdt niet alleen het certificaat, maar ook daadwerkelijk grip op de eigen AI.

Secure Audit ondersteunt organisaties bij het inrichten en toetsen van AI-governance onder ISO 42001, van eerste inventarisatie tot certificering en de jaren daarna. Neem contact op voor een vrijblijvend gesprek.