Bias en datagovernance onder ISO 42001: wat auditors verwachten

Vraag een organisatie naar haar grootste AI-risico en het antwoord is vaak een datalek of een hallucinerende chatbot. Maar de risico's die in de praktijk het meeste schade aanrichten, zitten een laag dieper: in de data waarmee AI-systemen zijn getraind en gevoed, en in de vertekening (bias) die daarin verstopt zit. Een model dat systematisch bepaalde groepen benadeelt, valt in een demo niet op. Het valt pas op als het kwaad al is geschied, bij klanten, sollicitanten of burgers. Daarom stellen zowel ISO 42001 als de EU AI Act expliciete eisen aan datagovernance en de omgang met bias. In dit artikel: wat die eisen inhouden, waar bias vandaan komt en hoe je het aantoonbaar beheerst.

## Wat ISO 42001 vraagt van data voor AI

Annex A van ISO 42001 bevat een eigen cluster beheersmaatregelen voor data van AI-systemen. De rode draad: een organisatie moet het volledige datatraject van haar AI-systemen begrijpen en beheersen. Dat betekent vastleggen waar data voor ontwikkeling en training vandaan komt (herkomst of provenance), op welke gronden data is verworven, welke kwaliteitseisen eraan gesteld worden en hoe data wordt voorbereid: opschonen, labelen, aanvullen en selecteren. Voor elk van die stappen verwacht de norm gedocumenteerde criteria en aantoonbare uitvoering.

Belangrijk om te beseffen: deze eisen gelden binnen de scope van je AIMS ook als je zelf geen modellen traint. Wie een AI-toepassing inkoopt en voedt met eigen bedrijfsdata, bijvoorbeeld een RAG-toepassing op interne documenten of een scoringsmodel op klantdata, heeft datagovernance-verplichtingen over precies die data. De vraag van de auditor is dan niet hoe het basismodel getraind is, maar of jij weet welke data jouw toepassing ingaat, of die data juist en actueel is, en wie daarvoor verantwoordelijk is.

## De koppeling met artikel 10 EU AI Act

Voor hoog-risico AI-systemen maakt de EU AI Act datagovernance een wettelijke plicht. Artikel 10 eist dat trainings-, validatie- en testdatasets onderworpen zijn aan datagovernancepraktijken, waaronder een beoordeling van beschikbaarheid, geschiktheid en representativiteit, en een onderzoek naar mogelijke vertekeningen die kunnen leiden tot discriminatie of andere schade. Datasets moeten relevant, voldoende representatief en zoveel mogelijk foutvrij en volledig zijn voor het beoogde doel.

Wie ISO 42001 implementeert, bouwt daarmee het fundament waarop artikel 10-compliance kan rusten: het datagovernanceproces bestaat dan al, en voor hoog-risico systemen scherp je de diepgang aan. Andersom werkt het niet: een losse artikel 10-exercitie zonder onderliggend managementsysteem veroudert binnen een jaar.

## Waar bias vandaan komt

Bias is geen programmeerfout maar een dataverschijnsel, en het sluipt op meerdere plekken binnen. Historische bias: de data weerspiegelt beslissingen uit het verleden, inclusief de scheefgroei daarin. Een wervingsmodel getraind op tien jaar aannamebeslissingen leert de voorkeuren van toen, ook de onwenselijke. Representatiebias: bepaalde groepen zijn ondervertegenwoordigd in de data, waardoor het model voor die groepen slechter presteert. Meet- en labelbias: het gemeten kenmerk is een gebrekkige benadering van wat je eigenlijk wilt weten, bijvoorbeeld aanhoudingen als benadering van criminaliteit, of labels die door menselijke beoordelaars met eigen aannames zijn gezet. En tot slot drift: een model dat bij livegang netjes presteerde, ontwikkelt vertekening doordat de wereld verandert en de data van vandaag niet meer lijkt op de trainingsdata.

Die laatste categorie wordt het vaakst gemist. Biastesten als eenmalige horde voor livegang is een schijnzekerheid; zonder monitoring zie je drift pas bij het incident.

## Datagovernance praktisch ingericht

Een werkbare aanpak begint met een data-inventarisatie per AI-systeem: welke databronnen voeden dit systeem, wie is eigenaar van die bronnen, en wat is de kwaliteit en herkomst? Leg per dataset een kort profiel vast, met doel, herkomst, verwerkingsstappen, bekende beperkingen en de grondslag als er persoonsgegevens in zitten. Dit hoeft geen bureaucratisch monster te zijn: één beknopt, actueel document per dataset volstaat, zolang het eerlijk is over de beperkingen.

Beleg vervolgens de rollen. Elke dataset die een AI-systeem voedt, heeft een eigenaar die aanspreekbaar is op kwaliteit en actualiteit. Bij ingekochte AI hoort datagovernance in de leveranciersbeoordeling: vraag de leverancier naar de herkomst van trainingsdata, uitgevoerde biastesten en de wijze waarop het model wordt bijgewerkt. Een leverancier die daar niets over kan zeggen, vertelt daarmee ook iets.

## Bias aantoonbaar testen

Biastesten begint niet bij een tool maar bij een definitie. Bepaal per toepassing wat eerlijk betekent: gelijke foutpercentages tussen groepen, gelijke kans op een positieve uitkomst bij gelijke geschiktheid, of iets anders. Die keuze is contextafhankelijk en deels een bestuurlijke beslissing, geen puur technische. Leg de gekozen definitie en de acceptatiegrenzen vooraf vast, anders wordt elke testuitslag achteraf goedgepraat.

Test vervolgens op drie momenten. Voor livegang: prestaties uitgesplitst naar relevante subgroepen, niet alleen het gemiddelde. Een model met 95 procent nauwkeurigheid kan voor een specifieke groep op 70 procent zitten; het gemiddelde verbergt dat. Bij wijzigingen: elke hertraining of significante datawijziging is aanleiding om de subgroepanalyse te herhalen. En doorlopend: monitor uitkomsten in productie op verschuivingen tussen groepen, en definieer drempels waarbij menselijke beoordeling of escalatie volgt.

## Wat de auditor wil zien

Bij een certificeringsaudit of interne audit draait het om aantoonbare werking. Concreet: de data-inventarisatie en dataprofielen, vooraf vastgestelde kwaliteits- en fairnesscriteria, testresultaten met subgroepanalyses, en besluitvorming bij afwijkingen. Dat laatste is waar het vaak misgaat. Een testresultaat dat buiten de grenzen valt en waar vervolgens niets mee is gebeurd, is voor een auditor een bevinding. Een gedocumenteerd besluit om een afwijking tijdelijk te accepteren met compenserende maatregelen, zoals extra menselijke review, is dat niet. Het verschil is niet de afwijking maar de beheersing.

## Veelgemaakte fouten

Alleen op gemiddelde nauwkeurigheid sturen en nooit uitsplitsen naar subgroepen. Bias eenmalig testen bij livegang en daarna nooit meer. Datagovernance afdoen als niet van toepassing omdat de organisatie geen modellen traint, terwijl eigen bedrijfsdata wel degelijk AI-toepassingen voedt. Geen fairnessdefinitie vooraf vastleggen, waardoor testen vrijblijvend blijven. En de herkomst van ingekochte modellen en datasets niet uitvragen bij de leverancier, waardoor een blinde vlek in het risicobeeld ontstaat.

## Conclusie

Datagovernance en biasbeheersing zijn geen academische bijzaak van AI-governance maar de kern ervan. De organisaties die dit goed doen, hebben geen indrukwekkende tooling nodig: ze weten welke data hun AI-systemen voedt, hebben vooraf bepaald wat acceptabel is, testen daarop en grijpen in bij afwijkingen. Dat is precies wat ISO 42001 bedoelt met beheersing, en wat artikel 10 van de EU AI Act voor hoog-risico systemen wettelijk verankert.