Algoritme-assurance met ISAE 3000: onafhankelijke zekerheid over AI en algoritmes

Organisaties die algoritmes en AI inzetten voor besluitvorming krijgen steeds vaker de vraag: kun je aantonen dat dit beheerst gebeurt? Die vraag komt van klanten in due diligence-trajecten, van toezichthouders, van interne auditcommissies en van besturen die de verantwoordelijkheid voelen voor geautomatiseerde besluiten. Een intern memo of een mooie policy is dan niet genoeg. Wat wel werkt: een onafhankelijk assurance-rapport onder ISAE 3000. In dit artikel leggen we uit wat algoritme-assurance inhoudt, hoe een traject eruitziet en waar het verschilt van certificering.

Wat is algoritme-assurance?

Algoritme-assurance is een onderzoek door een onafhankelijke auditor naar de beheersing van een of meer algoritmes of AI-systemen, uitmondend in een assurance-rapport met een oordeel. Het onderzoek richt zich niet op de vraag of het model slim is, maar of het verantwoord wordt ontwikkeld, gebruikt en beheerd. Denk aan datakwaliteit en datagovernance, de ontwikkel- en wijzigingsprocessen rond het model, validatie en testen, monitoring van de werking in productie, menselijk toezicht op uitkomsten en de uitlegbaarheid van besluiten richting betrokkenen.

ISAE 3000 is de internationale standaard voor assurance-opdrachten over niet-financiële informatie en vormt hiervoor het logische raamwerk. Waar ISAE 3402 specifiek gaat over uitbestede processen die relevant zijn voor de financiële verantwoording van gebruikers, is ISAE 3000 breed toepasbaar: van privacy en security tot ESG en dus ook algoritmes. In Nederland heeft de beroepsorganisatie van IT-auditors NOREA bovendien guidance ontwikkeld voor onderzoeken naar algoritmes, wat helpt om opdrachten vergelijkbaar en toetsbaar te maken.

Waarom neemt de vraag toe?

Drie ontwikkelingen komen samen. Ten eerste regelgeving: de EU AI Act stelt eisen aan hoog-risico AI-systemen, van risicomanagement en datagovernance tot logging en menselijk toezicht. Organisaties willen kunnen aantonen dat ze hierop voorbereid zijn, en afnemers van AI-systemen willen zekerheid van hun leveranciers. Ten tweede maatschappelijke druk: incidenten met geautomatiseerde besluitvorming hebben pijnlijk duidelijk gemaakt wat er gebeurt als algoritmes ongecontroleerd hun werk doen, en zeker (semi-)publieke organisaties willen dat vertrouwen aantoonbaar herstellen. Ten derde de keten: wie AI-functionaliteit inkoopt of aanbiedt, krijgt in security- en procurementreviews steeds vaker vragen over modelbeheer, bias en monitoring die met een standaard SOC 2- of ISO 27001-traject niet volledig worden beantwoord.

Hoe ziet een ISAE 3000-traject voor algoritmes eruit?

Een algoritme-assurance-opdracht volgt dezelfde hoofdstappen als andere assurance-trajecten, met een aantal specifieke accenten.

Scoping. Welke algoritmes of AI-systemen vallen binnen het onderzoek, en welke aspecten? Een scherpe afbakening is hier extra belangrijk, omdat het algoritme in de praktijk een keten is van data-aanlevering, voorbewerking, model, beslisregels en menselijke afhandeling. Het rapport moet duidelijk maken welk deel van die keten is onderzocht.

Criteria vaststellen. ISAE 3000 vereist geschikte, objectief toetsbare criteria. Die kunnen komen uit een eigen normenkader van de organisatie, uit ISO 42001 (het managementsysteem voor AI), uit de eisen van de EU AI Act of uit sectorale kaders. De criteria bepalen waar de auditor tegenaan toetst, en dus ook wat het rapport wel en niet zegt. Dit is in de praktijk de stap waar de meeste discussie zit en waar wij als auditor vroeg in het traject op aansturen.

Type opdracht kiezen. Ook hier bestaat het onderscheid tussen een onderzoek op één moment (vergelijkbaar met Type I: opzet en bestaan) en een onderzoek over een periode (vergelijkbaar met Type II: ook werking). Daarnaast kent ISAE 3000 twee zekerheidsniveaus: redelijke mate van zekerheid (reasonable assurance) en beperkte mate van zekerheid (limited assurance). Een eerste onderzoek wordt regelmatig als nulmeting of met beperkte zekerheid uitgevoerd, waarna de organisatie toegroeit naar een periodiek rapport met redelijke zekerheid.

Uitvoering. De auditor toetst de beheersmaatregelen: is de herkomst en kwaliteit van trainings- en invoerdata geborgd, worden modelwijzigingen gecontroleerd doorgevoerd en gevalideerd, wordt de prestatie van het model in productie gemonitord (inclusief drift), is er effectief menselijk toezicht op uitkomsten met daadwerkelijke bevoegdheid om in te grijpen, en kan de organisatie besluiten uitleggen aan betrokkenen? Bewijs bestaat uit documentatie, logging, testresultaten, notulen en interviews, net als bij andere IT-audits.

Rapportage. Het resultaat is een assurance-rapport met de systeembeschrijving of het object van onderzoek, de criteria, de uitgevoerde werkzaamheden, eventuele bevindingen en het oordeel van de auditor. Dat rapport kan de organisatie delen met klanten, toezichthouders of het eigen bestuur.

Algoritme-assurance versus ISO 42001-certificering

De vraag die wij vaak krijgen: wij overwegen ISO 42001, heeft algoritme-assurance dan nog toegevoegde waarde? Het zijn verschillende instrumenten. ISO 42001-certificering toetst of het managementsysteem voor AI voldoet aan de norm: de processen en governance op organisatieniveau. Een ISAE 3000-onderzoek kan veel specifieker zijn: het zoomt in op een concreet algoritme of AI-systeem en op criteria die de organisatie zelf relevant vindt, en het resulteert in een gedetailleerd rapport in plaats van een certificaat. Voor een organisatie die één kritisch algoritme wil verantwoorden richting stakeholders is een gericht assurance-rapport vaak overtuigender dan een certificaat op managementsysteemniveau. De twee versterken elkaar bovendien: een werkend AIMS levert precies de processen en bewijsvoering die een assurance-onderzoek nodig heeft.

Voor wie is dit relevant?

Algoritme-assurance is vooral zinvol voor organisaties waarvan besluiten met grote impact (deels) geautomatiseerd tot stand komen: financiële instellingen (kredietacceptatie, fraudedetectie), uitvoeringsorganisaties en gemeenten, HR-tech en screeningdiensten, en SaaS-leveranciers die AI-functionaliteit aanbieden aan zakelijke klanten. Voor die laatste groep geldt: net zoals een SOC 2-rapport standaard wordt opgevraagd bij uitbestede dataverwerking, zien wij de vraag naar aantoonbare AI-beheersing in leveranciersbeoordelingen snel toenemen.

Praktische tips om te starten

Begin met een inventarisatie van algoritmes en AI-systemen en bepaal welke het meest kritisch zijn qua impact op klanten, burgers of de eigen bedrijfsvoering. Leg per kritisch systeem de basis vast: doel, data, eigenaar, validatie en monitoring. Kies vervolgens bewust het instrument: een readiness assessment als je wilt weten waar je staat, een ISAE 3000-onderzoek als stakeholders om onafhankelijke zekerheid vragen, of een ISO 42001-traject als je de governance organisatiebreed wilt inrichten. En betrek de auditor vroeg bij het opstellen van de criteria; dat voorkomt dat je maanden werkt aan beheersing die straks niet toetsbaar blijkt.

Conclusie

Algoritme-assurance onder ISAE 3000 maakt de beheersing van AI en algoritmes onafhankelijk toetsbaar, precies op het moment dat klanten, toezichthouders en besturen daarom vragen. De kern is niet het model zelf, maar de governance eromheen: data, wijzigingen, validatie, monitoring en menselijk toezicht, getoetst tegen heldere criteria. Wil je verkennen of een algoritme-assurance-traject past bij jouw organisatie, of eerst een readiness assessment uitvoeren? Neem gerust contact op.