De Europese AI-Verordening staat op het punt de spelregels voor artificiële intelligentie definitief te herschrijven. Voor lokale besturen is de boodschap helder én dringend: menselijk toezicht bij hoog risico AI-systemen is geen vrijblijvende “good practice”, maar een harde wettelijke verplichting. Art. 14 AI-Verordening bepaalt dat (o.a.) gebruiksverantwoordelijken het toezicht van natuurlijke personen structureel, effectief en proportioneel moeten organiseren, zeker in de gevallen waar de AVG (art. 22) bijkomende waarborgen eist. Tijd dus om het toezicht niet als noodrem, maar als kwaliteitsstempel in te richten.

Menselijk toezicht: de ultieme waarborg tegen AI-risico’s

Artikel 14 AI-Verordening vereist dat hoog risico AI-systemen zó worden ontworpen en ontwikkeld dat natuurlijke personen ze tijdens gebruik effectief kunnen overzien. Dat betekent concreet: het systeem moet mensen (i.e. de zgn. human in the loop) in staat stellen om uitkomsten te begrijpen, prestaties te volgen, afwijkingen te detecteren en, waar nodig, te pauzeren, te corrigeren of te stoppen. De norm is proactief en ingebouwd, niet reactief en ad hoc.

Wat vraagt dit in de praktijk?

• Geschikte mens-machine-interfaces: heldere dashboards met context, onzekerheids-indicatoren, waarschuwingen bij gebruik buiten gespecificeerde condities, …
• Controlemechanismen: een werkende stopknop of gelijkwaardige procedure, auditlogboeken, duidelijke grenzen van het beoogde gebruik, …
• Proportionaliteit: hoe hoger de impact en autonomie, hoe intensiever het toezicht.

Menselijk toezicht wordt als zodanig de laatste barrière tegen risico’s voor gezondheid, veiligheid en grondrechten – ook bij redelijkerwijs te voorzien misbruik – en niet een doekje voor het bloeden wanneer het al is misgelopen.

Vijf pijlers van effectief menselijk toezicht

De aanbieder van een AI-systeem bouwt toezichtmogelijkheden in; de gebruiksverantwoordelijke activeert en borgt ze. Dit laatste door personen die verantwoordelijk zijn voor het menselijk toezicht in staat te stellen, passend en evenredig, de volgende vijf waarborgen toe te passen:

1. Inzicht en monitoring: menselijk toezicht begint bij inzicht en monitoring.
   
   Personen die verantwoordelijk zijn voor het menselijk toezicht moeten begrijpen wat het AI-systeem kan en niet kan, hoe betrouwbaar het is in de beoogde context en welke signalen wijzen op onregelmatigheden of onverwachte prestaties. Werk met systematische kwaliteitscontroles, bijvoorbeeld door wekelijks willekeurige sets “laag risico”- en “hoog risico”-dossiers handmatig te herbeoordelen om vals-positieven en vals-negatieven zichtbaar te maken.
   
   
2. Bewustzijn van automation bias: bewustzijn van automation bias is essentieel.
   
   Train medewerkers in het herkennen van de neiging om AI-uitvoer te volgen zonder kritische blik. Cultiveer bijvoorbeeld een “challenge-the-output”-cultuur: vraag expliciet om plausibele alternatieven, bronverificatie en tegenargumenten vóóraleer een aanbeveling wordt overgenomen.
   
   
3. Juiste interpretatie: Correcte interpretatie vraagt oog voor contextsignalen: onzekerheidsmarges, verklaringselementen, gebruikte drempels en bekende blinde vlekken. Leg vast hoe verklaringen of uitlegfuncties van het AI-systeem worden gewogen in de besluitvorming en beperk het gebruik van interpretatietools tot hun beoogde scope.
   
   
4. Bevoegdheid tot afwijken van output: Personen die verantwoordelijk zijn voor het menselijk toezicht moeten in elk geval de mogelijkheid hebben te kunnen afwijken van de AI output, het AI-systeem (tijdelijk) buiten gebruik te stellen, of een beslissing te vervangen of terug te draaien.
   
   Leg hiervoor (bv.) duidelijke, vooraf bepaalde beleidslijnen vast: wanneer mag of moet worden afgeweken, hoe wordt dat gemotiveerd, en wie bekrachtigt een reversal? Vermijd elk organisatorisch signaal dat afwijken ontmoedigt; anders ondergraaft u het toezicht.
   
   
5. Controle en stopmogelijkheid: Controle en stopprocedure zijn de veiligheidsriem.
   
   Er moet een werkende “stopknop” of gelijkwaardige procedure zijn om in te grijpen in de werking van het AI-systeem of het systeem te kunnen onderbreken. Definieer triggers voor pauzeren of stoppen, zoals een plotselinge degradatie in nauwkeurigheid van output of een fout in een kritieke interface.
   
   Meld ernstige incidenten zonder onnodige vertraging aan de aanbieder en, waar vereist, aan de toezichthouder. En bewaar relevante logs voor onderzoek.

Op deze manier beperkt het rechtens vereiste, menselijk toezicht zich niet tot een administratieve vinkjescultuur, maar wordt het een aantoonbaar werkend mechanisme dat voorkomt dat technologische efficiëntie de rechtsstatelijke maat overschrijdt.”

AI-Verordening én GDPR: een dubbele juridische veiligheidsriem

Naast het “menselijk toezicht” van de AI-Verordening, kent ook de Algemene Verordening Gegevensbescherming (= de zgn. GDPR) het concept “menselijke tussenkomst”. Beide regimes leggen menselijke betrokkenheid op, maar met een ander moment en doel.

• AI-Verordening (art. 14): verplicht dat bij hoog risico AI-systemen menselijk toezicht in het ontwerp en in het gebruik is ingebouwd. Dat toezicht is proactief: de toezichthoudende medewerkers moeten het systeem kunnen begrijpen, volgen, testen, pauzeren of uitschakelen voordat een uitkomst onbedoelde schade veroorzaakt. Menselijk toezicht kan op verschillende manieren gebeuren, zoals “in de loop” (een mens beslist mee), “op de loop” (realtime monitoren en kunnen ingrijpen) of “in command” (op procesniveau sturen en stoppen).
• AVG (art. 22): waarborgt dat betrokkenen -waarvan de persoonsgegevens worden verwerkt- het recht hebben niet te worden onderworpen aan uitsluitend geautomatiseerde besluiten, inclusief profilering, die een juridisch effect hebben of hen vergelijkbaar zwaar treffen, behoudens limitatieve uitzonderingen en met passende waarborgen. Die waarborgen omvatten betekenisvolle menselijke tussenkomst, het recht een standpunt te geven en het besluit te betwisten. Menselijke tussenkomst houdt in dat een mens – en niet een algoritme – het besluit kan beoordelen, de relevante informatie kan overwegen en zo nodig het besluit kan aanpassen of terugdraaien.

Samen gelezen stapelen deze verplichtingen enerzijds structureel toezicht op het systeem (AI-Verordening) én anderzijds individuele waarborgen bij besluiten die personen aanzienlijk raken (AVG).

Met andere woorden: voldoen aan art. 14 AI-Verordening vervangt art. 22 Algemene Verordening Gegevensbescherming niet wanneer persoonsgegevens worden verwerkt en de beslissing uitsluitend geautomatiseerd en ingrijpend is. Zodra zo’n situatie zich voordoet, is er ofwel een geldige uitzondering onder de AVG met stevige waarborgen vereist, ofwel dient ervoor gezorgd te worden dat de beslissing door een mens wordt genomen.

Mens en machine: samen naar betrouwbare en rechtvaardige besluitvorming

Menselijk toezicht vraagt dus aantoonbare, verifieerbare mogelijkheden voor natuurlijke personen om hoog risico AI-systemen te begrijpen, te volgen en in te grijpen. De AI-Verordening vereist dat toezichthoudende medewerkers de capaciteiten en beperkingen van het systeem doorgronden, anomalieën en onverwachte prestaties detecteren, uitkomsten juist interpreteren, het gebruik (tijdelijk) staken en/of output negeren/overrulen en het systeem veilig kunnen stoppen.

Dergelijk menselijk toezicht werkt alleen wanneer één en ander wordt omgezet in duidelijke governance:

• Leg vast wanneer menselijke beoordeling verplicht is en welke signalen een automatische review triggeren;
• Benoem rollen en bevoegdheden: wie monitort, wie wijkt af, wie beslist over pauzeren / stoppen?
• Voorzie opleiding en cultiveer een “challenge-the-output”-cultuur
• Vertaal de vijf bouwstenen naar beslisprotocollen per (belangrijke) use case
• ….

Zo blijft de menselijke maat verankerd, ook wanneer een AI-tool statistisch sterk presteert. Het juridische kader vraagt geen technofobie, maar aantoonbare beheersing van risico’s. Menselijk toezicht is de laatste, noodzakelijke verdedigingslinie én een kwaliteitslabel dat vertrouwen schept bij burger en bestuur.

Naar een toekomstbestendig bestuur: menselijk toezicht als hefboom voor vertrouwen en legitimiteit

De AI-Verordening verplicht om menselijk toezicht bij hoog risico AI-systemen zichtbaar, meetbaar en effectief te organiseren; de Algemene Verordening Gegevensbescherming plaatst daarbovenop de individuele waarborgen wanneer uitsluitend geautomatiseerde besluiten mensen aanzienlijk raken. Worden de beide geïntegreerd, dan wordt van compliance een hefboom gemaakt voor betere, transparantere en rechtvaardige dienstverlening.

Quis custodiet ipsos custodes? De mens – mits zorgvuldig georganiseerd.

Bij GD&A Advocaten begrijpen we als geen ander het belang van deze materie. Ons team staat dan ook steeds klaar om uw bestuur met kennis van zaken bij te staan.