Alles is er al: regulering van AI is overbodig

1 Inleiding

Het is flink mis, op een aantal fronten. Ik noem er een paar. Het klimaat (teleurstellende resultaten in Glasgow, maar wel een Nederlandse kolencentrale die gesloten wordt), Corona (toch weer een halfzachte lock-down en een dreigende code zwart), en het vertrouwen in de leiding van ons land (wéér als laatste begonnen met prikken, en de gedupeerde ouders in de toeslagenaffaire wachten nog steeds op compensatie). Dat laatste front is de aanleiding voor deze bijdrage.

Hier is het onparlementaire woord dat toch door een parlementariër gebruikt is, excusez le mot, clusterfuck, op zijn plaats. Het speelt al járen, blijkbaar. Ouders die grote bedragen terug moeten betalen aan de Belastingdienst, terwijl niet altijd duidelijk is waarom precies, en de rechter verzuimt om hen in bescherming te nemen tegen een keiharde, machtige, intransparante en onbereikbare overheid. Er is groot leed veroorzaakt: mensen komen in de schulden, raken hun huis kwijt, kinderen worden uit huis geplaatst, levens zijn verwoest. En dit is alleen aan het licht gekomen dankzij enkele buitengewone parlementariërs die zich hierin vastgebeten hebben en niet wilden loslaten. Okee, het kabinet ging door het stof en is in datzelfde stof gevallen, het zou opgelost worden, en snel ook. Ook de Raad van State heeft de fout toegegeven, was “al” in 2019 omgegaan en gaat het in de toekomst anders doen. Er is een speciale Uitvoeringsorganisatie Herstel Toeslagen in het leven geroepen, maar zelfs de klachten over die uitvoeringsorganisatie worden niet goed afgehandeld. We zijn dan al minstens drie niveau’s verwijderd van het oorspronkelijke probleem, en we zijn alweer een jaar verder. Het lukt niet. Wat is er aan de hand?

2 Intransparantie

Intransparantie is een woord dat vaak gebruikt wordt in relatie tot artificiële intelligentie (hierna: AI), en dan meer specifiek machine learning. Er blijken samenhangen te bestaan in grote verzamelingen data, en die samenhangen  kunnen nuttig gebruikt worden voor allerlei toepassingen. Alleen, niemand snapt en niemand kàn snappen hoe het precies werkt, ook niet degenen die het systeem geprogrammeerd of getraind hebben. Het gevaar is dat er een causaal verband verondersteld wordt als gegevens slechts statistisch samenhangen: correlatie betekent geen causaal verband, maar dat is voor ons mensen heel lastig te vatten. Zie de website van Tyler Vigen voor aansprekende en hilarische voorbeelden.

Maar zelfs als er wèl een feitelijk juist en betekenisvol (in jargon: non-spurious) verband tussen data bestaat, mag dat verband niet altijd gebruikt worden om over mensen te oordelen: dat kan onder andere in strijd zijn met het verbod op discriminatie, art. 1 Grondwet. Natuurlijk werken er minder vrouwen in hoge posities, natuurlijk zijn jongeren van een bepaalde etnische afkomst (ik durf het niet eens op te schrijven) oververtegenwoordigd in de cijfers over jeugdcriminaliteit – maar als dat soort verbanden (tussen geslacht en kans op de succesvolle carrière, en tussen etnische afkomst en kans op crimineel gedrag) als niet te ontkrachten vooroordeel gebruikt worden in het voorsorteren en beoordelen van mensen is er sprake van onversneden discriminatie. Ook als dat met behulp van een geautomatiseerd systeem gebeurt, en ook als eigenlijk niemand in de gaten heeft dat dat gebeurt, en niemand kan verklaren waarom dat gebeurt.

Tegelijkertijd is het belangrijk om je te realiseren dat recht nou eenmaal precies dàt is: het toepassen van abstracte regels op concrete gevallen. Dat betekent dus per definitie categoriseren. Die categorisatie vanuit die abstracte regels zal gebaseerd zijn op bepaalde veronderstellingen (vooroordelen). Daar is op zichzelf niets aan te doen en ook niets mis mee, zelfs niet als die veronderstelling (dat vooroordeel) voor een bepaald individu toevallig niet geldt.[1] Aan de bepaling van de stemgerechtigde leeftijd op 18 jaar (art. 54 Grondwet) ligt de veronderstelling ten grondslag dat burgers jonger dan 18 jaar nog niet in staat zijn om zich het gefundeerde oordeel te vormen dat nodig is om te kunnen stemmen, en burgers ouder dan 18 jaar wel. Dat hoeft natuurlijk niet in alle gevallen te kloppen, maar dat maakt op zichzelf niet dat iemand die de dag na de verkiezingen 18 wordt en heel goed op de hoogte is, onrechtvaardig behandeld wordt doordat zij op verkiezingsdag niet mag stemmen. Het wordt pas problematisch als die categorieën, zonder afdoende objectieve rechtvaardiging, (min of meer) samenvallen met de categorieën van de discriminatiegronden. Dan kan er namelijk sprake zijn van directe of indirecte discriminatie. Dat lijkt eenvoudig maar daar zit het complexe rechtsgebied van het non-discriminatierecht achter.

Terug naar intransparantie. Niet alleen systemen die werken op basis van machine learning zijn intransparant. De regelgeving, en ook de traditionele IT systemen die gebruikt worden voor de uitvoering van die regelgeving zijn inmiddels zo fijnmazig en ingewikkeld dat die feitelijk ook intransparant geworden zijn. Waarom duurt het anders zo lang en is het blijkbaar zo ingewikkeld om erachter te komen wie er nou precies slachtoffer zijn van de toeslagenaffaire, waar het fout is gegaan en op hoeveel compensatie die slachtoffers recht hebben?

3 Bestuursrecht

Ik constateer dat het bestuursrecht blijkbaar niet goed genoeg functioneert. De drempel om naar de bestuursrechter te stappen is voor burgers erg hoog, rechtsbijstand is problematisch, en de procedurele regels in de Awb voor wat betreft bijvoorbeeld termijnen zijn oneerlijk: de burger verliest pats boem de toegang tot rechtsbescherming bij termijnoverschrijding, terwijl het openbaar bestuur termijnen straffeloos kan overschrijden. Onze mooie algemene beginselen van behoorlijk bestuur worden niet naar de geest nageleefd. Er is blijkbaar sprake van al dan niet geautomatiseerde vooringenomenheid (art. 2.4 lid 1 Awb) als burgers op basis van persoonsgebonden kenmerken zoals een dubbele nationaliteit in een risicoprofiel worden geplaatst. Besluiten worden blijkbaar niet zorgvuldig genoeg genomen (art. 3:2 Awb) en er is geen deugdelijke motivering (art. 3:46 Awb). Het bestuur mag zich niet verschuilen achter “computer says no” en “wij begrijpen het ook niet maar het is blijkbaar zo”.[2] Toch is het misgegaan bij de Belastingdienst voor wat betreft de kinderopvangtoeslag, en wie weet gebeuren vergelijkbare zaken op wel meer terreinen (zoals bijvoorbeeld in het vreemdelingenrecht). En toch was er wel onderzoek beschikbaar over problemen bij het gebruik van geautomatiseerde systemen in het openbaar bestuur.[3]

4 Voorgestelde AI Verordening

Het inzicht dat gebruik van geautomatiseerde systemen om beslissingen over mensen te nemen tot desastreuze gevolgen kan leiden is inmiddels wel gemeengoed.[4] Intransparantie en de daardoor mogelijk onopgemerkte aanwezigheid van “biases” zijn naar verluidt de grote boosdoeners. De Europese Commissie heeft dit voorjaar een voorstel gedaan voor een Verordening, om het gebruik van AI te reguleren. AI is in dat voorstel buitengewoon breed gedefinieerd:[5] het lijkt erop dat alle IT-systemen die gebruikt worden om over mensen te beslissen (of die bepalen welke opties mensen krijgen, of op welke kleur lijst ze komen te staan, etc.) vallen onder de definitie van AI. Het risico is dat door zo’n breed bereik de Verordening z’n doel voorbijschiet. In ieder geval vallen alle systemen die door overheden gebruikt worden om beslissingen te nemen over burgers eronder.

De Verordening onderscheidt systemen op basis van het risico dat gebruik van  een AI-systeem met zich meebrengt. En al naar gelang het risico, is zo’n systeem verboden (art. 5 AIV) of gelden meer of minder strenge eisen en verplichtingen waaraan zo’n AI systeem moet voldoen (artt. 8-15 AIV voor hoog risico, voor sommige systemen transparantieverplichting art. 52 AIV). Compleet met certificeringsprocedures (artt. 16-51 AIV). De systemen die de Belastingdienst gebruikt lijken te vallen onder Bijlage III sub 5(a) (“AI-systemen die bedoeld zijn om door of namens overheidsinstanties te worden gebruikt om te beoordelen of natuurlijke personen in aanmerking komen voor overheidsuitkeringen en -diensten, evenals voor het verlenen, beperken, intrekken of terugvorderen van dergelijke uitkeringen en diensten AI-systemen die bedoeld zijn om door of namens overheidsinstanties te worden gebruikt om te beoordelen of natuurlijke personen in aanmerking komen voor overheidsuitkeringen en -diensten, evenals voor het verlenen, beperken, intrekken of terugvorderen van dergelijke uitkeringen en diensten”), en daarmee te kwalificeren als systemen met een hoog risico. Als aan al die vereisten voldaan was, had deze ellende dan voorkomen kunnen worden? In theorie misschien wel, maar in de praktijk? One has one’s doubts.

Ik ben zo bang dat door zo’n formeel, procedureel ingestoken verordening de focus komt te liggen op “compliance”: het afvinken van vereisten, het voldoen aan formele voorwaarden, om de benodigde certificering te krijgen – natuurlijk vooral voor leveranciers die een commercieel belang hebben. En vervolgens is het systeem “Oké”: “een gecertificeerd systeem is altijd Oké!” Het wordt dan voor de overheidsinstantie die zo’n systeem gebruikt mogelijk om zich te verschuilen achter de certificering, en het gevolgd hebben van de juiste procedure: niet “computer says no” maar “certified AI says no”. Van de regen in de drup!

En over welke eisen voor hoog-risico AI systemen gaat het dan zoal? Juist: transparantie (art. 13 lid 1 AIV en art. 52 AIV) en de al dan niet aanwezigheid van biases (art. 10 lid 2 sub f en art. 15 AIV), in de Nederlandse versie mooi vertaald als “vertekeningen”. Beide zijn gemakkelijk gezegd maar niet zo gemakkelijk gedaan.

Transparantie komt uiteindelijk denk ik neer op: welke feiten zijn ingevuld in welke regels, zodat de betrokkene de juistheid en de kwalificatie van de feiten en de invulling ervan in die regels kan betwisten. Maar dat vereist duidelijke regels, die als een soort beslisboom zijn geïmplementeerd in een te begrijpen IT-systeem. Beide zijn denk ik anno eind 2021 niet meer van deze tijd. Het transparant maken van AI systemen is inmiddels een vak apart.

En biases? Ik constateer dat de werkelijkheid biased is, in de zin dat alles wat wij als mensen willen hebben (geld, macht, aanzien èn de kansen daarop) feitelijk ongelijk verdeeld is over de maatschappij, en wel langs de lijnen van de discriminatiegronden. Er werken minder vrouwen in hoge posities, jongeren met een bepaalde etnische achtergrond zijn oververtegenwoordigd in de ciminele statistieken. Hoe kun je dan de dataset waarmee een AI getraind wordt, ooit unbiased laten zijn, zonder dat je de werkelijkheid geweld aan doet. Cathy O’Neil verwoordde ’t heel scherp: we moeten juistheid opofferen aan eerlijkheid bij gebruik van IT systemen (en overigens ook zonder dat we daarvan gebruik maken), als we de bestaande discriminatoire verdeling eerlijker willen maken. Het doel van het recht is en moet zijn om de samenleving eerlijker, gelijker, rechtvaardiger te maken. Het is daarvoor niet voldoende om allerlei eisen te stellen voor certificering voor AI systemen – nog afgezien van het feit dat het volgens mij onmogelijk is voor een AI systeem om unbiased te zijn.

5 Hoe dan wel?

Ik denk dat de oplossing niet ligt in het reguleren van AI systemen. Maar wel in het serieus nemen, omarmen, van de bestaande regels. Ik denk daarbij aan fundamentele rechten als het gelijkheidsbeginsel, privacy, en het recht op gegevensbescherming. Deels als uitwerking van die fundamentele rechten: het non-discriminatierecht (AWGB), het gegevensbeschermingsrecht (AVG). En ook het “goeie ouwe” bestuursrecht, zoals de eerder genoemde algemene beginselen van behoorlijk bestuur. Mijn stelling is dat als we het bestaande recht ècht serieus nemen, dat wil zeggen de regels volgen, toepassen en handhaven, we geen aparte regulering van AI nodig hebben. Als de belastingdienst de regels van de AVG gevolgd had bij het verwerken van de persoonsgegevens van de betrokkenen, niet vooringenomen was geweest, besluiten zorgvuldig had genomen en deugdelijk had gemotiveerd, en geen ongerechtvaardigd onderscheid had gemaakt, was er geen toeslagenaffaire geweest, waren er geen gedupeerde ouders geweest die hadden moeten wachten op compensatie.

Ik zeg niet dat dat gemakkelijk is. Het zal ten koste gaan van efficiency (en dus geld kosten), en van de fijnmazigheid van regels. Het zal een andere bestuurscultuur vergen, niet alleen van de politiek maar ook van alle uitvoeringsinstanties. Het zal een actievere houding van de rechter vereisen. Dat is volgens mij de strategie die voor het gevecht op dit front vereist is. Nou die andere nog ....

6 Eindnoten