Met behulp van algoritmen besluiten nemen over waardige mensen

Samenvatting

Met een liber amicorum heeft een aantal auteurs de rijke bijdrage geëerd die Ton Hol (Universiteit Utrecht) geleverd heeft aan de rechtswetenschap, de rechtspraktijk en de academische gemeenschap. De onderstaande bijdrage aan het boek voor Ton Hol is geschreven door Tina van der Linden[1] (VU). Hierin onderzoekt zij hoe we menselijke waardigheid kunnen zien in het kader van besluitvorming met behulp van geautomatiseerde systemen, kortweg algoritmische besluitvorming. En andersom: hoe we algoritmische besluitvorming moeten zien in het kader van menselijke waardigheid.

1 Inleiding

Een boek over paarden, dat ik ooit kocht voor mijn kinderen en helaas niet meer kan achterhalen, begon, als ik het me goed herinner, met de briljante observatie dat paarden vooral paard willen zijn. Zo kun je ook stellen dat mensen vooral mens willen zijn. Natuurlijk, we kunnen niet anders. En zelfs als ik een paard zou willen zijn, zou me dat niet lukken. Maar wat het betekent om mens te zijn, is niet meteen evident. Een vaak gebruikt begrip in dit verband is menselijke waardigheid: als je als mens geboren wordt dan heb je automatisch menselijke waardigheid. Wij hebben de sterke intuïtie dat wij mensen superieur zijn aan andere levende wezens. Die superioriteit is de reden dat we vinden dat we anders met mensen om moeten gaan dan met dieren, zelfs de meest edele dieren zoals paarden.

In deze bijdrage wil ik onderzoeken hoe we menselijke waardigheid kunnen zien in het kader van besluitvorming met behulp van geautomatiseerde systemen, kortweg algoritmische besluitvorming. En andersom: hoe we algoritmische besluitvorming moeten zien in het kader van menselijke waardigheid. Ik heb zowel verticale (overheid-burger) als horizontale (bedrijf-burger) verhoudingen op het oog. In de volgende paragraaf ga ik uitleggen wat ik precies bedoel met algoritmische besluitvorming, en vergelijk ik algoritmische besluitvorming met het toepassen van regels zoals we dat kennen in het recht. Paragraaf 3 gaat dieper in op menselijke waardigheid: waarom we het zouden hebben, wat het inhoudt en hoe het is als al die waardige mensen samen leven. Paragraaf 4 bevat de synthese tussen de inzichten uit de voorgaande paragrafen.

Hoewel ik, terugkijkend, al tientallen jaren meer of minder actief met dit onderwerp bezig ben,[2] moet deze bijdrage toch gezien worden als “work in progress” – mijn visie is (nog steeds niet!) uitgekristalliseerd, en deze bijdrage is een poging tot integratie van allerlei inzichten. Die inzichten betreffen op verschillende punten kwesties die op zichzelf ook onderwerp van voortdurende discussie zijn (of, zoals sommigen zeggen: waar boekenkasten over volgeschreven zijn). Kortom: een mix van omstreden kwesties. Ik probeer het terrein in kaart te brengen en mijn eigen gedachten verder te ordenen en aan te scherpen. Voor wat betreft mijn verwijzingen in voetnoten ben ik beperkt door de sluiting van fysieke bibliotheken en het feit dat ik geen toegang heb tot mijn werkplek: voor sommige boeken kon ik de exacte vindplaats van een gedachte derhalve niet vermelden. En in sommige gevallen heb ik daarom alleen of ook naar een internetbron verwezen.

2 Algoritmische besluitvorming

Met algoritmische besluitvorming bedoel ik: de inzet van een computerprogramma om een beslissing te nemen die op de een of andere manier invloed heeft op een mens, die dus als object van die beslissing gezien kan worden. Zo’n computerprogramma is soms niet meer dan de implementatie van een stappenplan. Het komt bijvoorbeeld neer op: als een student voldoet aan al deze voorwaarden, dan heeft zij recht op studiefinanciering. Als een klant een klantenkaart laat zien bij het afrekenen, krijgt hij korting op bepaalde producten. De uitkomst van het computerprogramma is in zo’n geval vooraf gemakkelijk te voorspellen en achteraf gemakkelijk uit te leggen; je volgt gewoon het pad door de beslisboom, en je weet welke data tot welke conclusie leiden. Dit zijn regelgebaseerde algoritmen.[3]

Er zijn ook computerprogramma’s die op een fundamenteel andere manier werken. Aan de basis ligt nog steeds een stappenplan, maar nu zegt dit stappenplan dat er verbanden ontdekt moeten worden binnen grote hoeveelheden data. Dat ontdekken van die verbanden kan op verschillende manieren, maar dat is voor nu niet zo belangrijk. Wel belangrijk is dat, door het ontdekken van verbanden tussen gegevens, het programma zichzelf als het ware “leert” hoe de wereld in elkaar steekt. Bijvoorbeeld dat een jongeman met een bepaalde etnische achtergrond heeft een bepaalde kans om in de criminaliteit terecht te komen of er een bepaalde kans is dat een klant in dit postcodegebied haar rekening niet zal betalen. Er zijn drie belangrijke aandachtspunten bij het gebruik van dit soort algoritmen voor besluitvorming. De eerste: het gaat alleen over correlaties, berekend met behulp van statistiek, op basis van historische data. Maar die correlaties kunnen wèl de reden zijn om een bepaalde beslissing te nemen: om de schaarse politie-surveillance capaciteit zo efficiënt mogelijk in te zetten, of om bij bepaalde klanten alleen te leveren als vooraf betaald is. De tweede: een statistisch verband tussen variabelen dat door het algoritme gevonden wordt is niet noodzakelijkerwijs een causaal verband.[4] Onze hersenen kunnen maar moeilijk bevatten dat er niet noodzakelijkerwijs sprake is van een causaal verband als twee verschijnselen statistisch samenhangen – maar het is ècht zo. Ten derde: het is niet altijd mogelijk om de uitkomst van het algoritme te begrijpen of uit te leggen – zelfs niet voor degene die het algoritme oorspronkelijk geprogrammeerd heeft. Ik zeg expres oorspronkelijk, want het algoritme heeft immers zichzelf de rest geleerd. Dat maakt dit soort algoritmes ondoorzichtig (black box): vooraf is een uitkomst niet te voorspellen en achteraf niet uit te leggen. Dit zijn zelflerende algoritmen.

Algoritmische besluitvorming kan gezien worden als de implementatie van een mechanische visie op regeltoepassing. Een algemene regel krijgt de functie van een formule: afhankelijk van de waarde van bepaalde variabelen komt er een bepaalde uitkomst uit. Rechtstoepassing is natuurlijk ook het toepassen van algemene regels op individuele gevallen. Logisch dus dat al relatief lang geleden de vraag actueel was of rechtstoepassing niet een mooie proeftuin is voor algoritmische besluitvorming.[5] Daar bleken allerlei haken en ogen aan te zitten.[6]

Omdat het gaat om algemene regels is het noodzakelijk om categorieën te creëren. Het is niet mogelijk, niet nodig en niet wenselijk om voor ieder concreet geval een eigen regel op te stellen: gelijkheid en rechtszekerheid brengen met zich mee dat de rijk geschakeerde werkelijkheid gereduceerd moet worden tot categorieën, waardoor de mensen op wie de regels toepast worden in hokjes terechtkomen. Die hokjes kunnen harde grenzen hebben (bijvoorbeeld: minderjarig / meerderjarig; nationaliteit; bestaande klant of nieuwe klant) of een waarde op een schaal vertegenwoordigen (bijvoorbeeld: leeftijd; inkomen).

De beschikbare gegevens over mensen (ofwel persoonsgegevens in het jargon van het gegevensbeschermingsrecht) zijn cruciaal. Die gegevens kunnen door de betrokkene zelf verstrekt worden, of die zijn al ergens bekend.[7] En sommige gegevens kunnen (met een meer of mindere mate van waarschijnlijkheid) afgeleid worden uit andere gegevens: een bekend voorbeeld is dat zwangerschap afgeleid kan worden uit een verandering in koopgedrag.[8] Mensen kunnen zo een “score” krijgen op een bepaald kenmerk; berucht zijn bijvoorbeeld kredietwaardigheid en risico op recidive. En de hoogte van zo’n score kan een criterium (categorie) zijn die een onderdeel is van een bepaalde regel: bij een bepaalde score op de schaal van kredietwaardigheid krijg je helemaal geen lening of alleen tegen bepaalde voorwaarden; de score op de schaal van recidive-risico kan van invloed zijn op de beslissing om iemand preventief vast te houden, of op de strafmodaliteit en strafmaat.

Van de categorieën die in rechtsregels gebruikt worden kunnen we aannemen dat ze betekenisvol en duidelijk zijn. Hoewel soms grove onderscheidingen gemaakt worden en te betogen valt dat er veronderstellingen aan ten grondslag liggen die niet altijd hoeven te kloppen, zijn de categorieën die in rechtsregels gehanteerd worden in ieder geval duidelijk en niet altijd heel controversieel. Iedereen begrijpt dat je ergens een grens moet trekken, en dat er altijd aan beide zijden van de grens gevallen zijn voor wie het niet klopt, maar je moet wat.[9] De stemgerechtigde leeftijd van 18 jaar is een mooi voorbeeld.[10] Er zijn 16 en 17 jarigen die al ruimschoots op de hoogte zijn van wat er allemaal speelt en die zich een prima mening gevormd hebben zodat ze eigenlijk best zouden kunnen stemmen. En er zijn zat volwassenen die zich niet interesseren voor politiek en maatschappelijke vraagstukken maar die wel mogen stemmen. Dat neemt niet weg dat de onderliggende veronderstelling van deze regel (ik denk zoiets als: mensen onder een bepaalde leeftijd zijn nog niet in staat om zich een geïnformeerd oordeel te vormen en mensen boven een bepaalde leeftijd wel) plausibel is, en dat het logische verband met het (rechts)gevolg dat iemand stemrecht krijgt ook helder is. Rechtsregels zijn (in theorie althans) voorzienbaar, uit te leggen en bij toepassing van die rechtsregel is het derhalve mogelijk om bezwaar aan te tekenen.

Voor zover een categorie in een rechtsregel ingevuld wordt, niet door menselijke beoordeling (zoals bijvoorbeeld bij een redelijk vermoeden van schuld uit art. 27 Sr.) maar door de uitkomst van een algoritme (zoals bijvoorbeeld bij de uitkomst van het AERIUS-systeem)[11]  wordt het betwisten daarvan lastig of onmogelijk. Vandaar dat de rechter beslist heeft dat het gebruik van algoritmes bij publiekrechtelijke rechtstoepassing alleen mag als de uitkomst van het algoritme uitgelegd kan worden.[12] 

Dat neemt niet weg dat algoritmes bij de uitvoering van overheidsbeleid wat meer buiten het zicht, op de achtergrond, best een rol kunnen spelen. Bijvoorbeeld: bij de invulling van discretionaire ruimte, bij de verdeling van schaarse capaciteit, bij het beoordelen van risico’s. Het gebruik van algoritmes an sich is niet verboden, als een beslissing maar onderbouwd kan worden en als er maar “iemand” (een bestuursorgaan) verantwoordelijk is voor die beslissing.[13] 

Ook in horizontale verhoudingen spelen algoritmes een grote rol: welke vacatures krijg je te zien,[14] word je uitgenodigd voor een sollicitatiegesprek,[15] kun je een lening[16] of een verzekering[17] afsluiten (en tegen welke voorwaarden), welke informatie krijg je te zien (en welke niet!), wat “vind je leuk”, wat denk je, wat voel je.[18] Ik vermoed dat we veel meer dan we geneigd zijn te geloven, bepaald, gestuurd, beperkt en genudged worden door algoritmen. Wat niet weet dat niet deert? Nee, onze menselijke waardigheid staat op het spel, zoals ik hierna zal bespreken. Het probleem is dat de transparantie die we in de publieke sector kunnen eisen, in horizontale verhoudingen niet vereist en niet vanzelfsprekend is. Vrijheid van ondernemerschap en contractsvrijheid zijn de leidende uitgangspunten, slechts hier en daar hap-snap beperkt in rechtsgebieden als gelijke-behandelingsrecht, mededingingsrecht, consumentenrecht en gegevensbeschermingsrecht. En daarbij geldt dan ook nog dat het bestaan van rechtsregels één ding is, het handhaven ervan is iets heel anders (en is zeker niet vanzelfsprekend).

3 Menselijke waardigheid

Het is heel lastig en dus ook heel interessant om precies aan te geven wat menselijke waardigheid nou betekent, waarom we het zouden hebben. Ik ga, in de context van de relatie met algoritmische besluitvorming, een poging wagen – maar ik realiseer me dat ik de rechtsfilosofie tekort doe met mijn grove pennenstreken en veel te kort-door-de-bocht beschrijvingen en conclusies. Er is veel meer dan deze sterveling meteen op het eerste gezicht in een oogwenk kan zien.

3.1 Waarom

Met menselijke waardigheid duiden we de vermeende superioriteit van mensen aan, in vergelijking met andere schepsels. Eigenlijk enorm arrogant. Maar goed, wij maken de dienst uit op deze planeet (dat denken we althans), want wij zijn slimmer dan de (andere) dieren. Wat ons dan precies als menselijke soort onderscheidt? Taal, intelligentie? Harari meent dat wat ons ècht uniek maakt, ons vermogen is om met grote aantallen onbekende anderen (van onze eigen soort) samen te werken.[19] Dat klinkt plausibel, en als jurist is het dan grappig om je te realiseren dat dat vermogen (om met onbekende anderen samen te werken) voor een groot deel gefaciliteerd wordt door het recht. Kahneman schetst een ontluisterend beeld van onze vermeende rationaliteit: we denken heel slim en rationeel te zijn, maar dat valt behoorlijk tegen![20] We gebruiken nog volop de shortcuts die functioneel waren toen we nog jagers en verzamelaars waren, maar die in de hektiek van de 21ste eeuw niet meer werken.[21] Omdat het rationele, kritische en bewuste deel van ons brein (door Kahneman system-2 genoemd) buitengewoon lui is,[22] zijn we zeer vatbaar voor suggestie, manipulatie, trappen we in allerlei valkuilen die eigenlijk simpel te ontwijken zouden moeten zijn.

Hoe het ook zij, die menselijke waardigheid betekent dat een mens, qualitate qua, dus puur daarom, mensenrechten heeft.[23] Mensenrechten voor dieren zijn absurd, maar je zou nog wel kunnen verdedigen dat wij het aan onze stand verplicht zijn om dieren op een enigszins waardige manier (passend bij de diersoort) te behandelen.[24] We gaan anders om met paarden (daar zijn ze weer!) en honden dan met ratten en eikenprocessierupsen.

Wij hebben als mensen, terecht of niet, de illusie dat we iets meer hebben dan alleen onze instincten: we kunnen kritisch nadenken, we kunnen reflecteren op onszelf en ons eigen handelen, we kunnen met onze vrije wil bewuste keuzes maken (zelfs als die tegen onze instincten in gaan), we kunnen tot op zekere hoogte de gevolgen van die keuzes overzien en dus zijn we ook verantwoordelijk voor die keuzes. Bij die verantwoordelijkheid speelt ook nog een moreel besef: wíj hebben kennis van goed en kwaad[25] dat uitgaat boven wat onze instincten ons voorschrijven, wij hebben een aangeboren rechtvaardigheidsgevoel. Een klein kind kan enorm boos worden als het meent onrechtvaardig behandeld te worden (“DÁT is niet eerlijk!”). Ik veronderstel dat de aap die in woede ontsteekt omdat zijn buurman een lekkerder snack krijgt dan hijzelf “alleen maar” jaloers is,[26] terwijl een kind naast jaloezie ook een intuïtie van onrecht heeft.[27] En de schaamte die een mens voelt als hij of zij iets gedaan heeft dat moreel onjuist is, is, zo veronderstel ik, ècht van een andere soort dan de schaamte die een hond voelt die iets stouts gedaan heeft.[28] De hond weet dat de baas boos is omdat hij een regel overtreden heeft, en daarom “schaamt” hij zich en gaat op z’n rug liggen ten teken van onderdanigheid en overgave. Maar anders dan dat de baas boos (of teleurgesteld) is heeft hij, zo veronderstel ik, geen besef van de eventuele morele lading van die regel – waarom het niet alleen stout, maar ook fout is. Een mens kan zich ook voor zichzelf schamen, het idee dat je jezelf niet meer in de spiegel kunt aankijken. Ook als er geen praktische gevolgen aan zitten en niemand weet wat er is gebeurd, dan nog kun je als mens zèlf last hebben van wat je fout gedaan hebt.

Interessant en problematisch hierbij is wel, dat onze morele intuïties inconsistent zijn. In de ethische literatuur zijn verschillende theorieën ontwikkeld,[29] elk weer met verschillende varianten, maar geen enkele daarvan is onproblematisch en kan op algehele instemming rekenen.

Kortom, mijn antwoord op de vraag waarom we menselijke waardigheid hebben is: omdat we een vrije wil en een moreel besef hebben. Daarom kunnen we dragers zijn van rechten en plichten en zijn we verantwoordelijk.

3.2 Wat houdt ‘t in

Menselijke waardigheid houdt volgens mij drie dingen in. De eerste is dat we zelf ons eigen leven kunnen, moeten en mogen vormgeven. We maken met onze vrije wil eigen keuzes, en zijn daar verantwoordelijk voor.

Dat klinkt leuk en aardig, maar dat is natuurlijk niet zo simpel als het lijkt. Je moet ook keuzes hebben, dus niet alleen negatieve vrijheid maar ook positieve vrijheid.[30] En er zijn natuurlijk wel grenzen aan de vrijheid van een ieder, zoals bijvoorbeeld geformuleerd als het schadebeginsel.[31] En dan nog kun je van mening verschillen over het antwoord op de vraag of die eigen regie dan ook met zich meebrengt dat je als mens je eigen menselijke waardigheid mag aantasten of opgeven, een variant op de paradox van de vrijheid: om vrijheid te kunnen garanderen, moet je ‘m beperken. Concreet: mag je jezelf in slavernij aan een ander verkopen? Of, wat minder extreem, jezelf tot object reduceren door je als dwerg te laten werpen? Of je te prostitueren?

De tweede is, dat je als mens het recht hebt om op je eigen merites beoordeeld te worden en niet op basis van vooroordelen. Dat volgt uit de erkenning van een ieder als uniek individu, met eigen morele verantwoordelijkheid. Deze aanspraak wordt, tot op zekere hoogte, door het non-discriminatierecht juridisch vormgegeven. De basis is het gelijkheidsbeginsel: “dat erkenning van de inherente waardigheid en van de gelijke en onvervreemdbare rechten van alle leden van de mensengemeenschap grondslag is voor de vrijheid, gerechtigheid en vrede in de wereld”.[32]

De derde is de notie verwoord door Kant, dat je als mens nooit alleen als middel gebruikt mag worden, maar altijd ook een doel in zichzelf moet zijn.[33] Als mens heb je er recht op om serieus genomen te worden, gezien en gehoord, zeker voor wat betreft dingen die jezelf aangaan, zoals bijvoorbeeld vormgegeven in patientenrechten,[34] en ook in het gegevensbeschermingsrecht.[35]

3.3 Samen leven in een samenleving

De uitdaging is nu om met al deze 8 miljard of zo waardige mensen in vrijheid, gerechtigheid en vrede samen te wonen op deze planeet. Of, als we het wat kleiner bekijken, met de 17,5 miljoen mensen in Nederland. We hebben in ieder geval twee problemen. Het eerste is schaarste. Wat wij als mensen nodig hebben: eten, onderdak en aandacht en zo, (en wat we niet per se nodig hebben maar wel heel graag willen) is, voor een groot deel, niet in overvloed aanwezig en exclusief: wat jij hebt (of opeet) kan ik niet ook hebben (of opeten). Bovendien zijn we als mens zeer kwetsbaar: we kunnen maar heel even zonder drinken, eten, slaap – en als we slapen kunnen we onszelf niet verdedigen. Dat maakt het noodzakelijk om samen te werken.

Het tweede probleem heeft betrekking op die noodzakelijke samenwerking. De manier waarop wij als mens in elkaar zitten (onze condition humaine) brengt met zich mee dat wij het, grosso modo, heel lastig vinden om een collectief lange termijn belang te stellen boven ons korte termijn eigen belang – zelfs als dat collectief lange termijn belang natuurlijk uiteindelijk ook ons eigen lange termijn belang is.[36] Noem het dom, egoïstisch, kortzichtig, asociaal – het is, vrees ik, een gegeven waar we mee te dealen hebben.

Om samenleven ondanks deze twee problemen toch mogelijk te maken hebben we recht, in plaats van de law of the jungle, het recht van de sterkste, wat in onze morele ogen niet rechtvaardigheid is. Recht betekent: een geheel van algemene regels, met de volgende functies: het scheppen van sociale orde, het bevorderen van niet-gewelddadige conflictbeslechting, het garanderen van de individuele ontplooiïng en autonomie van burgers, het bewerkstelligen van een rechtvaardige verdeling van schaarse goederen, en het kanaliseren van sociale verandering.[37]

In mijn visie is recht niet te begrijpen en niet toe te passen zonder begrip van de onderliggende morele uitgangspunten,[38] die, zoals gezegd, inconsistent zijn. En dat is waarom recht – rechtspreken, recht toepassen en ook nadenken over recht – zo’n interessante exercitie is: de uitdaging is om op basis van het geheel van onvolkomen rechtsregels geïnterpreteerd in het licht van inconsistente morele uitgangspunten tòch de (of een, dat laat ik even in het midden) juiste oplossing te vinden die voor dit geval rechtvaardig is – en wat dat dan is en waarom dat dan rechtvaardig is.[39]

3.4 Menselijke waardigheid en toepassing van recht

Menselijke waardigheid bij toepassing van het recht betekent dus in mijn visie dat ieder mens het recht heeft om eerlijk behandeld te worden. Meer concreet: met respect voor de eigen autonomie èn om op eigen merites beoordeeld te worden, als doel en niet als middel. Volgens mij doet het recht daar ook z’n best voor. Het recht beschermt mensenrechten, kent contractsvrijheid maar ook beperkingen daarop, voorziet in eerlijke procedures, bindt machtsuitoefening door de overheid aan het legaliteitsbeginsel èn aan algemene beginselen van behoorlijk bestuur, beschermt burgers tegen elkaar – eigenlijk kan het gehele recht op deze manier begrepen worden.

4 Menselijke waardigheid bij toepassing van algoritmische besluitvorming

Omdat de aan algemene regels ten grondslag liggende morele intuïties inconsistent zijn, èn die algemene regels niet te begrijpen en niet toe te passen zijn zonder begrip van die onderliggende morele intuïties, kan een algoritme nooit die onderliggende morele intuïties belichamen. Is dat erg? En betekent dat dan dat we nooit met behulp van algoritmen besluiten kunnen nemen over mensen? Nee, ja en misschien toch.

Nee, want er zijn genoeg zogenaamde gladde gevallen, clear cases, 13 of wel 14 in een dozijn waarin regels probleemloos mechanisch toegepast kunnen worden op een manier die rechtvaardig is.[40]

Ja, want de zogenaamde hard cases zijn principieel niet als zodanig vooraf met behulp van een algoritme te herkennen.[41] Onvoorziene omstandigheden zijn per definitie niet uit te sluiten, voortschrijdend inzicht, rechtsontwikkeling, Einzelfallgerechtigkeit – daar moet ruimte voor zijn. Een mens kan dat (in theorie althans) wel,[42] een algoritme per definitie niet.

Misschien toch, want misschien zijn algoritmes uiteindelijk alsnog rechtvaardiger en eerlijker dan mensen[43] – die immers op een lege maag strenger oordelen.[44] Misschien maakt algoritmische besluitvorming fijnmazigere (en dus potentieel rechtvaardigere) regelgeving mogelijk. En misschien heeft een obligate “human in the loop”[45] wel helemaal geen zin, als er geen organisatorische ruimte is om een hard case als zodanig te herkennen en er recht aan te doen.[46] Of als die mens-in-de-lus niet meer de benodigde vaardigheden, de routine en het Fingerspitzengefühl heeft. 

Voor zelflerende algoritmen komen daar dan nog een drietal formidabele risico’s bij – die in de literatuur uitgebreid beschreven zijn.[47]

Als eerste: het levensgrote risico van discriminatie. Omdat de gegevens waarmee een zelflerend algoritme getraind wordt de bestaande maatschappelijke ongelijkheden in zich hebben, kan het algoritme niet anders dan die ongelijkheden voortzetten. Corrigeren op gevoelige kenmerken zoals bijvoorbeeld ras, etnische afkomst en godsdienst helpt niet, omdat die kenmerken samenhangen met onschuldige kenmerken en daar als “emerging properties”[48] uit afgeleid kunnen worden. Algoritmische besluitvorming kan als “math” vernietigingswapen[49] niet alleen grote maatschappelijke schade aanrichten, maar het maakt ook inbreuk op menselijke waardigheid. Mensen worden niet op basis van hun eigen merites beoordeeld, en ze worden als middel gebruikt en niet als doel in zichzelf gezien.

Als tweede: het beperken van autonomie door mensen op te sluiten in een filter bubble.[50] Mensen hebben het misschien niet eens in de gaten, en de filter bubble kan ongemerkt in een comfort zone evolueren. Doordat je niet meer met andere opvattingen in aanraking komt – het algoritme voorziet je immers alleen van “nieuws”, opvattingen en berichten die in je straatje passen -  word je ook niet meer uitgedaagd om je mening te herzien en jezelf te ontwikkelen. Je zou kunnen zeggen: als dat je bewuste eigen keuze is dan is dat op grond van je autonomie je goed recht. Je mag je als kluizenaar afsluiten. Maar als het geen bewuste eigen keuze is en het je ongemerkt overkomt, dan is het een beperking van je autonomie, word je tot object (stemvee, rupsje-nooit-genoeg consument) gemaakt.

De filter bubble kan feitelijk je opties en dus je keuzevrijheid beperken: je krijgt bepaalde dingen wel en andere niet te zien. Je wordt gedwongen of genudged in een bepaalde richting – wellicht zonder dat je het in de gaten hebt en dàt is een inbreuk op je autonomie.

Ten derde: het gebrek aan transparantie. Het is “computer says no” en daar moet je het maar mee doen. Voor verticale besluitvorming is dat, zoals eerder aangegeven, onaanvaardbaar. Voor horizontale besluitvorming is dat lastiger vanwege eerdergenoemde uitgangspunten als vrijheid van onderneming en contractsvrijheid. Daar zijn wel beperkingen op, maar je hebt misschien niet eens in de gaten dat je door een algoritme benadeeld wordt, als je het al in de gaten hebt is de drempel om het aan te vechten heel hoog, en bijvoorbeeld indirecte discriminatie als gevolg van gebruik van een algoritme zal voor de benadeelde heel moeilijk aan te tonen zijn.

De hierboven genoemde manifestaties van menselijke waardigheid (autonomie, recht om op eigen merites beoordeeld te worden èn doel en geen middel) liggen alle drie in de gevarenzone bij algoritmische besluitvorming. Alle reden dus om zeer, zeer kritisch te blijven. En de nieuwe generatie op te leiden tot kritische juristen: die begrip hebben van de voordelen èn de risico’s van algoritmische besluitvorming, die het beschermen van menselijke waardigheid hoog in het vaandel hebben staan, en die weten dat dat geen gemakkelijke opgave is.

5 Discussievraag

Stel dat, voor een bepaalde categorie van zaken, uit empirisch onderzoek zeer duidelijk zou blijken dat het vervangen van een menselijke rechter door een algoritme leidt tot “betere” (in termen van rechtsgelijkheid en rechtvaardigheid) oordelen. Die oordelen zijn echter helaas niet te motiveren vanwege het black box karakter van het algoritme. Is het dan wenselijk om voor díe zaken de rechter te vervangen door een algoritme?

6 Eindnoten

[1] Tina van der Linden (voorheen Tina Smith) is docent Law, Ethics and Technology aan de Vrije Universiteit te Amsterdam. Van mei 1986 tot augustus 2017 werkte zij aan de Universiteit Utrecht, de laatste 15 jaar als docent bij de disciplinegroep Rechtstheorie.

[2] Tina Smith, Legal Expert Systems, Discussion of Theoretical Assumptions, proefschrift Universiteit Utrecht, 1994. Ton Hol maakte deel uit van de leescommissie.

[3] Zie bijvoorbeeld: A.W. Koers, D. Kracht, M. Smith, J.M. Smits, M.C.M. Weusten, Knowledge based systems in law: in search of methodologies and tools, (Computer/Law Series; Vol. 4) Kluwer 1989.

[4] Zie Spurious correlations (Tyler Vigen) voor hilarische en daarmee zeer duidelijke voorbeelden.

[5] A.W. Koers, Juridische Informatica, Spelen met de computer, of spelen met het recht, Inaugurele Rede, Alphen aan den Rijn: Samsom H.D. Tjeenk Willink 1987; H.J. van den Herik, Kunnen computers rechtspreken? Inaugurele Rede, Arnhem: Gouda Quint 1991.

[6] Zie onder andere J.C. Hage, ‘Themis als robot, Juridische expertsystemen tussen trivialiteit en onbetrouwbaarheid’, RM Themis 1987, pp. 238-248; H. Prakken, Logical tools for modelling legal arguments, proefschrift VU Amsterdam, 1993; Arno R. Lodder, DiaLaw, On legal justification and dialog games, proefschrift Universiteit Maastricht, 1998; M.C.M. Weusten, De bouw van juridische kennissystemen: Building legal knowledge based systems: KRT: methodology and tools: KRT: methodologie en gereedschap, proefschrift Universiteit Utrecht 1999.

[7] Achter deze ogenschijnlijk onschuldige formulering schuilt hele complexe materie in het licht van het gegevensbeschermingsrecht: doelbinding (art. 5 lid sub b AVG).

[9] David Robert Miers and William Twining. How to do things with rules. Cambridge University Press, 2010.

[10] Art. 54 Grondwet.

[11] Zie Raad van State 18 juli 2018, ECLI:NL:RVS:2018:2454, rechtsoverweging 23.3.

[12] Zie bijvoorbeeld Rechtbank Den Haag 5 feburari 2020, ECLI:NL:RBDHA:2020:865 (SyRI).

[13] Uitgebreider over gebruik van algoritmes in het openbaar bestuur: Marlies van Eck, Geautomatiseerde ketenbesluiten & rechtsbescherming, proefschrift Universiteit Tilburg, 2018. B.M.A. van Eck, M.A.P. Bovens & S. Zouridis, ‘Algoritmische rechtstoepassing in de democratische rechtsstaat’, NJB 2018/2101, afl. 40, p. 3014. C.J. Wolswinkel, Willekeur of algoritme? Laveren tussen analoog en digitaal bestuursrecht (oratie), Tilburg 2020. C.J. Wolswinkel, AR meets AI. Een bestuursrechtelijk perspectief op een nieuwe generatie besluitvorming, Computerrecht 2020/4, pp. 22-29.

[15] Gideon Mann en Cathy O'Neil, Hiring Algorithms Are Not Neutral, Harvard Business Review 9 december 2016.

[16] Karlijn Kuijpers, Thomas Muntz en Tim Staal, U staat op een zwarte lijst, De Groene Amsterdammer 25 oktober 2017, https://www.groene.nl/artikel/u-staat-op-een-zwarte-lijst

[18] Eli Pariser, The filter bubble: How the new personalized web is changing what we read and how we think. Penguin, 2011.

[19] Yuval Noah Harari, Homo Deus, A Brief History of Tomorrow, Vintage 2017, p. 153-154.

[20] Daniel Kahneman, Thinking, Fast and Slow, Penguin Books, 2011, p. 19-30.

[21] Yuval Noah Harari, Homo Sapiens, A Brief History of Humankind, Vintage 2015.

[22] Daniel Kahneman, Thinking, Fast and Slow, Penguin Books, 2011, p. 39-43.

[23] De Universele Verklaring van de Rechten van de Mens noemt waardigheid twee maal in de Preambule, in art. 1 en in art. 22.

[24] Art. 1.3 lid 1 van de Wet Dieren stelt zelfs dat de intrinsieke waarde van het dier wordt erkend. Waarbij onder erkenning van de intrinsieke waarde wordt verstaan erkenning van de eigen waarde van dieren, zijnde wezens met gevoel.

[25] Genesis 2:16-17.

[26] Zie een fragment uit de TED talk van Frans de Waal waarin hij het experiment bespreekt: Two Monkeys Were Paid Unequally: Excerpt from Frans de Waal's TED Talk op https://youtu.be/meiU6TxysCg.

[27] Overigens trekt Frans de Waal uit deze en volgende experimenten wel de conclusie dat sommige dieren een gevoel van rechtvaardigheid hebben.

[28] Op Youtube zijn diverse filmpjes van “dog shaming” te vinden, bijvoorbeeld: Who Did That?! Guilty Dogs Video Compilation 2017.

[29] Zie bijvoorbeeld Walter Sinnott-Armstrong, Consequentialism, in: Stanford Encyclopedia of Philosophy, en Larry Alexander and Michael Moore, Deontological Ethics, in: Standford Encyclopedia of Philosophy.

[30] Theo Rosier, Vrijheid, in: Grondslagen van het recht, Achtergronden, hoofdstuk 7.

[31] John Stuart Mill, On Liberty, oorspronkelijk uit 1859, heruitgegeven door Batoche Books, Kitchener in 2001. Het beroemde schadebeginsel “the only purpose for which power can be rightfully exercised over any member of a civilised community, against his will, is to prevent harm to others” staat op p. 13.

[32] Zo begint de Preambule van de Universele Verklaring van de Rechten van de Mens.

[33] Immanuel Kant, Grundlegung zur Metaphysik der Sitten, 1785, p. 79.

[34] Zoals onder meer neergelegd in de Wet op de Geneeskundige Behandelovereenkomst, artt. 7:446-7:468 BW, met name recht op informatie (art. 7:448 BW), en ook het recht om geen informatie te willen ontvangen (art. 7:449 BW) en het feit dat toestemming nodig is voor een verrichting (art. 7:450 BW).

[35] Rechten van de betrokkene: artt. 12-23 AVG, waarvan vooral recht op inzage (art. 15 AVG), recht op rectificatie (art. 16 AVG), en recht op gegevenswissing (“recht op vergetelheid”, art. 17 AVG) bekend zijn.

[36] Het heeft ook te maken met gebrek aan vertrouwen dat andere mensen ook voor dat collectief lange termijn belang zullen kiezen. Dit dilemma wordt in de speltheorie mooi inzichtelijk gemaakt als het prisoner’s dilemma: zie voor een prachtige beschrijving: Douglas Hofstadter, Metamagical Themas: Questing for the Essence of Mind and Patters, Bantam Books 1985, hoofdstuk 29, pp. 715-734.

[37] Zie M. de Blois (red.), Grondslagen van het recht, Hoofdlijnen, § 1.3.

[38] Ik zie mijzelf dus als anti-positivist in de terminologie van Theo Rosier, Recht en moraal, in: Grondslagen van het recht, Achtergronden, hoofdstuk 2, en onderschrijf grotendeels de theorie van Ronald Dworkin, zoals onder meer uitgelegd in Taking Rights Seriously, 1977.

[39] A.M. Hol, Overtuigende rechtspraak: ethos, pathos, logos, in: Olof Tans e.a., De grenzen van het goede leven. Rechtsgeleerde opstellen aangeboden aan Prof. Mr. A. Soeteman, Ars Aequi Libri, Nijmegen 2009, p. 199-210.

[40] Tina van der Linden-Smith. Een duidelijk geval: geautomatiseerde afhandeling. IteR reeks deel 41, Sdu, 2001.

[41] Tina Smith, Legal Expert Systems, Discussion of Theoretical Assumptions, proefschrift Universiteit Utrecht, 1994. Ton Hol maakte deel uit van de leescommissie.

[42] In extreme gevallen is dan wel een super(wo)man zoals de door Dworkin opgevoerde Hercules vereist. Ronald Dworkin, Law's Empire. Cambridge, Massachusetts: Harvard University Press, 1986, p. 239-240. Zie over de rol van de rechter als geschilbeslechter: A.M. Hol, M.A. Loth, Iudex mediator: naar een herwaardering van de juridische professie, in: Nederlands Tijdschrift voor Rechtsfilosofie en Rechtstheorie, 2001/1 pp. 9 – 57.

[43] Ronald van den Hoogen, Technologie verplicht, in: NJB Jaargang 36 (1997), pp. 1677-1678.

[44] Hannah Fry, Hello World, How to be Human in the Age of the Machine, hoofdstuk: Justice.

[45] Zie bijvoorbeeld de Ethics Guidelines for Trustworthy AI van de independent high-level expert group on AI set up by the European Commission, p. 16 onder het kopje “Human oversight”. 

[46] Zie onder meer Michael Lipsky, Street-level bureaucracy: Dilemmas of the individual in public service. Russell Sage Foundation, 2010 en Yeheskel Hasenfeld, Human services as complex organizations. Sage Publications, 2009.

[47] Max Vetzo, Janneke Gerards, Remco Nehmelman. Algoritmes en grondrechten. Boom Juridische uitgevers, 2018.

[48] Michiel Rhoen en Qing Yi Feng. "Why the ‘Computer says no’: illustrating big data’s discrimination risk through complex systems science." International data privacy law 8.2 (2018): 140-159.

[49] Cathy O’Neil, Weapons of Math Destruction, Penguin, 2017.

[50] Eli Pariser, The filter bubble: How the new personalized web is changing what we read and how we think. Penguin, 2011.

Titel, auteur en bron

Titel

Met behulp van algoritmen besluiten nemen over waardige mensen

Permanente link

Huidige versie

https://www.openrecht.nl?jcdi=JCDI:ALT594:1