Computers zullen nooit rechtspreken!

1 Computers zullen in 2040 rechtspreken!

Nadat Jaap van den Herik in zijn inaugurele rede in 1991 stelde dat computers ooit zouden rechtspreken, is het behoorlijk bergafwaarts gegaan met de discipline die zich bezighield met de automatisering van het rechtsbedrijf. Dat lag natuurlijk niet aan Van den Herik, maar vooral aan het feit dat de ontwikkeling van hard- en software nog in de kinderschoenen stond en dat veel juridische faculteiten weinig fiducie leken te hebben in de vergezichten die de dames en heren rechtsinformatici schetsten. En handel zat er ook niet in, want de gemiddelde jurist wist toen amper hoe een computer opgestart moest worden. Een commercieel juridisch computerproduct was in die tijd niet levensvatbaar.^[1]

In 2016 preciseerde Van den Herik zijn voorspelling over rechtsprekende computers. In het blad Mr. stelde hij toen dat computers, algoritmes, tussen 2030 en 2040 het merendeel van de vonnissen voor hun rekening kunnen nemen. Alleen de moeilijke gevallen zouden dan nog worden afgedaan door mensen werkzaam in de rechterlijke macht.^[2]

Terwijl ik dit schrijf en een blik werp op de kalender zie ik dat we nog een kleine acht jaar van het jaar 2030 verwijderd zijn. Als ik me vervolgens realiseer dat de rechterlijke macht nog bezig is met het zetten van de eerste basale digitale stappen, dan bekruipt me toch het gevoel dat de schatting van de Leidse (emeritus-)hoogleraar wellicht wat optimistisch is, vooral ook omdat er nogal wat hobbels te nemen zijn. Of zou Van den Herik denken dat rechtsprekende computers ook gerealiseerd kunnen worden met als referentiemateriaal een onvolledige set van slecht gestructureerde uitspraken. Dat lijkt mij sterk.

2 Automatisering en informatisering Rechtspraak

Een rechtsprekend systeem kan vandaag de dag alleen nog maar gevoed worden met een beetje juridische garbage. Een ‘beetje’ omdat maar zo’n 4% van de gedane uitspraken gepubliceerd wordt en ‘garbage’ omdat de uitspraken verre van goed gestructureerd zijn. De informatiehuishouding van de Rechtspraak wordt weliswaar steeds beter, maar is zeker nog niet op orde. De kans dat een rechtsprekende computer op basis van datgene wat nu aan uitspraken beschikbaar is tot een zinnig oordeel komt is bijna nul. De Rechtspraak moet eerst meer goed gestructureerde, goed gemetadateerde uitspraken beschikbaar stellen alvorens ik ook maar een beetje durf te gaan denken aan een klein rechtsprekend computertje.

Het goede nieuws is wel dat er op dit moment hard wordt gewerkt aan de automatisering van het rechtsbedrijf, hoewel het nog wel slechts heel kleine stapjes zijn die genomen worden. Terecht overigens, want de complexiteit is groot, net als de belangen. Daarbij liggen de ervaringen met het gestopte programma Kwaliteit- en Innovatieprogramma van de Rechtspraak in Nederland (KEI) nog vers in het geheugen. Nog een niet geslaagd automatiseringsproject kan de Rechtspraak er niet bij hebben.^[3]

De stapjes die nu genomen worden hebben overigens vooral te maken met de documentstromen en niet met het rechtspreken, niet met het oordeel dat de mens van vlees en bloed uiteindelijk velt. Zo kunnen advocaten vanaf 15 november 2021 bij alle rechtbanken eenvoudig digitaal procederen in de zaakstroom beslagrekesten. Dat indienen van rekesten gebeurt via een nieuw portaal van de Rechtspraak en met gebruik van de Advocatenpas. Via het portaal kunnen advocaten hun stukken in pdf-formaat uploaden.^[4] Nuttig, noodzakelijk, maar hiermee komen we niet echt dichterbij een geautomatiseerd rechtsprekend systeem, hoewel gedigitaliseerde zaakstromen daarvan uiteindelijk wel een onderdeel zullen gaan zijn.

Hiernaast heeft de Rechtspraak eind 2021 echter ook het programma ‘Meer en verantwoord publiceren’ gelanceerd.^[5] Het is dit programma dat niet alleen gaat zorgen voor een transparantere rechtspraak door het publiceren van substantieel meer uitspraken, maar dit grotere aantal gaat wellicht ook mogelijkheden scheppen voor meer geavanceerde toepassingen in het geautomatiseerd rechtspreken. Ook omdat de grotere aantallen worden voorzien van een vastere structuur en een betere metadatering.

En last but least neemt tegelijkertijd de ontwikkeling van steeds slimmere software een grote vlucht. Ook in de rechtspraak.^[6]

3 Gebrekkige informatiehuishouding staat rechtsprekende computer in de weg

Met de geschetste ontwikkelingen zou de voorspelling van Van den Herik misschien zomaar eens kunnen uitkomen. Als de dataset van uitspraken compleet en gestructureerd is en er wordt slimme software, kunstmatige intelligentie (AI),  losgelaten op de teksten dan moet de rechtsprekende computer een kwestie van tijd zijn.^[7] Of toch niet? Kan een computer, een systeem, zo slim worden dat het het werk van een rechter kan overnemen? Ik heb daar zo mijn twijfels over. Of eigenlijk niet. Ik heb daar geen twijfels over. AI gaat er niet voor zorgen dat computers voor 2040 kunnen rechtspreken. Natuurlijk kan en zal AI een rol gaan spelen in de rechtspraak, maar tot een rechtsprekende computer zal dat niet leiden. Frans Rikhof en ik gaan dat niet meemaken.

Dat komt toch vooral omdat nog steeds - ik verwees er eerder al naar - de digitale juridische informatie die wordt nu opgeslagen in verschillende systemen heel divers is en vooral te weinig gestructureerd. Om deze informatie van substantiële waarde te laten zijn voor verwerkende systemen moeten daar echt nog slagen gemaakt worden. Deze potentiële input moet substantieel verbeteren met meer structurering als we juridische informatie willen laten verwerken door computers. Pas als dit voorwerk niet meer nodig is en alle juridische informatie op een eenduidige en samenhangende wijze wordt opgeslagen en verwerkt, kunnen we gaan denken aan echt geavanceerde computertoepassingen in het juridische bedrijf.^[8] Tot die tijd moeten ontwikkelaars van juridische computersystemen het (vaak) doen met ‘garbage’ die voor een optimaal resultaat eerst verbeterd moet worden. Marc van Opijnen spreekt in Computerrecht van ‘rechtzetters’ die de kwaliteit van data dienen te verbeteren. Ze brengen structuur aan in ongestructureerde documenten, herkennen concepten, clusteren aan de hand van trefwoorden, zien onderlinge verbanden en argumentatiepatronen, optimaliseren teksten voor zoekmachines, etc.^[9] Kortom, een heidens karwei waarvan ik zeg dat het tot op heden nog een te grote hobbel vormt in het veld van automatisering en rechtspreken. Sterker, het staat de ontwikkeling van een rechtsprekend systeem in de weg.

Maar ook als het programma ‘Meer en verantwoord publiceren’ er op korte termijn wel toe leidt dat er aanzienlijk meer en goed gestructureerde uitspraken beschikbaar zullen komen dan zal dat niet gaan leiden tot een rechtsprekende computer. De slimme software, de kunstmatige intelligentie, is simpelweg nog niet goed genoeg, is te dom.

4 Gebrekkige AI staat rechtsprekende computer in de weg

Er is een aantal aspecten die de inzet van AI in de rechtspraak in de weg staat. Een eerste aspect is gelegen in het begin, de totstandkoming van het systeem. Als we het namelijk al zouden gaan willen, wie gaat de rechtsprekende AI-computer dan maken? IBM, de Raad voor de rechtspraak, Wolters Kluwer, Recht.nl? Onder toezicht van een team van wijze rechters? En welke rechters dan?

Moet er een rechtbank-systeem zijn, een hof-systeem, en een Hoge Raad-systeem, of is één rechtsprekend AI-systeem afdoende? En zo ja, waarom zou dat ene systeem dan het goede zijn? Zou het niet zo kunnen zijn dat Wolters Kluwer voor bepaalde zaken een beter algoritme maakt dan de Rechtspraak zelf? En welk systeem wordt dan ingezet en wie bepaalt dat?^[10]

Het aspect dat bij deze keuzes een rol speelt, is de mogelijke vooringenomenheid van het systeem. Want wie het systeem ook maakt, er zitten mensen achter van vlees en bloed die hun eigen achtergrond niet kunnen en zullen loslaten bij het maken het systeem, bij het kiezen van de juiste dataset om het systeem te voeden, waardoor de kans bestaat dat het niet in balans is, niet objectief (genoeg) is.

Een mogelijk oplossing voor dit probleem kan gelegen zijn in de oprichting van een toezichthoudend orgaan, dat niet alleen systemen controleert en certificeert, maar ook gedurende de gehele levensloop van het systeem een monitorende rol heeft.^[11]

Een groter probleem dat speelt bij rechtsprekende computers is het feit dat een AI-systeem (nog) niet kan uitleggen waarom het doet wat het doet. Het is een zwarte doos. AI-systemen zijn niet transparant. Dit aspect is wat mij betreft onoverkomelijk. In het juridische rechtsprekende domein moeten alleen maar systemen ingezet gaan worden, die volledige openheid van zaken kunnen geven. Is dat niet het geval, dat mag het systeem niet ingezet gaan worden. Net zoals een rechter moet een rechtsprekend AI-systeem kunnen uitleggen wat het doet en waarom. Zo niet, dan is het exit AI-systeem, daar kunnen we wat mij betreft duidelijk over zijn. We moeten alleen maar gebruik willen maken van wat men in het Engels noemt explainable AI (xAI), in het Nederlands ‘uitlegbare AI’ (uAI).^[12]

Ik denk ook dat een AI-systeem te dom is om de rol van rechter te kunnen spelen. Zo’n systeem leest bijvoorbeeld geen kranten. Het heeft geen flauw benul van een oorlog in Oekraïne en zal als vreemdelingenrechter zo goed als elke binnenkomende Oekraïner de deur wijzen. Het is (was) immers een veilig land. Dit wordt pas weer anders als een mens het systeem gevoed heeft met nieuwe uitspraken waaruit duidelijk wordt dat er een oorlog gaande is in Oekraïne en dat het gedaan is met de veiligheid in het land en dus volstrekt legitiem om mensen uit dit land op te vangen. De rechtsgelijkheid en rechtszekerheid van vandaag kunnen anders zijn dan die van morgen en dat zal een rechtsprekende computer niet zomaar zelf bedenken. 

En er is ook nog zoiets als rechtvaardigheid. Weet een machine wat dat is? Ik denk het niet. Kijkend naar de getrokken conclusies na de toeslagenaffaire, lijkt de inzet van AI-systemen in de rechtspraak zelfs bijna van de horizon verdwenen omdat er teveel oog was voor gelijkheid en zekerheid en te weinig voor rechtvaardigheid, voor de menselijke maat. Het belang van de rechtsbescherming van het individu moet zwaarder wegen dan een vaste lijn in de jurisprudentie, aldus de reflectie van bestuursrechters op deze affaire.  

Een werkgroep van rechters heeft onder meer geconcludeerd dat als een hogerberoepsrechter de wet op een bepaalde manier uitlegt, lagere rechters zich vrijer moeten voelen om hier tegenin te gaan. Om onrecht in de toekomst te voorkomen, moet volgens de werkgroep in vergelijkbare zaken de rechtsbescherming van het individu belangrijker zijn dan het waarborgen van rechtseenheid en rechtszekerheid.^[13]

Nou, kom daar maar eens mee aan bij ontwikkelaars van een AI-systeem: 'Wij willen graag een systeem dat moet zorgen voor gelijkheid en zekerheid, maar het moet ook oog hebben voor de individuele persoon. De resultaten moeten rechtvaardig zijn, maar ook rekening houden met de menseljke maat.' Dat lijkt echt een brug te ver.^[14]

Ik moet daarbij ook denken aan het proefschrift van Iris van Donselaar getiteld de ‘The Fragility of Rightness. Adjudication and the Primacy of Practice’. Hierin schrijft zij dat een goede rechter, naast kennis van het recht, een adequaat waarnemingsvermogen moet hebben, empathisch moet kunnen rechtspreken en bovendien gevoeligheid moet hebben voor tragische keuzes.^[15] Ik zie zo'n AI-systeem niet voor me, nog lang niet.

Alle bovengenoemde kwesties lijken spoedige inzet van AI in de rechtspraak behoorlijk in de weg te zitten. En dat is niet alles. Daar komt binnenkort nog een Wet op de artificiële intelligentie bij.^[16] Dit betreft een Europese concept-verordening voor de regulering van kunstmatige intelligentie, inmiddels beter bekend als de AI-verordening. Dit voorstel bevat een risico-gebaseerde aanpak voor verschillende soorten AI: een verbod voor AI-systemen met een onaanvaardbaar risico, uitvoerige complianceregels voor hoog risico AI-systemen, transparantieregels voor bepaalde soorten AI en geen nieuwe regels voor AI zonder risico of met een minimaal risico.

Het lijkt me dat de inzet van AI-systemen in de rechtspraak sowieso gaan vallen onder wat men in de richtlijn noemt hoog-risicotoepassingen, maar misschien moeten ze zelfs wel vallen in het vakje toepassingen die verboden moeten worden omdat ze een onaanvaardbaar risico met zich brengen.

De concept-verordening scannend geeft overweging 40 iets van duidelijkheid in deze kwestie:

‘Bepaalde AI-systemen die bedoeld zijn voor de rechtsbedeling en democratische processen moeten als systemen met een hoog risico worden geclassificeerd gezien hun mogelijk aanzienlijke effecten op de democratie, de rechtsstaat, de individuele vrijheden en het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht. Om de risico’s van potentiële vertekeningen, fouten en ondoorzichtigheid aan te pakken, is het met name passend om AI-systemen die bedoeld zijn voor de ondersteuning van gerechtelijke autoriteiten bij het onderzoeken en uitleggen van feiten en het recht en bij het toepassen van het recht op een concrete reeks feiten, als systemen met een hoog risico aan te merken. Een dergelijke aanmerking omvat echter geen AI-systemen die bedoeld zijn voor louter ondersteunende administratieve activiteiten die geen gevolgen hebben voor de daadwerkelijke rechtsbedeling in afzonderlijke zaken, zoals de anonimisering of pseudonimisering van rechterlijke beslissingen, documenten of data, de communicatie tussen personeelsleden, administratieve taken of de toewijzing van middelen.’

Hierbij valt een paar dingen op. AI-systemen die ondersteuning bieden bij de anonimisering en pseudonimisering van uitspraken vormen geen hoog risico. Ik kan me op zich voorstellen dat een dergelijk administratief systeem niet per se in de hoog risico-sfeer zit omdat zo’n systeem geen (geautomatiseerd) oordeel velt in een conflict. Maar hoe zit dan met de gevolgen voor de burgers en organisaties veroorzaakt door een gebrekkige anonimisering of pseudonimisering? Die gevolgen worden blijkbaar te triviaal gevonden om dit soort systemen als hoog risico-systeem te bestempelen.

Tevens staat in de overweging dat systemen bij het toepassen van het recht op een concrete reeks feiten (wel) als systemen met een hoog risico worden aangemerkt. Daarmee lijkt het erop dat hier enige ruimte zit in de verordening voor rechtsprekende AI-systemen en er dus geen sprake zal zijn van een verbod. Gezien de mogelijke vooringenomenheid van dit soort systemen, de onmogelijkheid uitleg te geven over genomen beslissingen en analyses, en het gebrek aan gevoel voor rechtvaardigheid vraag ik me af of dit (op dit moment) wenselijk is.  

Aan de andere kant, voor ontwikkelaars van hoog risico-systemen wordt in de verordening zo’n enorme administratieve ballast gecreëerd, dat ik me bijna niet kan voorstellen dat er een (commerciële) organisatie is die (veel) energie gaat steken in een systeem dat valt in de categorie hoog risico. En zeker niet in een rechtsprekend systeem.

Kortom, er gebeurt veel, maar er moet ook nog heel veel gebeuren, alvorens AI-systemen in het recht een rol gaan spelen.

5 Slot

Dit geschreven hebbend kom ik aan het einde van mijn betoog. Een betoog dat maar weer eens duidelijk maakt dat het vakgebied van recht & technologie al jaren heel spannend is en dat waarschijnlijk altijd zal blijven. De technologie blijft het recht uitdagen. Zeker nu de bronnen van recht steeds digitaler worden. Digitaal betekent echter nog niet dat de juridische informatiehuishouding op orde is. Dat is nog lang niet het geval. En we weten inmiddels dat wanneer we rommel in een systeem stoppen, er ook weer rommel uit komt. Wat dat betreft is het jammer dat Frans Rikhof achter de geraniums gaat zitten, want hij had wellicht nog een goede bijdrage kunnen leveren aan een verbetering ervan.

Een goede informatiehuishouding zou overigens ook nog niet betekend hebben dat de remmen los kunnen, dat we computers kunnen laten rechtspreken. Daarvoor is de software nog te dom, zijn de AI-systemen nog te rudimentair en is het vak van rechter te complex om aan machines over te laten. Natuurlijk, in de toekomst zullen we meer en meer software inzetten ter ondersteuning van de rechtspraak, maar dat is wat het is, ‘ondersteuning’. Net zoals Word een ondersteuning is. De toekomst ligt meer in een optimale samenwerking tussen de rechtsprekende mens en de machine.^[17]

En dan terugkomend op de in 1991 door Jaap van den Herik getrokken conclusies in zijn oratie met de intrigerende titel ‘Kunnen computers rechtspreken?^[18]’; deze waren:

Conclusies

Betekent dit alles nu dat ik de vraag bevestigend beantwoord? Ja zeker, en stellig in beginsel – over de tijd tot een verwezenlijking laat ik mij hier niet uit.

Hieronder vat ik mijn conclusies kort samen.

• Ja, computers kunnen rechtspreken over toegewezen deelgebieden van het recht.
• Het recht is zeer gespecialiseerd en computers kunnen zich specialiseren.
• Na drie maanden feilloos advies is de computer de rechter, wat zij er ook beiden van vinden.
• De rechtsprekende computer is synoniem met rechtszekerheid en rechtsgelijkheid.

En in 2022, ruim 30 jaar later, antwoord ik op de vraag of computers kunnen rechtspreken:

• Nee, zelfs de kleinste toegewezen rechtsgebieden zijn nog te complex voor een computer om te begrijpen, laat staan dat de computer daar als rechter een oordeel over kan vellen
• Nee, het recht is te gespecialiseerd en vooral ook teveel met alles wat er in de maatschappij gebeurt, verweven om de taak van rechter door een computer te kunnen laten uitvoeren
• Nee, na ruim 30 jaar (waarschijnlijk) gebrekkig advies is men niet in staat geweest een computer de taak van een rechter te laten overnemen
• Nee, de computer kan weliswaar leiden tot meer rechtszekerheid en rechtsgelijkheid, maar helaas ook tot onrechtvaardigheid.

Natuurlijk hoop ik als IT & Recht-mens stiekem dat de toekomst anders zal uitwijzen, maar ik ben daar niet optimistisch over. Maar ik nodig Frans Rikhof en alle lezers van dit liber amicorum graag uit over 30 jaar een nieuw rijtje conclusies toe te voegen.

6 Eindnoten