In een periode van groeiende argwaan tegenover het vermogen van digitale technologie en ‘techbedrijven’, ambieert de rechterlijke macht een stap verder te zetten dan het enkele digitaliseren van werkprocessen bij het afhandelen van zaken. Een ‘robotrechter’ voor de afdoening van grote hoeveelheden standaardzaken lijkt aanstaande. Te midden van alle aandacht voor en discussie over een volledige geautomatiseerde rechtsgang lijkt te worden vergeten dat artificiële intelligentie (AI) de rechtspraak zoveel meer heeft te bieden. In deze bijdrage wordt daarvan een schets gegeven. Beschreven wordt ook dat deze toepassingen op gespannen voet kunnen staan met uitgangspunten, tradities en soms ook kernwaarden van rechtspraak en allerlei risico’s en dilemma’s met zich meebrengen. Voor de omgang hiermee wordt een voorzet voor een kompas gegeven.[1]
1 Inleiding
Op de recente Dag voor de Rechtspraak, eind september, presenteerde de voorzitter van de Raad voor de rechtspraak het plan voor een digitale ‘verstekkenfabriek’. Bakker: ‘Rechters houden inmiddels toezicht op zo’n 400 000 bewindzaken. In het overgrote deel van de zaken gebeuren er geen gekke dingen en kan een handtekening zo worden gezet. Dat moeten we perfect organiseren en automatiseren, zodat er tijd vrij komt voor de zaken waarbij geld een flinke bron van conflict is. Betekent dat de verstekkenfabriek? Ja, durf ik best te zeggen: dit betekent in zaken die zich daarvoor lenen in hoge mate geautomatiseerde afdoening. Laten we dit voor de grap maar de robotrechter noemen. Geautomatiseerde afdoening schept tijd en ruimte voor rechters om zich met die zaken bezig te kunnen houden die dat nodig hebben.’
De Rechtspraak is zeker niet de eerste organisatie die kiest voor een robot-variant van de professional van vlees en bloed. Meer en meer diensten in onze samenleving worden op geautomatiseerde wijze afgehandeld. Daarbij speelt de digitale analyse van grote hoeveelheden gegevens een belangrijke rol. Ook de rechtspraak ambieert nu dus de afdoening van bepaalde zaken te automatiseren en voor ingewijden zal deze stap wellicht niet als een verrassing komen. Wie de berichtgeving over de inzet van geautomatiseerde data-analyse in de gaten hield, kan het niet zijn ontgaan dat deze vorm van digitalisering ook in de rechtspraktijk steeds meer op de agenda staat. Evenals dat in de financiële sector, het taxivervoer of de gezondheidszorg het geval is, zijn binnen het domein van de rechtspleging nieuwe diensten en aanbieders in opkomst. Een rondgang op het internet toont een groeiend aanbod aan van, al dan niet commerciële, applicaties die juridisch advies leveren op basis van een relatief simpele zoekopdracht. Evenals in andere sectoren lopen ook hier de Verenigde Staten voorop. Al langer worden daar initiatieven ontplooid om onderdelen van juridische procedures af te handelen dan wel te ondersteunen met behulp van digitale data-analyse.[2] Zo worden diensten aangeboden via ravellaw.com, legalzoom.com, lawgeex.com en diverse andere (al dan niet commerciële) partijen. Ook in ons land betreden aanbieders van dergelijke diensten de juridische markt.[3] Niet verrassend komt met deze ontwikkelingen ook de veel eerder al gestelde vraag op tafel of computers kunnen rechtspreken. Wat betreft de recente stappen kreeg het onderzoek onder leiding van de Amerikaanse hoogleraar Daniel Martin Katz bredere bekendheid. Zijn team weet inmiddels met een accuraatheid van ruim 70% de uitspraken van de Amerikaanse Supreme Court te voorspellen, enkel op basis van geautomatiseerde dataanalyse van diverse gecombineerde datasets.[4] Ander onderzoek claimde met 79% accuraatheid de uitspraken van het EHRM te voorspellen.[5]
Te midden van alle aandacht voor digitale hulprechters en rechtsprekende robots gaat er relatief weinig belangstelling uit naar de meerwaarde van slimme software voor andere onderdelen van de rechtspraak. Te denken valt niet alleen aan toepassingen voor de optimalisatie van werkprocessen, maar ook aan het ontwaren van patronen in zaken waarin hoger beroep wordt ingesteld. Als voorbeeld valt ook te wijzen op de inzet van slimme software waarmee in grote hoeveelheden individuele zaken bredere ontwikkelingen in de samenleving zijn te ontwaren. In dit artikel willen we juist deze en andere mogelijkheden verkennen nu wij daar op de kortere termijn meer van verwachten dan systemen die rechtszaken feitelijk zullen afdoen. Onze verwachting is mede ingegeven vanuit de overtuiging dat er nog enorme stappen zijn te zetten wil de volledig geautomatiseerde afdoening van zaken (= volledig geautomatiseerde oordeelsvorming en motivering door een robotrechter) voldoen aan de kernwaarden waar de rechtspraak voor staat. In die zin sluiten we ons aan bij Van Ettekoven en Marseille in hun preadvies voor de NJV: ‘Toepassing van AI in het recht leidt tot door rechters te beoordelen geschillen. Maar rechters zullen ook zelf AI inzetten. De vraag is niet of dit zal gebeuren, maar in welk tempo en voor welke doeleinden. Voor de rechtspraak moet het primaire doel van verdere digitalisering zijn het verhogen van de kwaliteit van de rechtspraak: eenvoudiger, sneller en toegankelijker.’[6] Kortom, deze bijdrage gaat niet over de robotrechter en de mogelijke gevolgen van deze stap (niet alleen vanuit de inzet van de robot zelf, maar ook vanuit de implicaties voor het handelen van de rechter van vlees en bloed, bijvoorbeeld het risico dat rechters in mede door robots afgehandelde zaken hun professionele intuïtie kwijtraken vanwege gebrek aan ‘oefening’). We schetsen juist de andere mogelijkheden die er liggen.
Alvorens af te trappen met een korte schets van de techniek van AI (we spreken in deze bijdrage van Artificiële Intelligentie, kortweg AI), nog het volgende. Ook wanneer de rechtspraak de kansen van AI enthousiast omarmt, dan nog zullen de toepassingen niet morgen al grootschalig zijn in te voeren.[7] Energie zal gestoken moeten worden in het toevoegen van metadata aan data en datasets om deze aan elkaar te linken en doorzoekbaar te maken. Met de invoering van KEI worden natuurlijk al veel gegevens en dossiers op een eenduidige wijze gestructureerd. Maar allerhande andere datasets zijn niet dan wel niet op dezelfde wijze gestructureerd. Dat betekent dat de verschillende bronnen als het ware een verschillende taal spreken en dus lang niet altijd eenvoudig met elkaar zijn te verbinden.[8] Ook zal helder moeten worden ‘van wie’ gegevensbestanden binnen de rechtspraak nu precies zijn. Met andere woorden, hebben de individuele gerechten het voor het zeggen als het om hergebruik van ‘hun’ gegevens en dossiers gaat of zijn de voorhanden data bij wijze van spreken met een simpele druk op de knop bijeen te brengen? Maar wie precies mag dan op die knop drukken? Het duurt dus nog wel even alvorens AI grootschalig binnen de rechtspraak ‘uitgerold’ kan worden.
Juist nu keuzes dus niet op stel en sprong gemaakt hoeven te worden, is het van belang te reflecteren op de mogelijkheden, risico’s en dilemma’s die er naast de inzet van de robotrechter zijn (par. 3). Voor een goede reflectie is een kompas nodig dat de rechtspraak in de discussie over AI wil hanteren (par. 4). Dit kompas zal gevoed moeten worden door onder meer de beginselen voor behoorlijke rechtspleging, kernwaarden van de rechtspraak en criteria die specifiek verband houden met de inzet van slimme data-analyse, zoals de noodzaak van transparantie. We starten echter allereerst met een korte uitleg van AI.
2 AI in kort bestek
Het combineren van grote hoeveelheden informatie en het gebruik van algoritmes om deze informatie op een slimme wijze te analyseren maakt het mogelijk om verbanden in de gecombineerde informatie te ontwaren en daarmee nieuwe inzichten en kennis te verwerven. We kennen vrijwel allemaal de toepassingen van AI door Amazon.com, iTunes en andere aanbieders van digitale diensten (‘mensen met dezelfde interesse bestelden ook…’).[9] Om de implicaties van AI te duiden, is het goed een onderscheid te maken tussen drie typen toepassingen. Ten eerste kan de inzet van AI helpen bij het beschrijven van processen of handelswijzen. Zo vallen uit de combinatie van enorme hoeveelheden gegevens patronen in het koopgedrag van allerhande typen consumenten in beeld te brengen. Ten tweede valt aan de hand van de inzichten die AI oplevert het verwachte handelen van actoren of de implicaties van hun keuzes te voorspellen. Te denken valt aan het inzichtelijk maken van te verwachten effecten van een aanpassing in de dienstregeling van de NS, maar ook een aanpassing in wetgeving of beleid. Ten derde kan op het verwachte handelen worden ingespeeld met beleid of acties om zo dat handelen vooraf te beïnvloeden. Als voorbeeld valt hier te wijzen op de ‘No Fly List’ die de Amerikaanse overheid hanteert om bepaalde personen de toegang tot vluchten te weigeren, maar illustratief is ook de pilot van verzekeraar Achmea om klanten een premiekorting te bieden als ze gegevens over hun rijgedrag aanleveren via een kastje dat bestuurders in de auto kunnen plaatsen.[10]
De opmars van AI hangt nauw samen met de toenemende digitalisering van onze samenleving. Vrijwel alles wat los en vast zit kent een digitale component en genereert daarmee data. De smartphone is vast onderdeel van ons dagelijks doen en laten en levert daarmee een schat aan informatie op over ons gedrag, onze voorkeuren, onze sociale status en context, enz. Kortom, we genereren als samenleving heel veel data, die vallen te benutten voor (her)gebruik, waaronder hergebruik via AI-toepassingen.[11]
Ook de rechtspraak digitaliseert en daarmee geldt het voorgaande in potentie evenzeer voor de rechterlijke macht. Het meest prominente voorbeeld van de digitaliseringsslag is het programma Kwaliteit en Innovatie rechtspraak (KEI). Op termijn voert de rechter ook het toezicht op het werk van de curator en de bewindvoerder bij faillissementen, schuldsanering en beschermingsbewind digitaal uit. Op dit moment kunnen curatoren bij vrijwel alle rechtbanken digitaal informatie over faillissementszaken uitwisselen met de rechter-commissaris. Met deze initiatieven wordt de informatiehuishouding van de rechtspraak omvangrijker en rijker. En daarmee is grondstof voor slimme data-analyse voorhanden. Dat legt concreet de vraag op tafel wat de rechtspraak ambieert met alle digitaal beschikbare dossiers en (persoons)gegevens. Zoals wij zullen laten zien, gaat het daarbij over heel wat meer mogelijkheden dan de robotcomputer alleen.
Alvorens die mogelijkheden te bespreken, nog het volgende. Zoals we hierna onder meer zullen zien, zetten ketenpartners van de rechtspraak (advocatuur, politie, fiscale dienstverlening) duidelijke stappen met de inzet van slimme data-analyse. Waar aan de orde, zullen we kort bij deze stappen stilstaan. Hier merken we op dat de rechterlijke macht er in ieder geval rekening mee moet houden dat ketenpartners hun pleidooien zullen verrijken met inzichten en informatie verkregen via slimme data-analyse (en daartoe ook in het buitenland – lees: de VS – zullen shoppen). Voor rechters betekent dit dat het verschil tussen wat partijen aanvoeren dan slechts valt te begrijpen door heel precieze analyse van de vraagstelling en wellicht eerdere analyses. De rechter moet – in het besef dat de kwaliteit van dergelijke pleidooien in termen van precisie (= herhaalbaarheid) groter wordt – nog meer dan voorheen zelf kunnen oordelen wat in de betreffende zaak accuraat is en op welke door de computer gegenereerde argumentatie hij zal kunnen vertrouwen. Dat geldt des te meer nu verwacht mag worden dat bepaalde procespartijen (grote commerciële bedrijven, zoals verzekeraars en multinationals) meer middelen zullen hebben om hun pleidooi te doen steunen op de uitkomsten van geavanceerde data-analyse dan kleinere partijen (consumenten, MKB). Met andere woorden, ook indien de rechterlijke macht de hierna door ons geschetste mogelijkheden (nog) niet omarmt, betekent het dat ze slimme data-analyse absoluut zal moeten aanvaarden als een vanzelfsprekende en onvermijdelijke ontwikkeling. En het betekent dat het de hoogste tijd is dat rechters de sterkte en zwakte, alsmede de gevaren en de mogelijkheden ervan moeten onderkennen.
3 Mogelijkheden en dilemma’s
Nadenkend over andere AI-toepassingen dan ‘de rechtsprekende computer’, komt een variëteit aan mogelijkheden in beeld. Hierna bespreken we deze (par. 3.1), maar staan we ook stil bij de dilemma’s en mogelijke risico’s die ze oproepen (par. 3.2.). Bij de beoordeling daarvan is het overigens van belang het oogmerk van de toepassing goed voor ogen te houden. Applicaties ten behoeve van de bedrijfsvoering zijn immers van een andere orde dan waar het gaat om de inzet van AI voor het verder versterken van de kwaliteit van de rechterlijke oordeelsvorming. Onderscheid is er ook tussen toepassingen die het werk van de individuele rechter ondersteunen en applicaties die dienstbaar zijn aan de rechtspleging in het algemeen.
Het voorgaande onderscheid impliceert dat een oordeel over de kansen, risico’s en dilemma’s die de inzet van AI met zich meebrengt nooit generiek kan zijn, maar telkens bezien moet worden vanuit in ieder geval ook het oogmerk van deze inzet. Onderstaand maken we bij het signaleren van zowel mogelijkheden als risico’s en dilemma’s daarom een onderscheid tussen een viertal niveaus: de bedrijfsvoering, de individuele rechter c.q. zaak, de rechtspraak geabstraheerd van een concrete zaak, de samenleving. We benadrukken daarbij dat we met de mogelijkheden die we suggereren niet meer dan een schets willen bieden van wat er zoal mogelijk is. Zonder daarmee overigens te willen zeggen dat deze toepassingen ook daadwerkelijk geïntroduceerd moeten worden. De daadwerkelijke keuze voor het al dan niet benutten van de mogelijkheden zal uiteindelijk onder meer afhangen van het verder doordenken van het ‘kompas’ dat we in par. 4 introduceren.
3.1 Mogelijkheden
Bij de mogelijkheden die AI de bedrijfsvoering biedt zullen de gedachten primair uitgaan naar efficiencywinst. Maar de mogelijkheden gaan duidelijk verder. Vanuit bedrijfsorganisatorisch perspectief bieden AI en bijbehorende technieken (zoals visualisatie- en opslagtechnieken) allereerst mogelijkheden voor het verzamelen van meer inzicht in en kennis over de organisatie. Daarbij gaat het niet alleen om het inzichtelijker maken van processen en prestaties. Ook faciliteert het de rechterlijke organisatie bij het ‘meten’ of, en in hoeverre, wordt voldaan aan de eigen kwaliteitseisen en standaarden voor de werkprocessen. Te denken valt bijvoorbeeld aan doorlooptijden: welke patronen vallen te ontwaren wanneer de analyse wordt uitgevoerd op de vraag: ‘welke rechters zaten op welk type zaken met welke doorlooptijden?’ Ten behoeve van de discussie over en verantwoording van doorlooptijden zou zo inzichtelijker kunnen worden waar, wanneer en waarom procedures vertraging oplopen. Bovendien kan de analyse over een groot aantal jaren worden uitgevoerd en zijn ontwikkelingen door de tijd heen in beeld te brengen. Aan de hand van verkregen inzichten is ‘aan de poort’ te selecteren welke zaken zich zouden kunnen lenen voor een meer standaardafhandeling en welke (gegeven mogelijk te verwachten implicaties) juist niet. Dit kan potentieel de werkdruk verlagen, of althans als voordeel hebben dat expertise en ervaring doelgerichter worden ingezet. En daarmee kan het als voordeel hebben dat middelen gerichter worden benut.
Heel anders is het als inzichten verkregen met behulp van AI worden ingezet bij het ondersteunen van rechters in hun oordeelsvorming (het tweede niveau dat we onderscheiden). Zo zijn vonnissen en arresten – en onder bepaalde voorwaarden ook informatie vanuit lopende zaken – met elkaar te vergelijken. Aldus valt een beeld te krijgen waar de overeenkomsten, maar ook waar de verschillen tussen zaken zitten. In potentie kan in gelijke gevallen beter gelijk worden geoordeeld (of ongelijke gevallen beter ongelijk), wat kan bijdragen aan rechtseenheid en rechtvaardigheid. Ook maakt AI het voor rechters eenvoudiger om kenmerkende elementen van zaken waarin eerder werd geoordeeld met elkaar in verband te brengen. De nieuwe kennis en inzichten die dit oplevert zijn vervolgens weer te benutten voor het ondersteunen van de eigen oordeelsvorming. En voor de bewijsvoering geldt bijvoorbeeld dat beter inzichtelijk valt te maken, maar ook beter kan worden ontkracht, of er aantoonbare verschillen in ogenschijnlijk vergelijkbare zaken zijn. Ten slotte valt te denken aan de inzet van AI in reactie op bepaalde (al dan niet hardnekkige) denkbeelden, binnen dan wel buiten de rechtspraak. Ter illustratie kan dienen het ‘toetsen’ van een gepercipieerd beeld als ‘het blijkt voor rechters nog steeds lastig om verdachten uit het eigen milieu te straffen’. Met AI vallen dergelijke beelden beter te ontkrachten maar ook bloot te leggen.
Behalve faciliterend bij de rechterlijke oordeelsvorming op het niveau van een individuele zaak, kan AI ook geabstraheerd van concrete zaken het inzicht in de rechtstoepassing verbeteren en verrijken. Zo kan het ondersteunend zijn bij de keuze in welke zaken wel of juist niet ruimte zit voor (meer) standaardvonnissen. Dit kan weer bijdragen aan de verdere versterking van de rechtszekerheid voor burgers, die immers op basis van voorspelbaarheid beter weten c.q. kunnen inschatten waar zij aan toe zijn. Ook kan door het combineren van verschillende datasets inzichtelijk worden welke factoren de hoogte van de strafmaat, boetes of de vormgeving van het boetestelsel bepalen. Te denken valt op het terrein van het bestuurs- en strafrecht aan het combineren en analyseren van gegevensbestanden met respectievelijk teksten van wetten, opgelegde boetes in een grote hoeveelheid aan zaken, beleidsafspraken (rechterlijke oriëntatiepunten straftoemeting; beleidsregels) en toelichtende documenten.12 Bij het civiele recht kan met behulp van AI inzichtelijker worden in welk type zaken (welke gerechten; waarom) er al dan niet wordt afgeweken van de door de Letselschaderaad opgestelde richtlijnen voor het vergoeden van verschillende schadeposten. Ook biedt het kansen voor de al langer bepleite analyse van de oorzaken voor de lange doorlooptijden in civiele procedures.[13]
Verder valt via slimme analyse van grote hoeveelheden jurisprudentie te kijken naar de doorwerking van uitspraken. Hoe vaak worden uitspraken in de literatuur genoemd? Wat is het aantal verwijzingen over en weer in vonnissen? In hoeverre en op welke terreinen is rechtspraak aanleiding tot aanpassing van wetgeving en welke tendensen vallen daarin over de tijd heen waar te nemen? We noemen ook de mogelijkheid tot meer inzicht in het bestaan en de toepassing van rechtersregelingen, bijvoorbeeld doordat uitspraken worden doorzocht wanneer (en op grond waarvan) rechters een bepaalde regeling toepassen. Of juist buiten toepassing verklaren.[14] Ook de externe afstemming tussen OM en de rechterlijke macht via beleidsafspraken valt via AI te analyseren vanuit vragen als: ‘Dragen deze afspraken inderdaad bij aan een meer efficiënte strafrechtsketen?’, ‘Welke rol spelen lokale behoeften bij het vaststellen van de beleidsafspraken?’ en ‘Wat is de invloed van de afspraken op de rolopvatting en taakvervulling van officieren van justitie bij vervolgingsen afdoeningsbeslissingen?’[15] Overigens bestaan er al applicaties die met dit type vragen aan de slag gaan. Maar deze worden aangeboden door andere partijen dan de Rechtspraak, zoals Rodeo van online dienstverlener Datagraver. Met behulp van netwerkanalyse biedt deze applicatie inzicht in samenhangende zaken en daarmee de relevantie van zaken wat betreft hun onderlinge verbondenheid.[16]
Het combineren en analyseren van grote aantallen uitspraken biedt verder mogelijkheden tot inzicht in het rechterlijk redeneren. Een moderne vorm van zelfonderzoek zouden we het kunnen noemen. Geëquipeerd met deze kennis zijn vervolgens stappen te zetten in het verder verwezenlijken van de eigen kernwaarden (onpartijdigheid, onafhankelijkheid, transparantie en integriteit). En dat draagt weer bij aan de legitimiteit van de rechterlijke oordeelsvorming. Met behulp van AI valt bijvoorbeeld de transparantie te dienen als vanuit de combinatie van grote hoeveelheden zaken (analyserend op type zaken, over een langere periode, onderscheidend naar verschillende gerechten en kamers, 1e aanleg-hoger beroep) meer inzicht wordt verkregen in de manier waarop beslissingen worden gemotiveerd en de overwegingen die daarbij worden gehanteerd (veelvuldig worden gehanteerd, opvallend vaak ontbreken, enz.).
Ook voor doeleinden buiten de rechtspraak zelf valt op een metaniveau – geanonimiseerd – het nodige te doen. We komen dan op het laatste niveau van toepassing dat valt te onderscheiden: ontsluiting van uit data-analyse gegenereerde kennis die ten goede komt aan de samenleving en als basis kan dienen voor een geïnformeerde maatschappelijke dan wel politieke agendering van bepaalde ontwikkelingen. Vele jaren geleden al riep de voormalig president van de Algemene Rekenkamer, Stuiveling, de rechterlijke macht op ‘transparantie te geven over hoe het probleem van de samenleving zich aan u voordoet (…) het signaleren bij de wetgever van uw systematisch verzamelde praktijkervaringen’.[17] Met andere woorden ‘is er maatschappelijk iets gaande?’ Maar er valt niet alleen meer inzicht te verkrijgen in ontwikkelingen in de samenleving. Data-analyse kan tevens patronen ontwaren in het functioneren van het openbaar bestuur of het OM. Eerder wees een van ons al op de mogelijkheden om via analyse van digitale dossiers van straf- en belastingkamers meer zicht te krijgen op het beleid en de wetshandhaving door het OM c.q. door heffende gemeenten en de rijksbelastingdienst.[18] Verder valt in dit verband te denken aan de inzichten die het werk van de Rechtspraak genereert binnen de andere taak, die van het toezicht (bewind, faillissement en surseance). Kort gezegd, met de inzet van AI zou de rechtspraak in tal van opzichten meer kunnen kapitaliseren op doorsnijdende waarnemingen.
Als het aankomt op data-analyse met het oog op inzicht in de kwaliteit van het openbaar bestuur, komt natuurlijk ook de bijzondere informatiepositie van de Raad van State in beeld. De Raad is niet alleen de hoogste algemene bestuursrechter, maar heeft ook een adviseringstaak. Als er dan ook ergens latent kennis aanwezig is over ontwikkelingen binnen het openbaar bestuur dan wel de kwaliteit van dat bestuur, dan is het wel bij de Afdeling Rechtspraak. Tot nu toe is deze kennis niet of nauwelijks ontsloten omdat de Afdeling primair zaaksgericht bezig is en er vrijwel geen terugkoppeling plaatsvindt naar de adviseringstaak. In principe zijn op basis van analyses ontwikkelingen in het openbaar bestuur te voorspellen. Wat de positie van de Raad van State daarbij nog bijzonder maakt – althans ten opzichte van de Hoge Raad – is dat de Raad van State feitenrechter en in sommige zaken ook rechter in eerste instantie is. Bovendien worden er jaarlijks zo’n 15 000 zaken afgehandeld, wat meerwaarde heeft vanuit overwegingen als representativiteit van de uitkomsten. Een ieder kan zich een voorstelling maken van de potentieel interessante inzichten als dergelijke analyses worden toegepast op de wijze waarop de verschillende gemeenten in ons land met bestemmingsplannen omgaan.[19]
Wij beseffen terdege dat toepassingen die de doorwerking van uitspraken in niet alleen het juridisch domein, maar ook breder – de doorwerking in en voor de maatschappij – inzichtelijk maken, het debat agenderen over de rol van de rechtspraak. Ook een potentiële spanning binnen de trias valt niet te veronachtzamen. Maar, als dergelijke kansen voor het oprapen lijken te liggen, om welke redenen zouden ze dan toch niet benut moeten worden? Als aanzet voor het debat over deze en andere vragen schetsen we enkele risico’s en dilemma’s.
3.2 Dilemma’s
Bij de risico’s, dilemma’s en vele vragen die aan de inzet van AI zijn verbonden gaat het zowel om specifieke kwesties die kunnen spelen in de rechtspraak, als meer algemene risico’s en dilemma’s. Om met deze laatste groep te beginnen: zorgen zijn er over een samenleving waarin scoringscriteria, geautomatiseerde analyses en zelflerende systemen leidend zullen zijn bij het oordeel over kwesties als kredietwaardigheid voor leningen, verzekerbaarheid voor arbeidsongeschiktheid, risico op frauduleus handelen, succesvol functioneren onder bepaalde werkomstandigheden of aanleg voor risicogedrag of ziekten. Concreet: consumenten wonend in postcodegebied A met etnische afkomst B hebben een sterke voorkeur voor product C. Kinderen die scoren op criteria E, F & G lopen meer risico in de criminaliteit te belanden dan kinderen die hier niet op scoren. Individuen met leefpatroon X, leeftijdscategorie Y en sociale achtergrond Z lopen meer risico op arbeidsongeschiktheid ten gevolge van ziekte N.[20]
Eigen aan AI is dat het werkt op basis van correlaties en waarschijnlijkheden, waarbij de analyses worden gebaseerd op geselecteerde criteria en aannames en bovendien foutmarges worden geaccepteerd. Die criteria en foutmarges beïnvloeden natuurlijk de uitkomst. Geven de gevonden correlaties dan een representatief beeld? Of zit er vanwege de gehanteerde aannames en gemaakte keuzes een vertekening in? Problematisch is hierbij dat de voor scoring en profilering gehanteerde criteria en toegepaste foutmarges veelal uitsluitend bekend zijn bij degenen die ze toepassen. Transparantie over de gehanteerde criteria en marges, de parameters en analytische inzichten, alsmede de methodologische verantwoording daarvan, wordt zelden geboden. Bovendien blijken de voor de scoring gebruikte persoonsgegevens niet altijd accuraat. Gegevensbestanden blijken bijvoorbeeld lang niet altijd ‘up- todata’ en bij gebruik in een geheel andere context dan waarin ze oorspronkelijk werden verzameld onvoldoende betrouwbaar.[21] Problematisch is tevens dat binnen maatschappelijke en sociale verhoudingen universele correlaties[22] niet, dan wel nauwelijks, te leggen zijn (in tegenstelling tot correlaties binnen de fysica). Dit betekent dat een voorspelling die op basis van een bepaalde correlatie is gedaan, onherroepelijk een bepaalde foutmarge kent. Zelden echter worden resultaten van geautomatiseerde scoring via menselijke interventie op hun betrouwbaarheid gecontroleerd. Al met al ligt het risico van ondoorzichtig, willekeurig en onjuist oordelen over anderen op de loer. Belangrijk is bovendien dat een correlatie nog niet betekent dat er ook daadwerkelijk een causale relatie te leggen valt. Met andere woorden, patronen en verbanden die aan de hand van data-analyse zichtbaar worden, bieden geen zekerheid wat betreft de voorspelde ontwikkeling of het te verwachten gedrag. Juist in het licht van deze kenmerken, is het belangrijk dat de Raad van State voorjaar 2017 criteria formuleerde voor de inzet van geautomatiseerde data-analyse door de overheid.[23] Ter voorkoming van een ongelijkwaardige procespositie, aldus de ABRvS, rust in het geval van geautomatiseerde data-analyse op de overheid de verplichting: ‘om de gemaakte keuzes en de gebruikte gegevens en aannames volledig, tijdig en uit eigen beweging openbaar te maken op een passende wijze zodat deze keuzes, gegevens en aannames voor derden toegankelijk zijn. Deze volledige, tijdige en adequate beschikbaarstelling moet het mogelijk maken de gemaakte keuzes en de gebruikte gegevens en aannames te beoordelen of te laten beoordelen en zo nodig gemotiveerd te betwisten, zodat reële rechtsbescherming tegen besluiten die op deze keuzes, gegevens en aannames zijn gebaseerd mogelijk is, waarbij de rechter aan de hand hiervan in staat is de rechtmatigheid van deze besluiten te toetsen.’[24]
Kijkend naar de hiervoor geschetste zorgen, is het duidelijk dat de toepassing van AI binnen de rechtspraak behalve kansen ook de nodige risico’s en dilemma’s met zich meebrengt. Waar, bijvoorbeeld, liggen grenzen wanneer externe partijen grootschalig gebruik maken van informatie die de rechtspraak openbaar maakt? De uitspraken die via rechtspraak.nl voor het brede publiek beschikbaar zijn, vormen slechts een klein deel van alle vonnissen en arresten die worden gewezen. Dat betekent dat applicaties die bij de data-analyse gebruik maken van online beschikbare uitspraken sowieso geen representatief beeld zullen geven. Moet de rechterlijke macht zich hierbij neerleggen of noodzaakt het tot publicatie van alle uitspraken? De laatste optie zorgt natuurlijk ook weer voor de nodige uitdagingen (daartoe benodigde middelen, enz.). Bij gegevensgebruik door externe partijen valt ook te denken aan applicaties die gebruik maken van de namen van de zittende rechters die zijn af te leiden uit gepubliceerde vonnissen of de nevenfuncties van rechters.[25] Bovendien behoeft het slim combineren en analyseren van verschillende databronnen niet beperkt te zijn tot informatie afkomstig van de rechtspraak. Combinaties zijn ook te maken met informatie over rechters in andere hoedanigheden (consument, burger).
Als externe partijen de gegevens en dossiers afkomstig van de Rechtspraak gebruiken,[26] roept dat direct de nodige vragen op. Die gaan over welbekende kwesties als privacybescherming, zeggenschap over gegevens en verantwoordelijkheid daarvoor (bijvoorbeeld voor de juistheid van de gegevens en daarmee de kwaliteit van de data). Maar diverse vragen raken ook aan het beleid van de Rechtspraak voor het verstrekken van informatie. Zoals geschetst, biedt het combineren en analyseren van verschillende datasets nieuwe inzichten in patronen in rechterlijke uitspraken, in de redenering en oordeelsvorming door de rechter en valt ogenschijnlijk iets te zeggen over ‘type’ rechters. Over de betrouwbaarheid van dergelijke inzichten doen we hier geen uitspraken. Het punt dat we benadrukken is dat de buitenwereld sowieso voor allerhande toepassingen met informatie afkomstig van de rechtspraak aan de slag gaat. Wat betekent dit voor de keuzes die de rechtspraak maakt inzake het wel of niet beschikbaar stellen van deze informatie? In ieder geval valt het niet aan de buitenwereld te ‘verkopen’ allerhande informatie dan maar niet langer openbaar te maken.
Bovendien, de rechtspraak heeft geen monopolie op diverse data-sets die zijn te benutten voor de geschetste analyses. En wanneer ‘de buitenwereld’ een procespartij dan wel diens vertegenwoordiger is, zal het dossier sowieso verstrekt moeten worden. De optelsom van vele – met KEI nu digitaal beschikbare – dossiers biedt bepaalde kantoren dus een rijke bron om bepaalde type zaken nog eens nader te analyseren. Wat de ontwikkeling in ieder geval toont is dat de rechtspraak veel meer dan nu het geval is, systematisch aandacht moet hebben voor de vraag wat wel en wat niet aan de buitenwereld (online) beschikbaar wordt gesteld. Dat geldt op korte termijn voor de uitspraken die via rechtspraak.nl beschikbaar komen.
Vragen en dilemma’s houden ook verband met de hiervoor al besproken beperkingen die inherent zijn aan de techniek van AI zelf: het analyseproces, de geselecteerde criteria en gehanteerde algoritmes zijn veelal onvoldoende transparant. Dit geldt zeker voor systemen die met ‘zelflerende algoritmes’ werken. Eenvoudiger geformuleerd: hoe een AI-toepassing precies tot een uitkomst komt en hoe die uitkomst moet worden gewogen is lang niet altijd navolgbaar. En deze uitkomst is dus voor mensen (rechters) veelal niet te reproduceren.
Alhoewel van een andere orde, maar toch hiermee samenhangend, is het gebrek aan kennis binnen de Rechtspraak over het implementeren, onderhouden en gebruiken van de gebruikte systemen en algoritmen. En wie beheert de systemen? Wie archiveert de keuzes die zijn gemaakt? Gebruikers van de systemen moeten (ook op de langere termijn) op de hoogte (kunnen) zijn welke informatie, en misschien juist welke niet, uit de systemen te halen is (was) en hoe deze geïnterpreteerd moet worden (werd). Maar bij AI lijkt het realiseren van deze ambitie verre van eenvoudig.
Nadenkend over dilemma’s zal de rechterlijke macht het gesprek ten slotte ook moeten aangaan over: ‘vragen die niet (nu niet of nooit) aan het systeem gesteld mogen worden’. Kortom, welke inzichten wil de rechtspraak simpelweg niet met behulp van AI genereren? Als voorbeeld van wat we bedoelen keren we terug naar de rol van geautomatiseerde data-analyse bij het realiseren van de kernwaarden van de rechtspraak. Eerder noemden we in dit verband de mogelijkheid tot het combineren van grote hoeveelheden uitspraken om meer inzicht te krijgen in de manier waarop beslissingen worden gemotiveerd. Aldus kan de transparantie worden versterkt. De gecombineerde uitspraken zijn te analyseren op type zaken, patronen in motivering over een langere periode, onderscheidend naar verschillende gerechten, 1e aanleg-hoger beroep, enz. Maar kernwaarden kunnen natuurlijk ook in het geding komen. Daarvan is sprake als de analyse op patronen in de motivering ook onderscheid zou maken naar het geslacht van rechters op de zaak of hun achtergrond (zoals etniciteit). Dat de daartoe noodzakelijke gegevens niet binnen de Rechtspraak zelf worden geregistreerd, betekent nog niet dat ze niet elders zijn te betrekken. Juist voor een kernwaarde als rechtvaardigheid, maar zeker ook voor het beginsel van fair trial, heeft AI twee gezichten. De techniek kan tonen dat sprake is van discriminatie, zoals het in de volgende paragraaf te noemen voorbeeld van Amerikaans onderzoek waaruit bleek dat gekleurde verdachten c.q. veroordeelden hoger scoren bij een geautomatiseerde inschatting van recidivekans dan blanke. Tegelijkertijd brengt de techniek overduidelijk het risico op discriminatie met zich mee. En dat is des te problematisch nu bij zelflerende AI niet duidelijk is op basis van welke criteria en algoritmen de uitkomst van de analyse is gebaseerd.
4 Op welk kompas te varen?
Het voorgaande laat wat ons betreft geen andere conclusie toe dan dat stilzitten en de ontwikkelingen negeren voor de Rechtspraak geen optie is. Op z’n minst zal men zich moeten verhouden tot de inzet van AI door de ketenpartners.[27] Immers, niet alleen de advocatuur benut de kansen. Ook de politie en de Belastingdienst lijken de toepassingen te omarmen. Het kabinet Rutte II hechtte dan ook aan een voldoende kennisniveau binnen de rechtspraak over de ontwikkelingen van AI en wees in de kabinetsreactie op het WRR-rapport over Big Data expliciet op de rol van de rechtspraak bij de toetsing van AI-applicaties.[28] Het kabinet liet weten de Raad voor de rechtspraak te ‘verzoeken zich te oriënteren op de kennis die nodig zal zijn om rechtszaken te kunnen behandelen waarbij Big Data analyses een rol spelen.’
Op welke kennis heeft de rechtspraak zich dan zoal te oriënteren? Het spreekt voor zich dat het hier in ieder geval gaat om inzicht in de bij AI-toepassingen gehanteerde technieken (variërend van datamining en tekstmining, tot dataprocessing en visualisatie). Deze kennis valt op relatief eenvoudige wijze in huis te halen. Het verwerven van kennis en inzichten om de noodzakelijke keuzes te maken tussen kansen en risico’s, en een daarbij horend afwegingskader, is van een andere orde. Wat als laatste onderdeel van dit artikel daarom volgt, is een aanzet voor een kompas waarop bij het maken van deze keuzes gevaren zou kunnen worden.
Wezenlijk voor de Rechtspraak en dus voor het kompas is de legitimiteit van haar handelen. Wellicht geldt dat wel in het bijzonder wanneer AI wordt toegepast. Zoals bekend, dragen de kernwaarden van de rechtspraak (onafhankelijkheid, onpartijdigheid, integriteit, transparantie en kwaliteit), de beginselen van behoorlijke rechtspleging en professionele standaarden bij aan haar legitimiteit. Duidelijk is dat AI in bepaalde opzichten op gespannen voet staat met diverse kernwaarden. In de voorgaande paragraaf repten we over de problematische kant wat betreft transparantie: het analyseproces, de geselecteerde criteria en gehanteerde algoritmes zijn lang niet altijd voldoende inzichtelijk te krijgen. Maar AI kan de legitimiteit ook dienen. Te denken valt aan de beginselen van fair trial en rechtvaardigheid. Eerder wezen we op de mogelijkheid om met behulp van data-analyse uitspraken met elkaar te vergelijken om een beeld te krijgen waar de overeenkomsten, maar ook waar de verschillen tussen zaken zitten. Dat biedt kansen om in gelijke gevallen beter gelijk te oordelen (of ongelijke gevallen beter ongelijk). Overigens valt AI ook in te zetten om de uitkomsten van AI ‘te ontmaskeren’. Illustratief is het Amerikaanse onderzoek dat een duidelijke bias tussen verschillende bevolkingsgroepen in de scoring aantoonde.[29]
Wezenlijk bij de inzet van AI is ook een zorgvuldig, veilig, integer en transparant gebruik van data en systemen. Aandacht zal er dus in ieder geval moeten zijn voor de privacy van zowel justitiabelen, rechters, medewerkers en anderen van wie persoonsgegevens in procedures worden gebruikt, hergebruikt en beschikbaar komen. Het gebruik van gegevens voor AI-analyse zal conform de Wet bescherming persoonsgegevens en vanaf mei 2018 de Europese Verordening bescherming persoonsgegevens plaats moeten vinden. Verder is het van belang dat duidelijke afspraken worden gemaakt – ook met betrokken partijen zoals (software) leveranciers – over onder meer het eigendom van de algoritmes die bij analyses worden toegepast, over de opslag en vernietiging, over informatieveiligheid, over geheimhouding, integriteit van data en systemen, enz. Ook een adequate archivering is essentieel. Voor archivering bestaat natuurlijk al de nodige aandacht met het verwezenlijken van de KEI-ambities. Tegelijkertijd geldt de noodzaak tot archivering bij AI ook voor de gehanteerde criteria en algoritmen. En dat is een uitdaging op zich, zeker zodra zelflerende systemen worden ingezet. Het proces waarin algoritmen zich aanpassen aan de hand van de terugkoppeling die ze van gebruikers krijgen blijft vooralsnog een ‘black box’. En als niet duidelijk is wat zich binnen de AI-applicatie tijdens dit leerproces afspeelt, blijft ook onduidelijk hoe dit proces conform de geldende criteria valt te archiveren.
5 Conclusie
In een periode van groeiende argwaan tegenover het vermogen van digitale technologie en ‘techbedrijven’, ambieert de rechterlijke macht een stap verder te zetten dan het enkele digitaliseren – binnen KEI – van werkprocessen bij het afhandelen van zaken. Een ‘robotrechter’ voor de afdoening van grote hoeveelheden standaardzaken lijkt aanstaande. Te midden van alle aandacht voor en discussie over een volledige geautomatiseerde rechtsgang lijkt te worden vergeten dat AI de rechtspraak zoveel meer heeft te bieden. In deze bijdrage hebben wij daar een schets van willen geven. Belangrijk daarbij is om goed voor ogen te houden waar de AI-toepassingen voor worden ingezet. Toepassingen binnen de bedrijfsorganisatie roepen immers andere vragen op dan wanneer applicaties worden ontwikkeld ter ondersteuning van de individuele rechterlijke oordeelsvorming. En om weer andere kwesties gaat het als AI wordt toegepast voor het kwaliteitsbeleid van de rechterlijke macht.
Wij erkennen dat de in deze bijdrage geschetste toepassingen op gespannen voet kunnen staan met uitgangspunten, tradities en soms ook kernwaarden van de Rechtspraak. Argwaan zal er bovendien zijn als AI wordt benut om een efficiëntieslag te slaan. Bijvoorbeeld door het in kaart brengen van alle processen die zich afspelen vanaf de aanmelding op de rol tot aan de uiteindelijke uitspraak, om zo knelpunten in die processen te signaleren en beschikbare middelen anders in te zetten. Ook het analyseren van oordelen en gehanteerde overwegingen in eerdere zaken, bijvoorbeeld om meer inzicht te verwerven in overeenkomsten en verschillen tussen verschillende uitspraken van verschillende rechters en kamers, zal door lang niet iedereen warm worden onthaald. Tegelijkertijd mag argwaan en morrelen aan tradities wat ons betreft geen argument zijn om het noodzakelijk debat niet te voeren of te negeren. Bijvoorbeeld het debat vanuit een eventuele meerwaarde van mogelijke toepassingen voor de rechtseenheid en legitimiteit van het oordeel van de rechter. Bovendien willen wij de stelling wel betrekken dat dergelijke inzichten in feite noodzakelijk zijn wil de rechtspraak op een zorgvuldige en weloverwogen wijze de stap naar een robotrechter zetten. Immers met de via data-analyse verkregen inzichten valt ook veel beter vast te stellen welk type zaken zich wel of juist niet voor een standaard, dat wil zeggen geautomatiseerde, afdoening leent.
Effecten zal de komst van AI mogelijk ook hebben voor allerhande administratieve processen en wellicht zelfs de mate van detail van uitspraken. Wie de uitspraken van het EHRM vergelijkt met de Nederlandse uitspraken, ziet bijvoorbeeld dat de eerstgenoemde veel meer tekst bevatten. Onze zeer compacte Nederlandse uitspraken hebben voor geautomatiseerde tekstanalyse heel wat minder te bieden. Zo vallen in strafzaken de bewijsmiddelen niet uit de tekst op te maken, omdat ze niet worden genoteerd tenzij in hoger beroep wordt gegaan. Voorstelbaar is dat er druk op deze handelswijze komt te staan als de buitenwereld gaat verlangen dat deze informatie wel in de tekst wordt opgenomen nu het ontbreken daarvan vanuit AI bezien een gemiste kans is. Maar het noteren van bewijsmiddelen bij (ogenschijnlijk) simpele zaken betekent natuurlijk weer: meer werk.
Verder ontkennen wij niet dat de inzet van AI de nodige risico’s en dilemma’s met zich meebrengt. In tegendeel. AI roept complexe vragen op die raken aan de kernwaarden van de rechtspraak. Wij hebben in deze bijdrage een aantal daarvan in kaart willen brengen. Daarbij hebben we een onderscheid gemaakt tussen kwesties die specifiek zijn voor de rechterlijke macht en kwesties die meer algemeen bij AI spelen, maar waarmee ook de rechtspraak uiteindelijk zal worden geconfronteerd. Voor de omgang met de vragen en dilemma’s hebben wij een voorzet voor een kompas willen geven.
Wat ons betreft zijn er kortom talloze redenen waarom de rechtspraak het debat over AI zou moeten agenderen. En in dat debat moet het vooral over meer dan uitsluitend de robotrechter gaan.
6 Eindnoten
1. Prof. mr. J.E.J. Prins is hoogleraar Recht en Informatisering aan Tilburg University, voorzitter van de WRR en redacteur van het NJB. Mr. J.H.C Van der Roest rondt momenteel zijn master Fiscale economie af aan Tilburg University.
2. Zie hierover onder meer: The New Competition - Emerging Legal Technologies Out of Silicon Valley, The National Law Review, February 16, 2015; 10 predictions about how IBM’s Watson will impact the legal profession, ABA Journal, Paul Lippe, Daniel Martin Katz, October 2, 2014.
3. Bijv.: lexiq.nl en legalloyd.com. Zie ook: Wilem Peter de Ridder, Blog. De toekomst van de juridische dienstverlening. Deel 6 van de serie ‘Disruptie en nieuwe business modellen’, Futurestudies.nl, 17 april 2017.
4. Voor de meest recente resultaten: Daniel Martin Katz, Michael J. Bommarito, Josh Blackman, ‘A general approach for predicting the behavior of the Supreme Court of the United States’, Plos, 12 april 2017.
5. N. Aletras & D. Tsarapatsanis e.a., ‘Predicting judicial decisions of the European Court of Human Rights: a Natural Language Processing perspective’, Peer J Computer Science, 2:e93, 2016.
6. B.J. van Ettekoven, B. Marseille, Afscheid van de klassieke procedure in het bestuursrecht, NJV Preadvies 2016. Zie ook de overige NJV-preadviezen 2016 over de inzet van AI.
7. Zie hierover: J.E.J. Prins & C.M. Aarde, ‘Digitalisering binnen de rechtspraak: van KEI naar Big Data’, RM Themis, 2016-2, p. 70.
8. Over het belang hiervan: M. van Opijnen, Op en in het Web, hoe de toegankelijkheid van rechterlijke uitspraken kan worden verbeterd, Raad voor de Rechtspraak, Den Haag: Boom Juridische uitgevers 2014.
9. AI is een overkoepelende term voor zelflerende computersystemen. We praten dan over ‘narrow AI’, zelflerende systemen die specifieke taken toebedeeld hebben gekregen. Termen die hiermee samenhangen zijn machine learning en deep learning. Deze technieken zien op de manier waarop AI leert. Zie voor een overzichtelijk artikel: Michael Copeland, What’s the Difference Between Artificial Intelligence, Machine Learning, and Deep Learning?, NVIDIA, July 29, 2016.
10. ‘Verzekeraars onderzoeken tot hoever ze gedrag kunnen sturen’, Het Financieele Dagblad, 6 oktober 2015. 11. Zie in meer detail over Big Data het WRR-rapport ‘Big Data in een vrije en veilige samenleving’, Amsterdam: Amsterdam University Press 2016, par. 2.2.
12. Zie over de implicaties op het terrein van het bestuursrecht de te verschijnen bijdrage: B.J. van Ettekoven, ‘Behoorlijke bestuursrechtspraak in het Big data tijdperk’, in: R.J.N. Schlössels e.a. (red.), In het nu…. Over toekomstig bestuursrecht (SteRreeks 35), Deventer: Wolters Kluwer 2018.
13. Zie over het ontbreken van een goede analyse: R.H. de Bock, Grip op kwaliteit, preadvies NJV 2015, p. 96.
14. Vergelijk het eerdere pleidooi tot meer inzicht van Teuben: K. Teuben, Rechtersregelingen in het burgerlijk (proces)recht (diss.), 2004, p. 361.
15. Zie onder meer de vragen die worden geagendeerd door J. Lindeman in Officieren van justitie in de 21st eeuw (diss.) 2017, p. 98.
16. Zie voor het project www.kenedict.com/rodeo/ en voor een introductiefilmpje ‘Rodeo the movie’, Stephan Okhuijsen op YouTube, 7 november 2016.
17. S.J. Stuiveling, Rechtspraaklezing 2009: Transparantie en Rechtspraak, Den Haag.
18. J.E.J. Prins, ‘Big Data en de rechterlijke macht’, NJB 2015/1538, afl. 30, p. 2087.
19. Prins, supra 2015/1538.
20. Zie voor een ‘ludieke’ illustratie de website ‘Heel Holland Transparant’ (een initiatief van De Correspondent, Bits of Freedom en Atelier Yuri Veerman).
21. WRR, iOverheid, Den Haag 2011.
22. Altijd, overal en onder alle omstandigheden geldende correlaties. 23. 17 mei 2017 (ECLI:NL:RVS:2017:1259 (Aerius)).
24. ABRvS, 17 mei 2017 (ECLI:NL:RVS:2017:1259 - Aerius)
25. Zie: 40% rechters heeft betaalde bijbaan, Datagraver.nl, 7 augustus 2015.
26. In feite is hier sprake van hergebruik van gegevens. Hergebruik vindt veelal plaats in een geheel andere context dan waarvoor de gegevens oorspronkelijke werden verzameld, wat de kans op onjuiste aannames en interpretatie vergroot.
27. J.E.J. Prins, ‘Digitale disbalans binnen de Trias’, NJB 2016/682, afl. 14, p. 909
28. Brief van de Minister van Veiligheid en Justitie van 11 november 2016, Kamerstukken II 2016/17, 26643, 426.
29. Jeff Larson, Surya Mattu, Lauren Kirchner and Julia Angwin, How We Analyzed the COMPAS Recidivism Algorithm, Propublica.org, May 23, 2016; Julia Angwin, Jeff Larson, Surya Mattu and Lauren Kirchner, Machine Bias. There’s software used across the country to predict future criminals. And it’s biased against blacks.,Propublica.org, May 23, 2016.