Toezicht op het gebruik van algoritmen door de overheid. Tijd voor een zorgplicht.

Auteur(s): Bron:
  • Tijdschrift voor Toezicht, TvT 2020 nr. 1, Boom Juridisch

Samenvatting

De overheid maakt in toenemende mate gebruik van systemen die taken verrichten die eerst door ambtenaren werden uitgevoerd. Denk aan het verlenen en uitbetalen van uitkeringen, het opleggen van boetes, bedienen van ophaalbruggen enzovoort. Bij de inzet van deze systemen wordt niet altijd onderkend dat hierbij voldaan moet worden aan de regels die voor de overheid gelden. Bovendien brengt de inzet van deze systemen – algoritmen – nieuwe, deels voorzienbare en deels onvoorzienbare risico’s met zich mee. Daarom wordt steeds vaker gevraagd om meer toezicht op algoritmen. Om dit toezicht effectief te laten zijn zou er een zorgplicht moeten worden ingevoerd.

Inleiding

Als het gebruik van nieuwe technologieën toeneemt en steeds meer bekend wordt welke kinderziektes er nog zijn en welke bijwerkingen er kunnen optreden, is het niet meer dan logisch dat de roep om toezicht steeds luider wordt. Onder de noemer ‘toezicht op algoritmen’ is er sinds de zomer van 2019 een politiek debat gaande waarin bijvoorbeeld wordt gepleit voor het oprichten van een Algoritme-autoriteit en de invoering van een meldplicht voor het gebruiken van ingrijpende algoritmen. [1] In dit artikel zal verkend worden hoe de zorgplicht voor bestuursorganen een bijdrage zou kunnen leveren aan effectief toezicht in de bestaande toezichtrelaties.[2]

Algoritmen

De overheid maakt bij de uitvoering van haar taken al geruime tijd gebruik van algoritmen. Denk aan het automatisch beboeten voor te hard rijden, de aansturing van waterkeringen of het voorspellen van files. Algoritmen zijn niet nieuw. Wel nieuw is de aandacht in de samenleving voor algoritmen.[3]

Een algoritme is – simpel gezegd – een recept om een probleem stap voor stap op te lossen, en bestaat al heel lang. Een van de oudste en bekendste algoritmen uit de geschiedenis is het algoritme van Euclides (rond 300 voor Christus)[4] en naamgever Al-Chwarizmi leefde rond 800 na Christus. Algoritmen bestonden dus al lang voordat de computer er was. Of, zoals ook wel wordt gezegd: een computer kan niet zonder algoritmen maar een algoritme kan wel zonder computer worden toegepast.[5]

Tegenwoordig wordt het begrip algoritme vooral gebruikt in relatie tot automatisering, geautomatiseerde processen, big data en Artificiële Intelligentie.

Het begrip algoritme definiëren we als volgt: een geautomatiseerde reeks stappen die inputdata in outputdata omzet. Een algoritme ‘weegt’ de verschillende data ten opzichte van elkaar.

Er zijn twee typen algoritmen, algoritmen die door mensen worden geprogrammeerd (voorgeprogammeerd) en de algoritmen die zich automatisch kunnen aanpassen aan eerder behaalde resultaten en gebruikt worden bij het analyseren en voorspellen. Dit worden ook wel de lerende algoritmen genoemd.

Bovendien kunnen algoritmen zeer verschillen in invloed (impact) op burgers of samenleving. Een intern postrouteringssysteem is iets anders dan een toepassing waarbij wordt berekend hoe hoog het risico op crimineel gedrag van een burger is. Onderstaande figuur laat zien hoe met deze verschillen kan worden omgegaan.

Eck Drouen Toezicht algoritmen figuur 1

Figuur 1 Criticality pyramid and risk-adapted regulatory system for the use of algorithmic systems. Afkomstig uit de ‘Opinion of the Data Ethics Commission’ uitgebracht aan de regering in Duitsland.[6]

Er zijn meerdere factoren die maken dat het toezicht (en de onderliggende regelgeving) moet meebewegen als de overheid gebruikmaakt van algoritmen. Elk gebruik van nieuwe technologieën brengt wijzigingen in de uitvoering van wettelijke taken. Wij noemen hier twee factoren die van belang zijn bij het gebruik van algoritmen door de overheid: veranderingen in de discretie en verwevenheid met private bedrijven. Dit is allerminst compleet. In navolging van de Onderzoeksraad voor veiligheid uit het onderzoek naar assistentiesystemen in auto’s, zou aan deze twee ‘risicoclusters’ bijvoorbeeld kunnen worden toegevoegd: de onvolwassenheid van systemen, de interactie tussen algoritmen en ambtenaar, de dynamiek van automatisering (updates) en cybersecurity.[7][8]

Veranderingen in de discretie

In een uitvoeringspraktijk waar alleen mensen beslissingen nemen, hebben overheidsmedewerkers binnen het wettelijk voorgeschreven kader de ruimte om beslissingen te nemen en hun eigen oordeel te vormen.[9] Dit wordt de discretie genoemd. Als de overheid algoritmen inzet om de taken uit te voeren wordt deze ruimte (de beslissingspraktijk) ingevuld door algoritmen.

Deze ruimte valt – net als in de analoge wereld – onder de diverse regels die gelden voor de overheid. Denk aan de Algemene wet bestuursrecht (Awb), Algemene verordening gegevensbescherming (AVG), Wet openbaarheid van bestuur (WOB) en de diverse wetten die worden uitgevoerd. Desondanks is in de praktijk waar te nemen dat als technologie wordt ingezet, het minder vanzelfsprekend is dat de gebruikelijke regels en verantwoording gelden. De inzet van technologie lijkt zich te onttrekken aan het recht en de gebruikelijke mechanismen rond het controleren van de overheid.[10]

Dit bracht de wetenschappers in 2000 en 2003 er al toe te adviseren dat er een toetsende instantie als de Nationale ombudsman[11] respectievelijk institutionele voorzieningen[12] zouden moeten komen. Dit met het idee om te kunnen beoordelen hoe de democratisch vastgestelde wetgeving vertaald en uitgelegd is in de algoritmen van de geautomatiseerde beslissystemen.[13] Niet voor niets worden deze beslisregels ook wel quasiwetgeving genoemd.[14] Ook de Afdeling advisering van de Raad van State waarschuwt voor deze blinde vlek.[15]

Daarboven komt de recentere wijziging van de beslissingspraktijk, veroorzaakt door de inzet van lerende algoritmen. Hierbij kan gedacht worden aan predictive policing of risicogericht werken zoals de Belastingdienst die laat berekenen welke aangifte inkomstenbelasting van welke burger het hoogste risico vormt op een onjuiste aangifte.[16]

Verwevenheid met private bedrijven

Het gaat echter niet alleen om de verandering in de discretie en de beslispraktijk bij de overheid zelf. Juist bij deze nieuwe uitvoeringswerkwijzen is waar te nemen dat veel taken feitelijk door private bedrijven worden uitgevoerd. Er ontstaat een verweving tussen overheid en markt. De overheid is of wordt bij de ontwikkeling van de technologie tot op zekere hoogte afhankelijk van de expertise die aanwezig is bij private bedrijven; de overheid wordt steeds meer hybride. Dit werd bijvoorbeeld geobserveerd in een onderzoek naar de politie. Onderzoekers waarschuwden voor de toenemende druk op de rechtsstaat: Wie doet wat op welk moment voor wie en wie is daar achteraf voor verantwoordelijk en op aanspreekbaar?[17]

De zorgplicht

Er zijn diverse manieren waarop toezicht op algoritmen vormgegeven zou kunnen worden.[18] Opvallend is dat voor het onderzoek Toezicht op het gebruik van algoritmen door de overheid dat we hebben uitgevoerd, in de interviews met toezichthouders vaak de notie aan de orde kwam dat bestuursorganen die algoritmen ontwikkelen en toepassen, hiervoor een eigen verantwoordelijkheid dragen. Waar dit in de private sector al meer ontwikkeld zou zijn, leek dit voor de overheid nog niet geregeld. Ook is het advies van de WRR in het rapport Big data in een veilige en vrije samenleving om een wettelijk verankerde zorgplicht te creëren[19] (nog) niet overgenomen.

De invoering van een zorgplicht heeft als voordeel dat de beslissing om algoritmen in te zetten, net als bij andere beslissingen van het management zoals besluiten over investeringen of borgen van veilige werkomstandigheden, vereist dat er expliciete verantwoordelijkheid wordt gedragen. Deze ziet op de afwegingen om algoritmen in te zetten, het in kaart brengen van de specifieke risico’s en het treffen van beheersmaatregelen. Een tweede voordeel van de invoering van de zorgplicht is dat het een actieve houding vereist van de overheid omdat moet worden aangetoond dat wordt voldaan aan de toepasselijke regelgeving. Ook de algemene beginselen van behoorlijk bestuur krijgen op deze manier weer de status die zij verdienen: beginselen die aantoonbaar nageleefd moeten worden en niet alleen een rol vervullen als er een individueel geschil via het besluitbegrip aan een rechter wordt voorgelegd. Essentieel bij de invoering van de zorgplicht is dat hierdoor veel beter kan worden bepaald of de organisatie in staat is de risico’s te beheren. Dit kan gaan om de risico’s die al onderkend zijn, maar ook om risico’s die zich later aandienen.

Door de zorgplicht te koppelen aan een aantoonplicht is het bestuursorgaan niet enkel verantwoordelijk voor de invulling van die zorgplicht, maar dient het bestuursorgaan aan de betrokken toezichthouder aan te tonen dat hij daaraan invulling heeft gegeven en op welke manier. Een dergelijke constructie kent ook de in artikel 5 AVG opgenomen verantwoordingsplicht die op de verwerkingsverantwoordelijke rust. Het is als het ware een omkering van de bewijslast.

Een voorbeeld van een aan het gebruik van algoritmen gerelateerde zorgplicht is te vinden in de Wet op de inlichtingen- en veiligheidsdiensten 2017.

In artikel 24 van die wet is bepaald dat de hoofden van de diensten ervoor zorgdragen dat de technische, personele en organisatorische maatregelen in verband met de verwerking van gegevens in overeenstemming zijn met hetgeen bij of krachtens deze wet is bepaald. Daartoe behoren ingevolge het tweede lid, onder a, in ieder geval de nodige voorzieningen ter bevordering van de juistheid en de volledigheid van de gegevens die worden verwerkt alsmede ter bevordering van de kwaliteit van de gegevensverwerking, waaronder begrepen de daarbij gehanteerde algoritmen en modellen.

Deze verplichting aan de hoofden van dienst leidt ertoe dat de diensten door het treffen van voorzieningen ter bevordering van de kwaliteit van de gehanteerde algoritmen ervoor zorg dienen te dragen dat deze gehanteerde algoritmen uitlegbaar zijn. Daarbij gaat het onder meer over welke (input)variabelen van (grote) invloed zijn op de uitkomst van de gehanteerde algoritmen, wat de nauwkeurigheid daarvan is, welke bias er inzit en op welke wijze invulling wordt gegeven aan de menselijke maat. Ook dient te worden voorzien in procedurele maatregelen om met regelmaat de kwaliteit te bewaken. In het controlesysteem kunnen daarvoor een proces en een afwegingskader worden uitgewerkt. Aan het afwegingskader kan een risk based approach ten grondslag worden gelegd, waarbij variabelen als complexiteit en uitwerking een rol kunnen spelen.

Een belangrijk element om daadwerkelijk effectief invulling te kunnen geven aan de zorgplicht is om in een vroeg stadium, bij de aanschaf of ontwikkeling van algoritmen, stil te staan bij de uitlegbaarheid van algoritmen, het accountable by design zijn.

Conclusie

De inzet van algoritmen verandert de manier waarop de overheid de wettelijke taken uitvoert op ingrijpende wijze. De invoering van een zorgplicht is een maatregel die toezichthouders in staat stelt effectiever toezicht te houden dan nu. Het maakt de verantwoordelijkheidsverdeling scherper. Elk bestuursorgaan dat algoritmen gebruikt bij de uitvoering van wettelijke taken moet aantonen dit op een zorgvuldige manier te doen. Misschien is het zelfs nodig om nog een stap verder te gaan door bestuursorganen te verplichten voor bepaalde toepassingen aan te tonen dat de werking in overeenstemming is met de wet- en regelgeving (waaronder de algemene beginselen van behoorlijk bestuur) die moet worden uitgevoerd.[20] Ervaring opdoen met de zorgplicht lijkt daarvoor een eerste logische stap.

Eindnoten

1. Initiatiefnota-Middendorp, Kamerstukken II 2018/19, 35212, nr. 2, Motie-Middendorp en Drost, 20 juni 2019, Kamerstukken II 2018/19 35200 VII, nr. 14, Motie-Verhoeven en Van der Molen, 10 september 2019, Kamerstukken II 2018/19, 26643, nr. 632.

2. Delen uit dit artikel komen overeen met het rapport ‘Toezicht op het gebruik van algoritmen door de overheid’ aangeboden door de minister van BZK aan de Tweede Kamer op 20 december 2019, Kamerstukken II 2019/20, 26643, nr. 657.

3. Het gebruik van het woord algoritme is al zo wijdverspreid dat in de tv serie Smeris de volgende zin door een politieman werd uitgesproken: ‘Ik dacht, als we nou eens een algoritmetje schrijven?’.

4. J. Wolswinkel, ‘Het algoritme van de Afdeling: de realiteit van complex bestuursrecht,’ Ars Aequi 20190776, p. 781.

5. Wolswinkel 2019, p. 780.

6. Opinion of the Data Ethics Commission, p. 177, oktober 2019, datenethikkommission.de.

7. Zie ook het onderzoek Voorbereiden op digitale ontwrichting, WRR 2019, nr. 101.

8. Onderzoeksraad voor veiligheid, Wie stuurt, een onderzoek naar verkeersveiligheid en automatisering, 28 november 2019.

9. T. Evans en P. Hupe ‘Conceptualizing Discretion’, in: T. Evans en P. Hupe (red.), Discretion and The Quest for Controlled Freedom, Londen: Pallgrave Macmillan 2019, p. 4.

10. M. van Eck, M. Bovens en S. Zouridis, ‘Algoritmische rechtstoepassing in de democratische rechtsstaat’, NJB 2018/2101.

12. M. Bovens, De digitale republiek. Democratie en rechtsstaat in de informatiemaatschappij, Amsterdam: Amsterdam University Press 2003, p. 86.

14. Dag Wiese Schartum, ‘Law and algorithms in the public domain’, Etikk i praksis, Nordic Journal of Applied Ethics 2020, nr. 101, p. 15-26. 

16. Dit wordt ook wel de ‘algocracy’ genoemd, J. Danaher ‘The threat of algocracy: reality, resistance and accommodation’, Philosophy & Technology 2016, nr. 3, p. 245-268.

17. G A.J. Meershoek en A.B. Hoogenboom, ‘Drieënvijftig tinten grijs. Afnemende verantwoording en controle op hybride politiewerk’, JV 2012-5, p. 10-23.

18. Zie ook de zeer uitgebreide studie van M. Martini, Fundamentals of a regulatory system for algorithm-based processes (Expert Opinion prepared on behalf of the Federation of German Consumer Organisations, Verbraucerzentrale Bundesverband), 1 mei 2019,  www.vzbv.de.

19. WRR rapport, Big data in een vrije en veilige samenleving, 2016, wrr.nl. 

20. Zoals in Denemarken; H.M. Motzfeld en A. Naesborg-Andersen, ‘ Developing Administrative Law into Handling the Challenges of Digital Government in Denmark ’, The Electronic Journal of e-Government 2018, nr. 2, p. 136-146.

 

Titel, auteur en bron

Titel

Toezicht op het gebruik van algoritmen door de overheid. Tijd voor een zorgplicht.

Auteur(s)

Marlies van Eck
Thijs Drouen

Bron

Tijdschrift voor Toezicht, TvT 2020 nr. 1, Boom Juridisch

Permanente link

Huidige versie

https://www.openrecht.nl?jcdi=JCDI:ALT550:1