Het gebruik van data-analyses gebaseerd op algoritmes neemt toe. Daarmee groeit óók de aandacht voor de ontwikkeling van waarborgen om de daarbij behorende risico’s te beperken. De Universiteit Utrecht ontwikkelde in dit kader het Impact Assessment Mensenrechten en Algoritmes (IAMA). Het LAA-thema overbewoning vormde één van de praktijktoetsen voor dit IAMA. 

“We hebben alle grondrechten helemaal uitgeplozen.”

Data-analyses bieden veel kansen voor bedrijven en overheden om hun zaken efficiënter en effectiever in te richten. Er zijn echter ook risico’s aan verbonden, zeker waar het data betreft die betrekking hebben op personen. Al snel zijn dan mensenrechten in het geding. Bovendien kan de sturing van algoritmes naar een bepaald doel discriminatie in de hand werken.

Op welke grondrechten wordt inbreuk gemaakt? Hoe groot is de kans dat dit gebeurt? Wat is de impact voor iemand? Staat die impact in verhouding tot het doel van de data-analyse? En is de afweging – wel of niet acceptabel – transparant genoeg en goed uit te leggen? Dit is in een notendop de spiegel die het IAMA voorhoudt aan gebruikers van een algoritme.

Iris Muis - Universiteit Utrecht.

Grijs gebied

“Het IAMA is een oplossing om nauwgezet stil te staan bij de consequenties van het gebruik van een algoritme”, vertelt Iris Muis, projectcoördinator bij de Universiteit Utrecht.

“Dat is lang niet altijd vanzelfsprekend, zeker niet in het bedrijfsleven. Veel is weliswaar wettelijk vastgelegd in de AVG, maar het IAMA gaat verder. Ethiek is méér dan wetgeving. Het blijft een grijs gebied waar je het met elkaar uitvoerig over moet hebben. En vooral niet meegaan in de populariteitsstroom waarbij iemand roept dat we iets moeten met moderne technieken of dat de buurgemeente het ook zo doet.”

Feitelijk is het IAMA niet meer dan een PDF-document dat je met een multidisciplinair team moet doorlopen. Muis:

“IT, data-beheerders, juristen, echt alle betrokkenen moeten aan tafel. Pas dán kun je met zijn allen de juiste afwegingen maken. Het gaat daarbij niet alleen om mensenrechten. Het IAMA begint bij de basis: waar ga je het algoritme precies voor gebruiken? Is er een wettelijke basis voor? Hoe wordt de data verzameld? Is dat een betrouwbare manier?  Het IAMA is de kapstok waar alle bestaande, relevante kaders omtrent algoritmes in de Nederlandse context aan zijn gehangen. Die loop je stuk voor stuk langs. Dat overzicht was er nog niet.”

‘Is de impact van een algoritme uit te leggen aan een burger die zich afvraagt: hoezo ik dan?’

Weegschaal

De uitkomst van het IAMA is geen exacte wetenschap. Het blijft mensenwerk. Iris: “Bij het opmaken van de eindbalans leg je het doel van het algoritmegebruik en de impact die dit heeft op mensen op de weegschaal. Als die uitslaat naar zware inbreuk op mensenrechten, dan weet je dat het algoritme grondig moet worden aangepast of dat het helemaal niet bruikbaar is. Bij een middelzware of kleine inbreuk ga je op zoek naar rechtvaardiging. Vinden wij de impact die het algoritme heeft acceptabel ten opzichte van het doel? Is het uit te leggen aan een burger voor wie het algoritmegebruik impact heeft en zich afvraagt: hoezo ik dan? Voor deze vraagstukken moet je blijvend aandacht houden, zeker als een algoritme wordt aangepast. Met behulp van het IAMA kun je een proces ook structureel monitoren.” 

Judy Moester
Judy Moester - RvIG

Toeslagenaffaire

Verantwoord gebruik, transparantie en uitlegbaarheid. Het is precies de reden waarom de Rijksdienst voor Identiteitsgegevens (RvIG) gebruik maakte van de uitnodiging om het IAMA te testen. “Als autoriteit en regisseur op het gebied van veilig gebruik van identiteitsgegevens zijn wij druk bezig met de juiste toepassing van algoritmes”, verklaart Judy Moester, Senior Strategisch Adviseur bij de RvIG. “Er is veel commotie geweest over de toeslagenaffaire, maar algoritmegebruik is al veel langer een issue. Er is een motie aangenomen in de Tweede Kamer, er zijn richtlijnen opgesteld. Er speelt veel op dit vlak. Daar is RvIG nauw bij betrokken.”

Vóóraf toetsen

LAA is een geschikt thema om een IAMA op toe te passen, aldus Moester. “LAA maakt gebruik van risicoprofielen waarin algoritmes een rol spelen. Daarbij kunnen mensenrechten worden geschonden. Natuurlijk wordt ook nu al de afweging gemaakt of dat verantwoord is. Maar dat gebeurt vaak versnipperd in losse sessies. Met het IAMA bekijk je alle vraagstukken met het complete ontwikkelteam van een proces. Het is een mooi instrument om vóóraf te toetsen of de rechten van burgers voldoende zijn gewaarborgd. We hebben alle grondrechten helemaal uitgeplozen.”

Naast het wegingsproces is ook de vastlegging daarvan een voordeel van het IAMA, vindt Moester. “Je neemt het besluit en de gevoerde discussie op in het document. Dat helpt bij de transparantie en de uitlegbaarheid die we nastreven. Als overheid moet je aan een burger kunnen uitleggen waarom hij of zij binnen een risicoprofiel valt. Die burger heeft namelijk vaak geen idee en kan zich niet verweren. Als we het hebben over overbewoning, kan er een ambtenaar bij je aanbellen met vragen. Dan moet die ambtenaar kunnen uitleggen waarom dat gebeurt. Dat weliswaar inbreuk wordt gepleegd op iemands privacy, maar dat het óók iets oplevert. Namelijk dat we fraude en uitbuiting op het spoor komen en dat we in geval van rampen weten hoeveel mensen ergens wonen.”

‘Het IAMA is de kapstok waar alle bestaande kaders omtrent mensenrechten aan zijn gehangen. Dat overzicht was er nog niet.’

Dirk Rutgers
Dirk Rutgers - gemeente Amsterdam

Verkokering

Bij het onder de loepen nemen van de casus overbewoning schoof de gemeente Amsterdam aan als eindgebruiker. “Het was nieuw voor ons om op deze manier naar het proces te kijken”, zegt Dirk Rutgers, coördinator fraudebestrijding. “Vaak bepalen juristen en een privacy-officer of iets toelaatbaar is, maar de ethische afweging is erg afhankelijk van persoonlijke interpretatie. Daarin zit een gevaar. Wat voor de een rechtvaardig is, is dat voor een ander misschien niet. Daarnaast bestaat het gevaar op verkokering. Dat je niet onderkent dat een algoritme zich toespitst op bepaalde groepen mensen. Het IAMA is een goede leidraad om heel systematisch tot eerlijke patronen te komen.”

Is het onderzoek naar overbewoning ‘eerlijk’ gebleken? Rutgers:

“Ik moet zeggen dat de casus overbewoning vrij simpel is. Je bekijkt of er onregelmatigheden zijn qua aantal bewoners per vierkante meter op een adres. De impact daarvan op mensen is gering. Maar ik denk dat het IAMA ook een handig middel is om ingewikkelder processen te doorgronden. Vooral doordat je er in breder verband naar kijkt en alle aspecten meeweegt. Daarmee voorkom je de kans op verkokering. Als je fraude met een bepaalde toeslag onderzoekt, is het logisch dat je een algoritme gebruikt dat uitsluitend van toepassing is op mensen die van die toeslag gebruikmaken. Maar als je binnen die groep subgroepen gaat onderscheiden, moet je oppassen. Dan ga je mensen framen en dat is not done.”

Kennis en ervaring

Ook RvIG is door de test overtuigd geraakt van het nut van het IAMA.

“Op een aantal verbeterpunten na, is het wat mij betreft gebruiksklaar”, zegt Moester. “Wij willen de definitieve versie van het IAMA in gebruik nemen en verankeren in onze processen. Mijn advies aan andere overheden, en het bedrijfsleven, is om dit ook te doen. Algoritmes worden namelijk steeds complexer. In mijn ogen is het daarom goed om nu al kennis en ervaring op te doen met de juiste toetsingskaders. Het IAMA is hiervoor heel bruikbaar.”

‘Het IAMA is een goede leidraad om systematisch en in een breed verband te komen tot eerlijke patronen.’

Wanneer en voor wie?

De test van het IAMA op het LAA-thema overbewoning is één van de vier praktijktoetsen die zijn uitgevoerd. Na het aanbrengen van verbeterpunten, verwacht Iris Muis dat de definitieve versie begin juli gereed is. Voor wie is het IAMA bedoeld? Muis: “In eerste instantie voor alle overheidsinstanties die gebruik willen maken van algoritmes die impact hebben op de schending van mensenrechten. Maar het IAMA is ook goed toepasbaar binnen het bedrijfsleven. Ik kan me voorstellen dat het document straks openbaar te downloaden is voor iedereen.”