Onlangs heeft het College voor de Rechten van de Mens (‘
het College’)
uitspraak gedaan over dating app Breeze en het algoritme dat daarvoor wordt gebruikt. Breeze had namelijk op eigen initiatief enkele vragen voorgelegd aan het College, waaronder de vraag of zij hun algoritme mochten aanpassen zodat mensen met een donkere huidskleur en van niet-Nederlandse afkomst even vaak aan andere gebruikers worden voorgesteld als mensen met een lichte huidskleur en van Nederlandse afkomst. Volgens het College is dit niet alleen toegestaan, maar ook verplicht. Interessant hierbij is dat Breeze in dergelijke gevallen bijzondere persoonsgegevens zoals etniciteit zal moeten gaan verwerken, wat in principe niet is toegestaan.
De achtergrond van de zaak
Het algoritme van Breeze:
- is zelflerend en stelt gebruikers aan elkaar voor op basis van een "matchingskans" die aangeeft hoe waarschijnlijk het is dat twee gebruikers elkaar leuk vinden;
- werkt volledig automatisch, zonder menselijke tussenkomst;
- gebruikt informatie van gebruikersprofielen en "like"-gedrag van gebruikers als input, maar de exacte impact van dit “like”-gedrag voor de kans op een “match” is onbekend. Het vermoeden bestaat dat het algoritme de voorkeuren of het "like"-gedrag van gebruikers meeneemt in de berekening van de matchingskans.
Gebruikers van de app hebben opgemerkt dat de voorgestelde kandidaten weinig diversiteit vertonen. Breeze vermoedt dat gebruikers met een donkere huidskleur of niet-Nederlandse afkomst de app minder gebruiken vanwege het beperkte aantal matches, wat suggereert dat het algoritme doorgaans lagere matchingskansen berekent voor deze (doel)groep.
Volgens Breeze blijkt uit wetenschappelijke artikelen dat mensen eerder de voorkeur geven aan partners met een vergelijkbare etnische achtergrond wanneer ze op zoek zijn naar een date of partner. Breeze vermoedt dat haar algoritme deze voorkeuren niet alleen oppikt, maar ook versterkt. Ondanks Breeze's inspanningen om diversiteit te promoten, blijft haar gebruikersbestand grotendeels homogeen, met voornamelijk gebruikers van lichte huidskleur en Nederlandse afkomst. Daarom wil Breeze haar algoritme veranderen om meer diversiteit in de app te creëren, door mensen met een donkere huidskleur en van niet-Nederlandse afkomst net zo vaak voorstellen aan andere gebruikers als mensen met een lichte huidskleur en van Nederlandse afkomst.
Oordeel van het College
Het College vermoedt dat het algoritme discrimineert, omdat de app minder vaak mensen met een donkere huidskleur of een niet-Nederlandse achtergrond voorstelt aan andere gebruikers. Hoewel persoonlijke voorkeuren voor bepaalde etnische achtergronden bij het daten niet noodzakelijk discriminerend zijn, zou - zelfs als er rekening wordt gehouden met deze voorkeuren - de matchingscore van mensen met een donkere huidskleur of niet-Nederlandse afkomst vermoedelijk hoger moeten zijn dan nu het geval is. Dit zorgt voor indirecte discriminatie.
Volgens het instituut is Breeze niet alleen bevoegd om het algoritme aan te passen, maar ook verplicht om dit te doen, omdat discriminatie verboden is. Zelfs wanneer deze effecten kunnen worden toegerekend aan het algoritme en de exacte werking ervan niet volledig wordt begrepen door Breeze, dient laatstgenoemde haar verantwoordelijkheid te nemen voor het gebruikte algoritme en de daaruit voortvloeiende discriminerende effecten.
Het College ziet deze maatregelen ter voorkoming van indirecte discriminatie niet als voorkeursbeleid. Deze maatregelen zouden gebruikers met een donkere huidskleur of een niet-Nederlandse afkomst geen bevoorrechte positie geven, maar zouden alleen een dreigend nadeel compenseren. Als gevolg hiervan zouden deze gebruikers niet vaker, maar
even vaak worden gepresenteerd als andere gebruikers met een lichte huidskleur en Nederlandse afkomst.
Algoritme aanpassen
GDPR
Bij het aanpassen van het algoritme staat Breeze voor de uitdaging om dit te doen zonder bijzondere persoonsgegevens zoals afkomst en huidskleur te verwerken. In principe verbiedt de AVG namelijk het verwerken van bijzondere persoonsgegevens, zoals etniciteit. Slechts onder bepaalde voorwaarden mogen dergelijke persoonsgegevens echter wel worden verwerkt.
Breeze zou bijvoorbeeld kunnen aanvoeren dat de verwerking noodzakelijk is om redenen van zwaarwegend algemeen belang. De Uitvoeringswet AVG (UAVG) stelt dat het in sommige gevallen is toegestaan om etniciteit te verwerken om een tijdelijk voorkeursbeleid voor ondervertegenwoordigde groepen te implementeren. Het is echter twijfelachtig of een beroep op deze uitzonderingen in het onderhavige geval zal slagen.
Daar komt nog bij dat het College in haar uitspraak niet heeft stil gestaan bij de wijze waarop Breeze haar algoritme
wél AVG-proof zou kunnen maken.
AI-wet
Tot op zekere hoogte, in strikt noodzakelijke gevallen, staat de AI Act het toe dat aanbieders van AI-systemen met een hoog risico onder specifieke voorwaarden bijzondere categorieën van persoonsgegevens mogen verwerken. De voorgestelde uitzondering is echter op dit moment onvoldoende gekoppeld aan de waarborgen van de AVG en is niet specifiek genoeg om als effectieve verwerkingsgrondslag te fungeren. Zelfs als de AI-Act in werking is getreden, zou deze uitzondering daarom onvoldoende zijn om het onderhavige probleem te verhelpen.
IAMA
Om dergelijke risico's tot een minimum te beperken, kunnen de ontwikkelaars van AI-systemen overwegen om een Impact Assessment Mensenrechten en Algoritmes (IAMA) uit te voeren. Op deze manier kan tijdens de ontwerpfase al worden getest of het systeem genoeg bescherming biedt aan mensenrechten en dit soort obstakels in het algoritme kan ondervangen. Met een IAMA kunnen mensenrechtenrisico's worden vastgesteld en kan vervolgens het algoritme worden aangepast. Voor meer informatie en/of begeleiding bij het uitvoeren van een IAMA, verwijzen wij u graag naar onze expertisepagina:
begeleiding bij het uitvoeren van een IAMA.
Andere gevallen
Het voorkomen van discriminatie binnen een algoritme is niet een uniek probleem voor Breeze: veel andere ontwikkelaars van AI-systemen zullen (binnenkort) met dit probleem kampen. Wordt u met hetzelfde probleem geconfronteerd en wilt u advies op maat over hoe u uw algoritme ethisch kunt aanpassen? Neem dan gerust contact op met
Noa Rubingh en/of
Robin Verhoef.
