Nieuwe compromistekst van AI Act (AI-verordening) maakt IAMA verplicht voor high-risk toepassingen
Het Europees Parlement wil een verplichte impact assessment mensenrechten voor high risk AI toepassingen invoeren.
Het Europees Parlement onderhandelt over aanpassingen op het voorstel voor een AI Act (AI-verordening). In 2021 heeft de Europese Commissie een voorstel hiervoor gedaan. Eind 2022 hebben de Lid-Staten een aangepaste tekst voorgesteld. Nu moet het Europees Parlement met haar voorstel tekst komen. Vervolgens gaan de drie partijen in onderhandeling over een definitieve tekst.
Het Europees Parlement stelt voor om het concept van de Commissie op een aantal punten te wijzigen. In het EP voorstel zijn een aantal extra verplichtingen voor de gebruikers van high-risk AI-systemen opgenomen, waaronder de verplichting om een Impact Assessment Mensenrechten en Algoritmes (IAMA) uit te voeren. Het IAMA is ontwikkeld door de Universiteit Utrecht op verzoek van het ministerie van BZK. In 2022 is een Tweede Kamer motie aangenomen waarin wordt voorgesteld om een IAMA voor bepaalde algoritmes verplicht te stellen.
In deze blog zullen een aantal van de voorgestelde wijzigingen nader worden toegelicht.
Impact Assessment Mensenrechten en Algoritmes (IAMA)
De meest opvallende wijziging ten opzichte van het Commissie voorstel, ziet men terug in de nieuwe bepalingen waarin een Fundamental Rights Impact Assessment (ook wel: Impact Assessment Mensenrechten en Algoritmes, “IAMA”) voor de gebruikers van high-risk toepassingen verplicht wordt gesteld.
Bij het uitvoeren van een IAMA moet de gebruiker van een high-risk systeem (o.a.) de volgende aspecten in acht nemen:
I. het doel waarvoor het systeem wordt gebruikt;
II. de geografische reikwijdte en (tijds)duur van het gebruik;
III. welke (categorieën van) personen negatieve gevolgen kunnen ondervinden door het gebruik, waarbij in het bijzonder aandacht wordt gevraagd voor gemarginaliseerde groepen;
IV. de wijze waarop de negatieve gevolgen voor de grondrechten zullen worden beperkt/gemitigeerd.
Gebruikers moeten bovendien de bevoegde nationale autoriteiten informeren over het feit dat zij een IAMA moeten verrichten. Deze instanties krijgen tenminste zes weken de tijd om een eigen oordeel te vormen en/of input te leveren.
Tot slot, geldt voor overheidsinstanties de verplichting dat zij het resultaat van de IAMA publiceren in een (centraal) algoritmeregister.
Verplichtingen voor gebruikers van high-risk toepassingen
In het EP voorstel voor de tekst van de AI Act (AI-verordening) wordt niet alleen de IAMA verplicht gesteld: er worden ook nog een aantal andere verplichtingen in het leven geroepen voor de gebruikers van high-risk Ai-systemen. Hierna volgt een korte samenvatting van de meest ingrijpende wijzigingen:
I. De gebruikers van high-risk AI-systemen moeten ervoor zorgen dat er adequate cybersecuritymaatregelen zijn getroffen, ten einde de robuustheid van de AI-toepassing te garanderen. Deze maatregelen moeten bovendien periodiek worden geëvalueerd.
II. Voor zover de gebruiker controle kan uitoefenen over de high-risk toepassing, dient deze de mogelijke nadelige gevolgen in kaart te brengen en de risicobeperkende maatregelen te beoordelen.
III. Indien een gebruiker constateert dat een high-risk toepassing eveneens een risico inhoudt voor de gezondheid of veiligheid van mensen, dan wel voor de bescherming van hun grondrechten, dan moet de distributeur/leverancier van de AI-toepassing én de nationale toezichthouder onmiddellijk daarvan op de hoogte worden gebracht.
IV. Gebruikers moeten ervoor zorgen dat – in de gevallen waarin dit door de AI Act (AI-verordening) wordt voorgeschreven – er sprake is van menselijk toezicht. Degene die daarmee zijn belast moeten eveneens over de nodige bekwaamheden beschikken om adequaat toezicht te garanderen.
V. Voordat een high-risk toepassing op de werkvloer mag worden ingevoerd, moeten de gebruikers van het AI-systeem eerst in overleg treden met de werknemers en hun vertegenwoordigers. Deze partijen moeten niet alleen toestemming hebben gegeven voorafgaand aan de invoering van het systeem, maar zij moeten ook adequaat zijn geïnformeerd over het soort AI-systeem dat wordt gebruikt, het beoogde doel van het gebruik en welke beslissingen het systeem zal gaan nemen.
VI. Gelet op de recente ontwikkelingen omtrent ChatGPT, wordt er nu ook een bepaling aan de AI Act (AI-verordening) toegevoegd die ziet op generatieve AI. Deze systemen kunnen output genereren op basis van menselijke input. De gebruikers van dergelijke systemen moeten voortaan vermelden dat de output/tekst is gegenereerd door een AI-systeem, tenzij de output aan menselijke beoordeling is onderworpen en de uitgever (redactionele) aansprakelijkheid aanvaardt.
Wil je op de hoogte blijven van de meest actuele ontwikkelingen op het gebied van de juridische aspecten van AI? Schrijf je dan in voor onze nieuwsbrief over de AI Act (AI-verordening). Dit kan via het onderstaande contactformulier.
Mocht je al vragen hebben over de juridische aspecten van AI, neem dan contact op met Jos van der Wijst.
