Wie is verantwoordelijk voor de analyse door een algoritme?

25 sep 2020

Deze vraag kwam aan de orde tijdens een webinar over Artificial Intelligence, Healthcare and Law. Tijdens dit webinar heeft onze advocaat Jos van der Wijst een presentatie gegeven. De presentatie ging over de juridische aspecten van AI (in healthcare). De vraag werd gesteld door een arts die een AI toepassing gebruikte bij de diagnose van patiënten.

Wat is nou het antwoord op de vraag?

De vraag is niet eenvoudig te beantwoorden. Het maken van een algoritme gebeurt op basis van software. Vaak open source software zoals SkLearn en Tensorflow. Degene die het algoritme maakt, bewerkt soms datasets, traint het model dat is gekozen met datasets en past de parameters aan. Dit alles om het beoogde doel te bereiken. Zoals het identificeren van een besmetting met het coronavirus.

Zie het bericht van 17 juli 2020 (bron Radboudumc):

“Over de hele wereld hebben zeker 8 miljoen mensen een besmetting gehad met het coronavirus. De diagnose kan gesteld worden met een Röntgenfoto van de borst, waarop de longen te zien zijn. Meestal doet een radioloog dat, maar een onderzoek van Radboudumc, Jeroen Bosch Ziekenhuis en Bernhoven laat zien dat een systeem op basis van Artificiële Intelligentie (AI) dat net zo goed kan. Het onderzoek is gepubliceerd in het wetenschappelijke tijdschrift Radiology.”

Wie is verantwoordelijk voor de analyse door een algoritme?

 

 

 

 

 

Algoritme

Stel een algoritme komt tot de verkeerde conclusie. En vervolgens wordt aan een röntgenfoto die met AI is geanalyseerd een verkeerde conclusie verbonden. Stel een patiënt lijdt hier schade door. Het ziekenhuis waar een arts werkt zal als eerste worden aangesproken door de patiënt. Kan het ziekenhuis de patiënt verwijzen naar de maker van het algoritme? Zie het blog van mijn collega over ‘arts niet aansprakelijk voor gebruik ongeschikte medische hulpzaak’. En kan de maker van het algoritme weer verwijzen naar derden (leverancier dataset, leverancier software)? Vragen die niet eenvoudig te beantwoorden zijn.

Wetgeving

De wet regelt nu nog niets specifieks met betrekking tot artificial intelligence, (product)aansprakelijkheid van (makers van) algoritme, leveranciers van datasets, etc. Daarnaast is een (AI) dienst geen product. De productaansprakelijkheidsregelgeving is hierbij niet van toepassing.

Daarom is het zinvol om bij overeenkomsten die betrekking hebben op het maken van een algoritme en het trainen van een model, het uitvoeren van analyses met een algoritme, het gebruiken van algoritmes bij het nemen van beslissingen, hier afspraken over te maken en vast te leggen. Afspraken zouden gemaakt moeten worden over acceptabele foutmarges, datakwaliteit, welke soorten gebruik is toegestaan en wordt gegarandeerd. En het is verstandig om voor het gaan werken met AI een ‘AI impact assessment’ uit te (laten) voeren. Daarmee worden potentiële risico’s in kaart gebracht.

Non-contractuele aansprakelijkheid

Daarnaast speelt de non-contractuele aansprakelijkheid. Dit speelt in situaties waarin partijen niet contractueel met elkaar zijn verbonden. Bijvoorbeeld wanneer sprake zou van onrechtmatig handelen door de maker van een algoritme en een patiënt lijdt hier schade door. Immers er bestaat geen overeenkomst tussen de maker en de patiënt. Maar mogelijk heeft de patiënt toch een juridische mogelijkheid om op te treden tegen de maker van het algoritme op basis van onrechtmatige daad (b.v. schenden van een zorgplicht door de maker). De kaders hiervoor zullen in regelgeving (gedragscodes?) en jurisprudentie nog moeten worden uitgewerkt. Toch is het zinvol om daar nu al over na te denken (als gebruiker/maker van algoritmes in healthcare).

BG.legal heeft een data/AI team met daarin niet alleen juristen maar ook IT/data science geschoolden. Daardoor begrijpen wij processen, technieken beter en kunnen de noodzakelijke afspraken beter identificeren en vastleggen. Daarnaast kunnen we partijen beter adviseren over de creatie en toepassing van AI.

Voor meer informatie over juridische aspecten van AI/data kunt u contact opnemen met Jos van der Wijst, teamleider van BG.tech.