AIVD publiceert principes voor veilige ontwikkeling van AI-systemen

16 feb 2023

Hoewel je AI nodig hebt om ~~AIVD~~ te spellen, denkt men bij de AIVD toch eerder aan spionnen en ongevraagd afluisteren, dan aan AI-systemen. De dienst is er echter wel mee bezig. Niet alleen intern, maar ook in de praktijk. Het Nationaal Bureau voor Verbindingsbeveiliging (NBV) van de AIVD heeft namelijk in februari een brochure gepubliceerd waarin wordt uitgelegd hoe AI-systemen kunnen worden aangevallen en wat men daartegen kan doen.

Typen aanvallen

Het NBV heeft vijf categorieën opgesteld van aanvallen die specifiek op AI-systemen zijn gericht:

~~Poisoning aanvallen:~~ De aanvaller probeert de trainingsdata, het trainingsalgoritme of het model aan te passen, waardoor het AI-systeem niet meer goed werkt.
~~Input (evasion) aanvallen:~~ De aanvaller probeert een normale input zodanig aan te passen, dat het AI-systeem daardoor niet meer goed werkt.
~~Backdoor aanvallen:~~ Een aanvaller met toegang tot een backdoor in het AI-systeem kan hier bepaalde informatie aan toevoegen, waarmee de beslissingen van het model kunnen worden beïnvloed.
~~Model reverse engineering & inversion aanvallen:~~ De aanvaller probeert erachter te komen hoe het onderliggende model werkt, zodat het model kan worden nagemaakt en/of misbruik kan worden gemaakt van bepaalde gebreken.
~~Inference aanvallen:~~ De aanvaller probeert informatie te krijgen over de trainingsdata van het AI-systeem, waarmee hij vervolgens een bestaande dataset kan verrijken.

Principes voor verdediging

Hoe kun je een AI-systeem beschermen tegen de hiervoor genoemde aanvallen? Allereerst moet de infrastructuur waarin het AI-systeem draait, goed zijn beveiligd. Daarnaast heeft het NBV een aantal kernprincipes uitgewerkt waarin aandachtspunten en mogelijke maatregelen worden omschreven:

~~Houd je datakwaliteit op orde:~~ Weet waar je data vandaan komt en controleer of de data integer is.
~~Zorg voor validatie van je data:~~ Bij data die afkomstig is van derden is het verstandig om die data te valideren. Kijk daarbij naar de wijze waarop de data tot stand is gekomen.
~~Houd rekening met supply chain security:~~ Bij modellen die je niet zelf hebt ontwikkeld, zou er weleens een backdoor aanwezig kunnen zijn. Controleer dan ook de kwaliteit van (aan)geleverde modellen.
~~Maak je model robust tegen aanvallen:~~ Controleer hoe bestendig je model is tegen verkeerde inputs, veranderingen in data of andere pogingen tot misbruik. Je zou bijvoorbeeld een groep programmeurs de opdracht kunnen geven om je AI-systeem aan te vallen (een red team) en te kijken hoe het systeem daarop reageert.
~~Zorg dat je model controleerbaar is:~~ Als je weet hoe een model werkt en dat ook kan uitleggen, dan is dat vaak een teken dat het model robuust is. Kijk daarom of je je model inzichtelijk kan maken tijdens development.

Conclusie

Zeker voor ~~AI-systemen~~ die in cruciale/belangrijke situaties worden gebruikt, is het belangrijk dat deze tegen een stootje kunnen. Het is dan ook verstandig om dit in het achterhoofd te houden gedurende de ontwikkeling van het AI-systeem.

Wil je op de hoogte blijven van de meest actuele ontwikkelingen op het gebied van de juridische aspecten van AI? Schrijf je dan in voor onze nieuwsbrief over de AI Act (AI-verordening). Dit kan via het onderstaande contactformulier.