Blog AI-systemen in aanbestedingen
Steeds meer overheden zijn aan het experimenteren met AI-systemen. Hierbij wordt er gekeken of een AI-systeem nuttig en wenselijk is en of het systeem past bij de behoeftes van de organisatie. Hoewel er bij experimenteren niet zo snel een aanbesteding nodig zal zijn, verandert dit als een overheid voor langere termijn een systeem wil gaan inzetten. Waar moet je op letten bij het aanbesteden voor een AI-systeem?
Behoeftes
De eerste stap van iedere aanbesteding is het bepalen van de behoefte van de gebruiker. Hier zullen misschien al de eerste moeilijkheden ontstaan. Hoe formuleer je de behoeftes van de gebruiker van een AI-systeem? Het kan de moeite waard zijn om hiervoor een marktconsultatie te starten. Hiermee kan je erachter komen wat leveranciers denken te kunnen leveren en met welke garanties. De gemeente Amsterdam heeft een aantal algemene behoeftes geformuleerd die het overwegen waard zijn:
Technische transparantie: hoe werkt het systeem. Is het uit te leggen? Is het te auditen?Procedurele transparantie: wat is het doel van het systeem en hoe is het gemaakt? Welke keuzes en aannames zijn er gemaakt en welke data is er gebruikt.Uitlegbaarheid: hoe is het systeem tot een bepaalde beslissing gekomen? Dit is vooral van belang als een systeem beslissingen neemt die burgers persoonlijk raken.
Doelen
Bij het inzetten van AI-systemen is het van groot belang dat je bepaalt wat het doel is van de inzet. Specifiek, welk beleidsdoel wordt hiermee nagestreefd? Het doel van een AI-systeem zal vaak ook in direct verband staan met de verwerkingsgrondslag, als er persoonsgegevens worden gebruikt. Als er ook secundaire beleidsdoelen zijn bij de aanbesteding voor het gebruik van het AI-systeem, is het van belang om dit op te nemen in de aanbesteding, want dan kunnen leveranciers zorgen dat hun systeem daar ook geschikt voor is.
Minimumvoorwaarden
Als de behoefte(s) en doel(en) duidelijk zijn, kan je minimumvoorwaarden gaan bepalen. Hierbij is de gemeente Amsterdam weer een mogelijke bron van inspiratie. Ze heeft namelijk modelvoorwaarden voor algoritmische toepassingen opgesteld. Naast deze voorwaarden kan je ook nog denken aan specifieke functionele eisen, zoals bepaalde prestatiegaranties, uitlegbaarheid of controlemogelijkheden.
Gunning en selectie
Het opstellen van de gunningscriteria zal in goed overleg met de toekomstige gebruiker moeten gebeuren. De prijs zal hierbij naast kwaliteit uiteraard ook altijd een rol spelen.
Bij het eventueel gebruiken van selectiecriteria waarmee het aantal gegadigden voor een inschrijving wordt teruggebracht, kun je aan de volgende aspecten denken: heeft dit bedrijf ooit een datalek gehad en waar wordt eventuele data opgeslagen.
Conclusie
De behoeftes, beleidsdoelen en minimumvoorwaarden zijn van groot belang bij een aanbesteding voor een AI-systeem, omdat het moeilijk is om puur op gunningscriteria meerdere systemen te vergelijken. Met goede minimumvoorwaarden weet je zeker dat je een AI-systeem koopt wat voldoet aan duidelijke eisen op het gebied van transparantie, kwaliteit en beheer.
Als je advies wil bij het aanbesteden van een AI-systeem, neem dan contact op met Rik Wevers (wevers@bg.legal).
