AI Act volstaat niet Roel Dobbe, assistant professor Data en Algoritmes bij Technische Bestuurskunde TU Delft en gelieerd aan het Digital Ethics Centre, gaf de Directie Coördinatie Algoritmes input aangaande systeemtoezicht; een bredere focus dan louter controle op specifieke datasets, algoritmes en kunstmatige intelligentie gezien als ‘product’. ijn expertise komt voort uit toepassing van veilige automatisering in klassieke technologiedomeinen zoals de luchtvaart, die niet beperkt is tot adequate algoritmes. Zo behelst de veiligheid van autopilots in vliegtuigen behalve algoritmische regelsystemen ook de interactie met de piloot, procedures voor naleving van allerlei regels, standaarden voor onderhoud en de parate kennis van betrokken professionals. “M De systeemveiligheidstraditie voor automatisering gaat meer dan 70 jaar terug. Er zijn veel lessen uit deze geschiedenis die nu nog veel te weinig worden erkend en toegepast voor nieuwe toepassingen met algoritmes en kunstmatige intelligentie. De DCA kan deze benutten in haar taak om breder te kijken naar het algoritme in ‘systeemcontext’. Zo worden veel algoritmes in het openbaar bestuur in ketens van organisaties uitgevoerd, bijvoorbeeld de Keten Werk en Inkomen. Daar ontbreekt duidelijke centrale coördinatie en verantwoordelijkheid om burgers die beklemd raken door complexe regels en geautomatiseerde besluitvorming te Hoogleraar Peter de Kock roept op tot terughoudendheid bij toezicht vanwege het noodzakelijke leren met experimenten… “De meeste algoritmes zijn eenvoudig en al lang in gebruik. Met welke implicaties? Daarnaast heb je innovaties die belangrijk zijn voor de samenleving. Experimenten zijn mogelijk, maar je moet grenzen waarborgen. Een auto mag pas na goedkeuring inzake veiligheid de weg op, zo ook moet dat gelden voor risicovolle algoritmes.” Europa met regulering als braafste jongetje van de klas, technologisch voorbijgestreefd door de VS en China? “China en de VS begrenzen ook algoritmische werking. Europa loopt voorop met AI-regelgeving en stelt grenzen waar het bedrijfsleven mondiaal van profiteert. De AI-toepassing voor huis-, tuin- en keukentoepassingen is geen probleem, Nummer 48, oktober 2023 helpen en systemen te verbeteren om toekomstige fouten te voorkomen. Dit vraagt om een veiligheidscultuur. De kern: als je alles technisch en procedureel qua risicomanagement goed opzet, maar mensen zijn niet in staat om euvels bespreekbaar te maken, dan leer je niet van fouten. Dat leidt bij grootschalig toegepaste algoritmes vaak tot heel veel schade. We zien dat het Nederlandse bestuur vaak tekortschiet in het verschaffen van informatie om lessen te trekken. Dat versterkt het wantrouwen en voedt een afrekencultuur waardoor bestuurders en ambtenaren nog meer angst krijgen om fouten te maken. Een vicieuze cirkel. Je ziet bijvoorbeeld dat de Belastingdienst helemaal vastloopt met de afhandeling van het Toeslagenschandaal. Als systeemtoezichthouder moet de DCA dus ook de context van algoritmes en AI in oogschouw nemen. De Europese AI Act is een goede start maar onvoldoende, want deze focust primair op productveiligheid, en niet op het bredere proces, de organisatie en systemen waarin algoritmes en AI worden geïntegreerd. Verder veroorzaakt de verspreiding van data via basisregisters over verschillende systemen in het openbaar bestuur onveilige situaties. De bron van fouten is niet goed traceerbaar. Als laatste worden in Nederland erg veel inlichtingen gewonnen over burgers zonder een duidelijk doel of wettelijke basis, recent nog uiteengezet door professor Bob de Graaff. Er zijn veel gewoonten en convenanten om persoonsgegevens te verzamelen waarop algoritmes worden toegepast. Dat is vragen om nieuwe problemen. We moeten veel kritischer grenzen stellen aan gegevensuitwisseling.” pas bij een hoog risico. Dat moet je niet ingewikkelder maken dan het is. Ik denk dat in 80 procent van de gevallen er geen hoog risico zal zijn, bij 20 procent wel. Dan zitten we dicht op de bal.” De AP kapittelde minister Hoekstra van Buitenlandse Zaken vanwege een algoritme met visumverstrekking. Wat is de uitkomst? ”Dit loopt nog.” Dit duurt weer erg lang. De slagkracht van de AP wordt vaak bekritiseerd, wordt die van de DCA beter? “Ik uit nu geen zorgen over onze gebrekkige capaciteit, maar er is veel nieuwe wetgeving vanuit Brussel waarvoor nationale toezichthouders voldoende capaciteit moeten hebben. Dat geldt ook voor de uitvoeringsorganisatie en het bedrijfs leven om conform die nieuwe regels te opereren.” 15
16 Online Touch Home