Waarom? “Het veiligheidskader is duidelijk, maar het Europees parlement heeft een aanscherping gemaakt van risico’s van AI en algoritmes die ook wij zien. We zijn er redelijk actief bij betrokken, samen met ministeries. We zoeken nu de internationale samenwerking.” In hoeverre helpt al dit overleg de concretisering van het toezicht? “Inderdaad zien we uitdagingen in de concreetheid van het toezicht nu. Het begint met bewustwording en organisaties helpen met risicobeheersing van algoritmes, bijvoorbeeld met testen en jaarlijkse audits. Uit de praktijk blijkt dat dit vaak nog niet gebeurt en er is veel te winnen. We houden het nog eenvoudig, met het benadrukken van de noodzakelijke voorwaarden.” Eerste rapport Onlangs verscheen de eerste Rapportage Algoritmerisico’s Nederland. Ze is beperkt (17 pagina’s) en staat, logischerwijs, nog vol onzekerheden en vaagtaal, zo wordt ook erkend: “Initiatieven zoals registers, productstandaardisatie, beoordelingskaders en audittechnieken bevinden zich vaak nog in de pilotfase. Ook deze eerste rapportage is daar in zekere zin een voorbeeld van. Het is pionieren…” Harde oordelen staan erin over het Criminaliteits Anticipatie Systeem (CAS) van de Nationale Politie – na onderzoek van de Rekenkamer – en algoritmes van banken om witwassen te detecteren en van gemeenten in fraudebestrijding. Transparantie over risico’s schiet tekort, vooral over ‘groepsdiscriminatie’. Ook wordt het probleem benoemd van AI-systemen die zonder keuring vooraf op de markt komen. “Hierdoor blijft de kans nadrukkelijk bestaan dat niet-geschikte algoritmische systemen met hoog risico op de markt komen en ingezet worden door private en publieke partijen.” 14 Waar steken jullie straks in: vanuit de meldingen in het algoritmeregister, of na klachten en wetsvoorstellen net als bij de AVG? “Beide… Waar we naartoe werken is: stel, iemand dient een klacht in na een ervaring van een onterechte uitkomst van een bepaalde organisatie. Een persoon kan al een klacht indienen bij het meldpunt Discriminatie, de Nationale Ombudsman of het College voor de Rechten van de Mens, en de uitdaging is te ontdekken of een algoritme of AI de onderliggende oorzaak is. Hier wil je samen de rode draden ontdekken. Dat staat echt nog in de kinderschoenen, maar daar zien wij waarde in. Vervolgens bepalen we of corrigerend optreden vereist is.” En profilering? “We moeten het maatschappelijk debat voeren over de mate van transparantie van profilerende algoritmes. Je wilt dat mensen vertrouwen kunnen hebben in het goed functioneren van profilerende algoritmes; en kunnen vaststellen of dat al dan niet het geval is en dat kunnen laten herstellen. Nu nog beschouwen veel organisaties profilerende algoritmes als interne aangelegenheid terwijl ze wel de fundamentele behandeling van burgers en consumenten beïnvloeden. Moet voor overheidsorganisaties dat niet harder gemaakt worden in een expliciete grondslag en onderdeel van het politieke debat?” Beoordelen jullie als DCA al concreet algoritmes? “Nee, we kijken nog overkoepelend naar het stelsel. Mijn focus ligt nu allereerst op het versterken van het macroperspectief. We bouwen aan krachtig microtoezicht op individuele organisaties. Hopelijk is de AI Act spoedig beschikbaar met een wettelijk instrumentarium.” Een auto mag pas na goedkeuring inzake veiligheid de weg op, zo ook moet dat gelden voor risicovolle algoritmes
15 Online Touch Home