Podium het systeem, zie je in de praktijk dat er grote druk ontstaat op het navolgen van het systeem. De vrouw in kwestie kreeg dan ook door die hoge risicoscore geen pijnstillers voorgeschreven. Ongeacht hoe goed je het technisch inricht, als er geen ondersteuning in de richtlijnen is om af te wijken van het systeem dan ontbreekt ook effectief menselijk toezicht. Te complex voor AI Wederom is goed ontwerp, dit keer niet op technisch vlak maar institutioneel, goed mogelijk. Een mooi voorbeeld van hoe het anders kan is de New Zealand Accident Compensation Corporation (ACC). Omdat iedereen in Nieuw-Zeeland onder deze nationale (zorg)verzekering valt zijn er jaarlijks zo’n 2 miljoen claims te verwerken, waarvan gemiddeld ongeveer 96 procent goedgekeurd wordt. Om de doorlooptijden te verminderen werd daarom flink ingezet op automatisering. Een claim kan nu in principe volledig automatisch verwerkt worden. AI-systemen controleren dan of iemand gedekt is door de ACC, of de claim volledig is ingevuld en of hij uitgekeerd moet worden. Het menselijk toezicht is er wel, maar in beperkte mate. Als alle systemen zeggen dat een claim correct is en uitbetaald moet worden, dan gebeurt dat volautomatisch en binnen enkele minuten. De medewerkers komen pas in actie zodra een van de drie systemen van mening is dat er iets aan de hand is. Met de boodschap dat dit een te complexe claim is voor de AI-systemen gaat het dan naar een menselijke medewerker die alles met de hand naloopt. Zo doen zij uitdagend werk (je gaat vanzelf minder opletten als je 95 procent van de tijd op ‘ja’ drukt omdat de computer het werk al voor je heeft gedaan), ondervangen ze impactvolle fouten voor de burgers, en is er een duidelijk aanspreekpunt voor iedere claim die geweigerd wordt. Door een goede rolverdeling te vinden tussen AI en medewerkers ontstaat er ruimte voor effectief menselijk toezicht, met behoud van de voordelen van kunstmatige intelligentie. Kortom, effectief menselijk toezicht inrichten vergt goed ontwerp. We moeten op technisch en organisatorisch vlak medewerkers ondersteunen om het oneens te kunnen zijn met AI-systemen. Daarbij blijft het een uitdaging om een goede balans te vinden: we willen tegelijkertijd niet dat er fouten insluipen doordat er onterecht tegen een automatische beslissing ingegaan wordt. Dat vraagt om afwegingen; zoals de ACC besloot dat her en der een frauduleuze aanvraag goedkeuren een kostenpost is die ze willen dragen om niet iedere claim langs een medewerker te laten gaan. Maar bovenal kunnen we hier zien dat het mogelijk is om dat toezicht vorm te geven. We kunnen AIsystemen inzetten en ruimte laten voor menselijk inzicht. Het gebeurt alleen niet vanzelf. We moeten medewerkers ondersteunen om het oneens te kunnen zijn met AIsystemen Stefan Buijsman is universitair docent in filosofie van technologie aan de TU Delft en mede-oprichter van het TU Delft Digital Ethics Centre. Nummer 47, juni 2023 57
58 Online Touch Home