Dat is veelal een mix van technische keuzes en van keuzes in de governance. Technisch kan er bijvoorbeeld gekozen worden om weinig tot geen andere informatie te tonen, waardoor degene die het menselijk toezicht moet waarborgen feitelijk geen andere keuze heeft dan het algoritme te vertrouwen. Koppel dat aan een instelling waarbij het eens zijn met het algoritme automatisch verwerkt wordt, maar waarbij afwijken van de suggestie gemotiveerd moet worden, en je richt al snel een omgeving in waarbij medewerkers er slechts zitten om op de knop te drukken zonder echt waarde toe te voegen. Vlaggetjes Gelukkig is er op technisch vlak wel degelijk veel mogelijk om medewerkers juist te ondersteunen. We kunnen bij AI-systemen bijvoorbeeld vlaggetjes op laten gaan op het moment dat er redenen zijn om te denken dat het systeem onbetrouwbaar is; door te signaleren dat iets een randgeval is, of dat de confidence-scores voor deze uitkomst relatief laag zijn. Bij de USS Vincennes zou dat een lampje zijn geweest dat aangaat als het identificatiesysteem niet gereset is. We wisten immers al dat een reset nodig is voor betrouwbare metingen. Net zo goed zou je meerdere, onafhankelijke, indicatoren kunnen uitwerken en tonen in een overzicht, waarbij het aan de mensen is om die tegen elkaar af te wegen. Op de USS Vincennes was een logboek aanwezig met de passagiersvlucht erin, evenals een scherm waarop de hoogtemetingen voor vliegtuigen stonden. Als die indicatoren naar dezelfde conclusie hadden gewezen (bijvoorbeeld ‘dalend vliegtuig, geïdentificeerd als straaljager en niet geregistreerd in het logboek’) was er een duidelijke reden om het eens te zijn met de systemen. Als ze echter verschillende uitkomsten adviseren dan is dat een duidelijk teken dat dit geval extra aandacht vereist. Hetzelfde kunnen we doen voor digitale informatiesystemen, waarbij dashboards zo ingericht worden dat ze mogelijke indicatoren dat het systeem het fout heeft (door onbetrouwbaarheid of door gemiste informatie die iets anders zegt) inzichtelijk maken. Systeem begrijpt het niet Die technische aanpak kan zeker helpen. Maar het succes van effectief toezicht staat of valt met de organisatorische richtlijnen voor de medewerkers. De Amerikaanse omgang met het algoritme NarxCare is daar een goed voorbeeld van. Dit algoritme is expliciet bedoeld ter ondersteuning van artsen en apothekers in het verstrekken van verslavende pijnstillers (voornamelijk opioïden). Het gebruikt data uit de patiëntendossiers om een risicoscore op te stellen voor verslaving. Het idee is dat boven een bepaalde score iemand geen nieuwe pijnstillers mag krijgen om verslaving te voorkomen. Nu gaat dat lang niet altijd goed; er is bijvoorbeeld een geval bekend waarbij een vrouw een hoge risicoscore kreeg omdat haar hond medicijnen kreeg en het systeem dat onderscheid niet begreep. Idealiter grijpt de arts dan in, omdat dat de aangewezen persoon is om dit soort nuances te begrijpen en dus om fouten te herstellen. Een heel aantal Amerikaanse staten heeft er echter voor gekozen om in de wet op te nemen dat als een arts niet aantoonbaar gebruikmaakt van NarxCare hij of zij het risico loopt om de beroepsvergunning te verliezen en zelfs strafrechtelijk vervolgd te worden. Alhoewel het hier feitelijk alleen gaat om het raadplegen van 56
57 Online Touch Home