Podium en mensen voor effectief toezicht A chteraf bleek er wel degelijk informatie aanwezig die liet zien dat het bij Iran Air-vlucht 655 om een passagiersvlucht ging; het vliegtuig was aan het klimmen en stond netjes geregistreerd in het logboek van passagiersvluchten. In eerste instantie had het automatische systeem het vliegtuig ook goed geïdentificeerd, maar gaf het de tweede keer misleidende informatie omdat de officieren vergeten waren om het systeem te resetten. Daardoor pikte het systeem niet de passagiersvlucht op, maar een stilstaand gevechtsvliegtuig van een nabije militaire basis. Uiteindelijk wisten de officieren die de opdracht gaven niets van deze afwijkende informatie (het logboek was door ontwijkende manoeuvres van de tafel gevlogen, de radar met hoogte-informatie was ver weg van het scherm waarop de vlucht als gevechtsvliegtuig was aangemerkt) en namen ze het noodlottige besluit. Dit is een heftig voorbeeld van een van de grote uitdagingen van het gebruik van automatische systemen in besluitvoering. We raken afhankelijk van deze systemen, of ze nu goed werken of niet. En het is vaak lastig om effectief toezicht te houden en in te grijpen als het systeem ernaast zit. Dat gold voor de informatiesystemen die de USS Vincennes aan boord had, en geldt net zo goed voor ons huidige gebruik van AI-systemen om besluitvorming te ondersteunen. Als het systeem een bepaalde beslissing voorstelt zonder dat wij verdere informatie hebben die dat tegenspreekt, dan is het al snel lastig om tegen het voorstel in te gaan. Automation bias, onze neiging om systemen relatief snel te vertrouwen en als objectiever te zien dan mensen, helpt daar niet bij mee. Maar vaak is het ook een kwestie van de opzet van de interactie tussen medewerker en het systeem. Nummer 47, juni 2023 55
56 Online Touch Home