Hoe algoritmes straks tussen leven en dood moeten kiezen

Column – Het zou een interactieve videogame moeten worden, waarbij de gebruiker zelf het scenario zou mogen meebepalen door, na een eerste scène, hem een keuze aan te bieden. Bepaal zelf nu of de hoofdpersoon ingaat op het aanbod van de straatbedelaar (A), of dat hij besluit zijn tocht met zijn vriendelijke maar dwingende moeder voort te zetten (B). Maak nu uw keuze: A of B. Het was ergens in 1995, en ons was door Philips gevraagd om spellen te ontwikkelen voor de CD-i, de interactieve cd-speler, het bevestigende voorbeeld van een typische Philips-olympische kür: idee een 9, uitvoering een 3. Het spel is er nooit van gekomen. Het bleek toch té ingewikkeld en duur te zijn en het zou misschien pas op de markt komen als de CD-i-speler die markt al verlaten had.

Terror, Ihr Urteil

Maar ik moest er wel onmiddellijk aan denken toen ik las over Terror, Ihr Urteil. Op 17 oktober werd het programma uitgezonden, om kwart over acht op het eerste Duitse net. De zaak: de kijkers krijgen het verhaal van het passagiersvliegtuig dat is gekaapt. Het toestel heeft 164 mensen aan boord op een vlucht van Berlijn naar München. Duidelijk is dat het vliegtuig koers zet naar het Olympisch stadion Allianz Arena waar op dat moment 70.000 toeschouwers kijken naar een voetbalwedstrijd.

Moet er worden ingegrepen of niet?

Welke levens red je?

Het toestel wordt op 15 kilometer voor het stadion uit de lucht geschoten door een gevechtsvliegtuig, bestuurd door de fictieve majoor Lars Koch. Het gekaapte toestel stort neer in een aardappelveld. Alle inzittenden komen om, ook de terroristen. Wat we te zien krijgen in Terror, Ihr Urteil is de rechtszaak waarin deze aanslag wordt behandeld. Voor- en tegenstanders worden aan het woord gelaten. Mag de staat het ene leven afwegen tegen het andere? Had het stadion nog kunnen worden ontruimd? Hoeveel doden zouden gevallen zijn als het vliegtuig op of in het stadion was neergestort? Hadden de passagiers niet nog een kans om de kapers te overmeesteren? Op welk moment mag je de beslissing nemen? De camerabewegingen zijn langzaam, de beelden van de voor- en tegenstanders indringend.

Argumenten worden gewisseld, en uiteindelijk is de kijker de jury en mag zij gaan stemmen. Is Lars Koch schuldig aan moord of krijgt hij vrijspraak? De uitzending wordt tien minuten stilgelegd. Na deze onderbreking wordt de uitzending voortgezet conform het oordeel van de jury. Ofwel Koch wordt veroordeeld voor het moedwillig en doelbewust vermoorden van 164 inzittenden, ofwel hij wordt vrijgesproken. Beide scenario’s waren van te voren opgenomen.

De jury, het volk, de kijkers, oordeelde met grote meerderheid van stemmen dat majoor Lars Koch diende te worden vrijgesproken. 86,9 procent vond hem niet schuldig aan moord, tegen 13,1 procent die hem veroordeelde.

Trolley-dilemma

En weer moet ik denken aan het trolley-dilemma, stammend uit 1967. Een tram (trolley) rijdt een heuvel af. Vijf mensen zijn vastgebonden op de route die de tram zal volgen. Maar vlak voor de plek waar de bedreigden liggen, is een wissel. Bij omzetting neemt de tram een ander spoor. Op dit andere spoor loopt één persoon op de rails. Hij zal gedood worden als de tram het andere spoor neemt. Jij staat bij de wissel, en je kent beide scenario’s. Wat zou je doen?

Het trolley-dilemma vertoont grote overeenkomsten met Terror, Ihr Urteil. Lars Koch haalde de wissel om.

Tekening: Sterre Steins Bisschop

Spel tussen recht en moraal

In het geval van de televisie-uitzending is het een menselijke jury die de afweging moet maken. Het is een spel tussen recht en moraal, tussen sympathie en antipathie, tussen het imago van de held en de moordenaar. De handeling die gevechtspiloot Lars Koch neemt druist rechtstreeks in tegen het gestelde in de Duitse grondwet: “De waardigheid van de mens is onaantastbaar. Haar te respecteren en beschermen is de plicht van elke staatsmacht”. Ook nog interessant met het oog op het debat in de tweede kamer over een eventuele verandering van de euthanasie-normen, vorige week. Zou de uitslag anders worden als het stadion vol had gezeten met deelnemers aan de jaarlijkse landelijke feestdag van de levenseindekliniek?

Andere vraag: hoe zou de uitslag zijn van een dergelijke uitzending in andere landen? In Oostenrijk was de uitslag – het programma werd ook daar uitgezonden – exact hetzelfde. 86,9 procent was voor vrijspraak. Maar in Zwitserland lag het percentage lager: 84 procent voor vrijspraak. Zegt dit iets? En – nog veel indringender – wat zou de uitslag in Nederland zijn met onze zeer recente MH17-ervaring?

Wat zou een automatisch systeem beslissen?

De vraag die zich (weer & weer) opdringt is de volgende: kan een geautomatiseerd systeem – dus niet een mens – ooit de zorgvuldige beslissing nemen die zowel de toets van het recht als die van de moraal doorstaat? En wie programmeert dit systeem?

Het Amerikaanse leger experimenteert met grote self-driving supply trucks. Volvo doet ondergrondse tests met zelfsturende trucks in de Kristineberg-mijn, honderd kilometer van Arvidsjaur in noord-Zweden.

Welke afwegingen moeten zelfrijdende auto’s maken?

En of het nu trucks of auto’s zijn, maakt niet eens zo veel uit. Er komt een dag dat ze het bovengrondse grotemensenverkeer inkomen, en dat ze beslissingen moeten kunnen maken die vergelijkbaar zijn met de keuze die gevechtspiloot Lars Koch gemaakt heeft. En dan gaat het misschien niet over aantallen als 165 tegen 70.000. Een achter een bal rennend kind dat plotseling oversteekt kan alleen ontweken worden door een pauzerende groep accountants aan te rijden. De geprogrammeerde truck neemt de beslissing. Wordt ergens het algoritme van de grondwet meegewogen in de beslissingsboom?

Of: een zelfrijdende truck heeft door dat hij gehackt is en zijn koers verandert richting de Dam, in Amsterdam. Het is 4 mei, kwart voor acht in de avond. De truck heeft een noodprocedure waardoor hij zichzelf net op tijd reboot, en in zijn oorspronkelijk geprogrammeerde modus komt. Welke afwegingen worden gemaakt?

Afwegingen in een algoritme vangen

De rechtzaak in Terror, Ihr Urteil maakt duidelijk hoe ongelooflijk complex de afwegingen zijn die langskomen als over een dergelijk dilemma moet worden beslist. In de discussie na afloop bleek ook overduidelijk hoe standpunten worden gestuurd door bijvoorbeeld geloofsovertuiging of politieke achtergrond. Het is een fijnzinnig zorgvuldig debat van de allerhoogste orde.

De vraag is wanneer het zo ver is dat die fijnzinnig zorgvuldige afwegingen hun neerslag gevonden hebben in een code, een algoritme. Dat kon nog wel eens even duren, langer dan de tests in de Zweedse mijnen.

Home < Hoe algoritmes straks tussen leven en dood moeten kiezen