Naar de content

De bewijskracht van een bebloed moordwapen

De vele valkuilen in statistisch bewijsmateriaal

Arnout Jaspers voor NEMO Kennislink

DNA, vingerafdrukken, vage camerabeelden: altijd is de vraag, hoeveel zekerheid zulk bewijsmateriaal biedt. Schijnzekerheid heeft al tot menige rechterlijke dwaling geleid. Een lezing en een workshop op de Nationale Wiskunde Dagen gaven een rondleiding langs de valkuilen van de forensische wetenschap.

Het lijk van een vrouw wordt gevonden langs een bospad. Het mes waarmee ze is neergestoken, ligt ernaast. Ze woonde met haar vriend in een nabije stad met ongeveer een miljoen inwoners. Hun buurman heeft de avond daarvoor gehoord dat ze heftig ruzie maakten.
De vriend is bij de politie bekend vanwege vechtpartijen in de kroeg, maar niet wegens mishandeling van zijn vriendin. Hij zegt dat hij de avond van de moord in zijn stamkroeg zat, en hoewel bekenden dat bevestigen, kunnen ze er geen eed op doen dat hij daar de hele avond is gebleven.

Zo presenteerde Leila Schneps, vrij vertaald, een moordzaak aan haar publiek op de openingslezing van de Nationale Wiskunde Dagen 2018. Als professioneel wiskundige houdt Schneps zich met andere specialismes bezig, maar ze schreef ook het populair-wetenschappelijke boek: Math on Trial: How Numbers Get Used and Abused in the Courtroom.

Via hun mobiele telefoon kon het publiek live stemmen over bovenstaande zaak. De wiskundeleraren en wiskundigen oordeelden niet veel anders dan de Amerikaanse jury in deze fase van het proces. De overtuiging van de schuld van de vriend varieerde bij de grote meerderheid van 2 tot 6 op een 10-puntsschaal, en niemand achtte dit voldoende om de vriend te veroordelen.

Bebloede handpalm

Maar daarna werd nieuw bewijs aangedragen: op het mes zat een vage afdruk van een bebloede handpalm, die matchte met de handpalm van de vriend. Echter, palmafdrukken zijn veel minder specifiek dan vingerafdrukken. De deskundige schatte, dat deze palmafdruk bij 1 op de 100 willekeurige mensen een match zou opleveren.

Tijdens haar lezing liet Schneps het publiek van vooral wiskundeleraren stemmen over de kans dat het de verdachte schuldig achtte, terwijl ze stap voor stap het bewijsmateriaal presenteerde.

Leila Schneps/NWD

In hoeverre moet dit nieuwe gegeven je overtuiging van schuld vergroten? Opnieuw oordeelden de wiskundigen niet wezenlijk anders dan de jury: ze raakten iets meer overtuigd van de schuld van de verdachte, maar niet veel. Hun gemiddelde rapportcijfer steeg slechts van 3,7 naar 4,1. Nog steeds veel te weinig voor een veroordeling.

Maar gegeven je eerdere overtuiging en de kans op een willekeurige overeenkomst (0,01), kun je gewoon uitrekenen hoe de kansen liggen. Dit gaat met de regel van Bayes (zie de afbeelding hieronder). Het komt er op neer, dat je overtuiging des te meer moet stijgen, naarmate de kans op een willekeurige overeenkomst kleiner is. En die is in dit geval vrij klein, 1 op 100. Zodat je overtuiging, als je strikt rationeel redeneert, flink moet stijgen. Als je die in eerste instantie slechts het rapportcijfer 2 gaf, is er dankzij de handpalm-match toch 96 procent kans dat de vriend de dader is! Gaf je je overtuiging eerst een 5, dan stijgt die kans naar 99 procent, en was je overtuiging een 7 waard, dan is de vriend met 99,6 procent zekerheid de dader.

Zwak bewijs?

Mensen, wiskundig geschoold of niet, redeneren niet rationeel en schatten het belang van zulk aanvullend bewijs veel te laag in. Het – op zich correcte – idee, dat er in een stad van een miljoen mensen ongeveer tienduizend rondlopen waarvan de handpalm ook matcht met het bloedspoor, zorgt er blijkbaar voor, dat die match als heel zwak bewijs wordt gezien.

Als je in een grote stad op zoek gaat naar mogelijke verdachten, zegt zo’n 1:100 match inderdaad vrijwel niets over schuld. Maar gegeven het feit dat je – om goede redenen – één verdachte in beeld hebt, is zo’n match zeer belastend bewijsmateriaal voor die verdachte. In dit geval was men te terughoudend, maar het omgekeerde komt vaker voor. Als er moeilijk in te schatten aanwijzingen opduiken dat er iets aan de hand is, geldt al gauw de redenatie: geen rook zonder vuur. “Dan nemen mensen het zekere voor het onzekere,” aldus Schneps, “en beschuldigen liever iemand dan een mogelijke moordenaar te laten lopen.”

Vermeende seriemoordenares

Een voorbeeld dat Schneps aanhaalde was de vermeende seriemoordenares Lucia de Berk, die pas na een opeenvolging van rechterlijke dwalingen van elke blaam werd gezuiverd. Zonder dit psychologische mechanisme was er waarschijnlijk nooit een strafzaak tegen haar gekomen. “Voor verplegers en verpleegsters is het altijd heel moeilijk om je tegen zo’n beschuldiging te verweren,” zegt Schneps, “want ze hebben de middelen om het te doen, en de mogelijkheid, en er is altijd het mogelijke motief van euthanasie.”

Wat het inschatten van de bewijskracht bij rechtszaken zo moeilijk maakt, is dat je telkens met alle relevante waarschijnlijkheden rekening moet houden. Mensen blijken daar onbekwaam in te zijn – statistici niet uitgezonderd, als die snel een oordeel moeten geven.

Daarom zijn de laatste jaren in Nederland stricte protocollen ontwikkeld voor de manier waarop getuige-deskundigen hun bevindingen aan rechters moeten rapporteren. Dat geldt voor DNA-profielen, maar ook voor vingerafdrukken, camerabeelden en al het andere bewijsmateriaal waar iets kwantitatiefs over te zeggen valt.

Workshop recht spreken

In een workshop onder leiding van Barbara van den Berg, wiskundige aan de Universiteit Utrecht, konden de deelnemers hier zelf mee aan de slag. Van den Berg geeft masterstudenten strafrecht aan de UvA college om de kracht van forensisch bewijsmateriaal professioneel te beoordelen. Gezien de achtergrond van deze toekomstige rechters, officieren van justitie en advocaten – veelal een alfa-pakket op school en daarna de studie rechten – is dat geen sinecure. Van den Berg: “Maar je móet daar over nadenken, je hebt geen keus.”

Zoals ook bleek tijdens de workshop, is die beoordeling zelfs voor wiskundig geschoolden vaak lastig en tegen-intuïtief. Van den Berg: “Ons advies is altijd om er niet bang voor te zijn, maar te denken: ‘Hier ga ik eens rustig voor zitten’.”

De regel van Bayes, toegepast op rechtspraak. Links van het = teken staat hoe overtuigd de rechter uiteindelijk zou moeten zijn. Helemaal rechts staat zijn overtuiging voordat het nieuwe bewijsmateriaal – bijvoorbeeld een match tussen de verdachte en een onvolledig DNA-profiel of vage camerabeelden – gepresenteerd werd. Daar tussen in staat een likelihood ratio, en de getuige-deskundige rapporteert die als een getal, of een kwalificatie als ‘het is zeer veel waarschijnlijker dat…’ Barbara van den Berg/NWD

Kop of munt

In de workshop moeten we van allerlei uitspraken aangeven of die juist of onjuist zijn, op grond van een deskundigenrapportage over vage camerabeelden van een straatroof. Zoals: ‘Er is veel meer dan 50 procent kans dat de verdachte de persoon op de camerabeelden is’. Of: ‘De uitkomst van dit onderzoek vormt in sterke mate bewijsmateriaal tegen de verdachte’.

We scoren nauwelijks beter dan kop of munt gooien, vooral omdat de formulering zo nauw luistert, op het pietepeuterige af. Leken denken dat een getuige-deskundige, bijvoorbeeld op grond van een match tussen twee DNA-profielen, de rechter vertelt dat de verdachte met een kans van, zeg, 99,9 procent de dader is. Maar die getuige-deskundige mag daar helemaal geen uitspraak over doen. Het oordeel ‘deze verdachte is de dader’ moet altijd gebaseerd zijn op een beoordeling van al het bewijsmateriaal, en dat komt alleen in het vonnis van de rechter samen.

Likelihood ratio

Een deskundige die het DNA-profiel van een verdachte en een DNA-profiel van de dader dat is aangetroffen op de plaats delict met elkaar vergelijkt, mag alleen iets zeggen over de verhouding (likelihood ratio, LR) tussen ‘de kans dat de DNA-profielen matchen omdat het DNA-spoor werkelijk van de verdachte is’ en ‘de kans dat de DNA-profielen matchen omdat er een toevallige match met een willekeurige persoon is’. Van al het overige bewijsmateriaal mag hij of zij niets weten, zodat het oordeel over de DNA-match daardoor niet beïnvloed wordt.

Zelfs als de deskundige zegt dat de LR 1 miljoen is (kans op ‘echte’ match is een miljoen keer groter dan kans op een toevallige match), kan dit een onvoldoende bewijs voor schuld zijn. Immers, als die verdachte alleen maar boven kwam drijven omdat zijn DNA-profiel een van de 10 matches is uit een database met 10 miljoen DNA-profielen, is de kans op een toevalstreffer minstens 90 procent. Zelfs die kans hangt nog van allerlei aannames af, met name of de echte dader wel in de database zit!

Als je desondanks de conclusie trekt dat de verdachte met een kans van een miljoen tegen één schuldig is, bega je de beruchte prosecutor’s fallacy (‘aanklagersdwaling’). Zeker in de VS, waar de aanklager zulke argumenten naar voren brengt voor een jury van leken, heeft dit soms meegespeeld bij een onterechte veroordeling van de verdachte. Er zijn geen Nederlandse rechtszaken, waarvan is aangetoond dat de rechters op grond van de prosecutor’s fallacy tot een onterechte veroordeling kwamen. Maar niemand kan in het hoofd van de rechter kijken, en vonnissen zijn in Nederland vaak maar heel summier gemotiveerd.

Breed toegepast

In de Bayesiaanse aanpak van kansrekening, die in de forensische wetenschap nu breed toegepast wordt, is er altijd een aanvankelijke overtuiging over de schuld van de verdachte, de prior odds. Deze kan heel intuïtief tot stand gekomen zijn. Stel dat de verdachte de straatroof bekend heeft. Maar de rechter weet ook, dat de verdachte ooit psychotisch geweest is. Een arts verklaart, dat de verdachte nu geen tekenen van psychose vertoont maar dat hij niet kan zeggen of de verdachte ten tijde van de straatroof psychotisch was. Hoe moet je de betrouwbaarheid van die bekentenis, dus je prior odds, dan inschatten?

Hoe dan ook, als er ander bewijsmateriaal is, zoals vage beelden van een bewakingscamera, kan een getuige-deskundige een LR bepalen over de match tussen foto’s van de verdachte en die camerabeelden. De prior odds maal die LR wordt dan per definitie de posterior odds, de mate van overtuiging van de schuld achteraf. Als er nog meer bewijs is, zoals een afdruk van een handpalm, levert ook dat een LR op die de mate van overtuiging beïnvloedt. Maar je mag LR’s van verschillende soorten bewijs niet zomaar met elkaar vermenigvuldigen. Dat veronderstelt namelijk dat al die kansen onafhankelijk van elkaar zijn, en in de echte wereld is dat vaak niet het geval.

Van den Berg: “Ik denk dat de grootste fout, de prosecutor’s fallacy, steeds minder wordt gemaakt. Sinds een paar jaar lopen bij rechtbanken forensisch medewerkers rond, waaraan de rechter advies hierover kan vragen, zodat het goed in het vonnis komt te staan. Rechterlijke ambtenaren in opleiding krijgen hier ook cursussen over. Maar ik weet niet of dat betekent dat er ook expliciet over de prior odds wordt nagedacht.”

Alles of niets oordeel

Bayesiaanse kansrekening is een goed richtsnoer voor getuige-deskundigen, en kan een sanity check voor rechters en officieren van justitie zijn. Maar het kan gezond verstand en pragmatisch redeneren nog lang niet vervangen. In vonnissen van rechtbanken zul je dan ook geen Bayesiaanse rekensommen aantreffen, of een conclusie als: ‘Na kennisname van al het bewijsmateriaal acht de rechtbank de kans dat de verdachte schuldig is 98 procent’. Een vonnis moet vaststellen dat de verdachte schuldig of onschuldig is, het is een alles of niets oordeel, en rechters zijn niet verplicht om daar uitvoerige argumentatie bij te leveren.

Van den Berg: “Ik denk inderdaad niet dat rechters in de raadkamer LR’s zitten te vermenigvuldigen. Dat is misschien maar goed ook, want het combineren van bewijsmiddelen is erg ingewikkeld. Het is beslist nog geen uitgemaakte zaak of en hoe het Bayesiaanse model een rol kan spelen bij de beoordeling van het geheel aan bewijsmiddelen.”

ReactiesReageer