Waarom de replicatiecrisis in wetenschap relevant is voor marketeers

Onderzoeksresultaten die niet reproduceerbaar zijn: het is een gevoelig thema binnen de wetenschap. Met name onderzoek dat te maken heeft met psychologie krijgt veel kritiek te verduren. Waarom is de replicatiecrisis relevant voor jou als specialist in het online vakgebied?

De term replicatiecrisis verwijst over het algemeen naar de kritiek dat veel onderzoeksresultaten niet reproduceerbaar lijken te zijn. Vooral het vakgebied psychologie lijkt hier veel kritiek over te krijgen. Mede vanwege het Reproducibility Project: Psychology.

Onderzoekers die daaraan meededen probeerden de resultaten van 100 studies te reproduceren. 97 van die 100 studies gaven initieel aan significant effect resultaat te hebben gevonden. Maar bij de pogingen tot reproduceren bleek ongeveer 36% daarvan gerepliceerd te kunnen worden door onderzoekers van het Reproducibility Project.

Hoewel het woord replicatiecrisis alarmerend klinkt, is er ook zeker optimisme en hoop. Ik licht het verder toe in dit artikel.

• Wat kunnen oorzaken zijn?
• Hoe reageert de wetenschap?
• Voorbeelden uit de praktijk
• Waarom is dit relevant voor online?

Wat kunnen oorzaken zijn?

Er zijn verschillende verklaringen voor de replicatiecrisis.

• De groeiende hoeveelheid bureaucratische taken waardoor er minder tijd is voor het echte onderzoek.
• Concurrentie voor geldsubsidies om je onderzoek te kunnen uitvoeren.
• Fraude, zoals die van Diederik Stapel, hoogleraar sociale psychologie.
• Onvoldoende voorbereidingen om onderzoek zo zuiver mogelijk uit te voeren, of te weinig respondenten.
• Een incentive om positieve effecten aan te tonen zodat je paper/studie gepubliceerd wordt of überhaupt de druk om iets te publiceren. Ook wel bekend als publish or perish.
• Maatschappelijke omstandigheden die veranderen. Onderzoek uit de vorige eeuw hoeft bijvoorbeeld niet per se slecht uitgevoerd te zijn. Het kan ook zijn dat bepaalde onderzoeksresultaten toentertijd wel valide waren, maar vandaag de dag niet meer relevant.

Hoe reageert de wetenschap?

Uiteraard leeft het onderwerp binnen de wetenschap en daarom is er ook reden voor optimisme. Onderzoekers zijn zich bewust van het probleem en denken na over oplossingen. Zo wordt er nagedacht over:

• hoe we resultaten robuuster kunnen maken, bijvoorbeeld met grotere sample sizes.
• incentives. Momenteel heerst er een druk om vooral studies te publiceren die een significant effect hebben aangetoond in plaats van studies die geen effect konden aantonen. Misschien dat hier een cultuurverandering nodig is.
• meer transparantie, bijvoorbeeld het publiekelijk beschikbaar maken van gebruikte datasets.

Voorbeelden uit de praktijk

Wat zijn concrete voorbeelden van onderzoeken die we niet of maar deels kunnen reproduceren? Ik noem er een aantal.

Voorbeeld 1

Het beroemde boek Thinking Fast and Slow van Daniel Kahneman kreeg kritiek te verduren omdat bepaalde studies die hij citeerde nauwelijks of niet gereproduceerd konden worden.

Kahneman zelf kon zich vinden in de kritiek en zei later: “I placed too much faith in underpowered studies.” Kahneman verwijst in het boek bijvoorbeeld naar een studie die suggereerde dat respondenten langzamer liepen nadat ze in aanraking kwamen met woorden die relateren aan ouderdom. Maar dat onderzoek kon later niet gereproduceerd worden. Met name het gedeelte in Kahneman’s boek dat gaat over het priming-effect krijgt kritiek. Priming gaat over hoe aanraking met een bepaalde stimulans je gedrag op een later moment beïnvloedt.

Voorbeeld 2

Een studie genaamd ‘Analytic Thinking Promotes Religious Disbelief’ suggereerde dat analytische denkers minder geneigd zijn om te geloven in God.

Verschillende groepen respondenten kregen andere afbeeldingen te zien waarna ze moesten aangeven hoe religieus ze waren. De groep die de afbeelding te zien kreeg van een denkend beeld (Rodin’s The Thinker) gaven een lagere score op religieus vlak. Dit onderzoek is honderden keren geciteerd en ook besproken in de media, maar kon later niet gereproduceerd worden. Een van de mensen die aan het originele onderzoek meedeed verklaarde later dat het onderzoek eigenlijk niet echt serieus genomen moet worden door de kleine sample size.

Voorbeeld 3

De Amerikaanse psycholoog Eckhard Hess concludeerde dat je emoties kunt aflezen van de grootte van pupillen.

Zijn onderzoek is 790 keer geciteerd na publicatie in het blad Science. Onderzoeker Joost de Winter analyseerde het werk van Hess en de resultaten bleken maar deels in stand te houden. Er waren bijvoorbeeld afbeeldingen gebruikt door Hess die verschilden in helderheid en dat had effect op de pupildiameter.

Voorbeeld 4

Een onderzoek uit 2012 suggereerde dat mensen minder geneigd zijn om te liegen als ze aan het begin van een formulier (in plaats van einde) ondertekenen dat ze eerlijk zullen antwoorden.

Inmiddels blijkt dat de resultaten uit dat onderzoek problematisch zijn. Zelfs zo problematisch dat de onderzoekers zelf gevraagd hebben om de studie terug te trekken. Er zouden problemen zijn geweest met de verzamelde data uit het onderzoek. Een van de onderzoekers is zelfs de bekende Dan Ariely.

Waarom is dit relevant voor online?

Misschien vraag je je af waarom dit relevant is voor jou als specialist in het online vakgebied. Maar in het online vakgebied, zeker op gebied van conversieoptimalisatie, verwijzen we vaak naar onderzoek. ‘Dit of dat onderzoek heeft een bepaald effect aangetoond’. En we nemen vaak inzichten uit de psychologie mee in conversieonderzoek en uitwerken van A/B-tests.

Het is verleidelijk om een consultant te geloven als hij zegt ‘doe dit want uit onderzoek blijkt dat dit werkt’. Een gezonde dosis scepticisme kan nooit kwaad. Je kunt bijvoorbeeld doorvragen: welk onderzoek bedoel je? Hoe robuust zijn de resultaten van dat onderzoek? Kunnen we dit niet beter zelf A/B-testen in plaats van blind aannemen dat het ook voor ons zal werken? Zien we dat concurrenten dit ook toepassen met succes?

Ik zou vooral adviseren om lekker ook je eigen onderzoek te doen, bijvoorbeeld via je eigen analysetools, klantfeedback en A/B-testing. Maar dit zal altijd een lastige kwestie zijn waarbij je ook tijd en budget moet meewegen in je prioritering. Vaak zal je in de praktijk zien dat je simpelweg niet alles kunt testen.