Wisdom of crowds: geen waarheid als een koe

Om de wisdom of crowds aan te tonen, wordt vaak het experiment gedaan waarbij een grote groep mensen individueel het gewicht van een koe moet schatten. Het gemiddelde van deze schattingen blijkt vaak ver van het werkelijke gewicht af te liggen. Kennelijk is de wisdom of crowds toch niet zo eenvoudig als velen op basis van Surowiecki’s boek ‘The wisdom of crowds’ denken.

Moe van de koe!

Het afgelopen jaar heb ik aan verschillende debatten over de ‘wisdom of crowds’ deelgenomen en was ik te gast bij enkele radio- en tv-programma’s hierover. Populair daarbij is het hierboven beschreven experiment, waarbij een grote groep mensen gevraagd wordt om individueel het gewicht van een voorwerp, een koe of een auto, te raden.

Het is begrijpelijk dat de koe erbij gehaald wordt: dit voorbeeld spreekt tot de verbeelding en het kan een hele eenvoudige manier zijn om de ‘wisdom of crowds’ aan te tonen, naar het voorbeeld van Surowiecki die er zijn gelijknamige boek mee begint (de os van Galton). Toch bleek in de twee experimenten die ik mee maakte, het gemiddelde van de schattingen ruim (lees: honderden kilo’s) naast het werkelijke gewicht van de koe of auto te zitten. Hoe komt dat?

Er zijn allerlei verklaringen voor te bedenken: de mensen kunnen de koe of auto niet goed beoordelen omdat ze hem alleen op een plaatje te zien krijgen, daardoor mis je diepte en schat je lager. Misschien was de groep niet divers genoeg, immers je zit al snel met hoger opgeleiden in een zaaltje om elitair over de wisdom of crowds te praten. En proberen alle deelnemers een serieuze inschatting te maken of doen ze in een wilde gok. En mag je van de individuele schattingen eigenlijk wel gewoon het gemiddelde uitrekenen of moet je de mediaan pakken of geavanceerdere wiskunde gebruiken? Al deze verklaringen zijn plausibel, maar ze illustreren tegelijkertijd hoe lastig de ‘wisdom of crowds’ is.

De juiste omstandigheden zijn lastig vast te stellen

Surowiecki heeft in zijn boek aan ‘alles’ gedacht en beschrijft keurig aan welke voorwaarden een ‘wijze’ groep moet voldoen. De individuen in die groep moeten onafhankelijk zijn, zodat groupthink voorkomen wordt, ook moet de groep voldoende divers zijn, zodat fouten zich uitmiddelen en de schattingen moeten gebaseerd zijn op (eigen en locale) kennis, dus geen wilde gok. En tot slot: de individuele inschattingen moeten op een verstandige manier worden geaggregeerd (dat kan optellen zijn, maar dus ook geavanceerder).

Surowiecki vertelt er alleen niet bij hoe je van tevoren kunt weten of je aan deze voorwaarden hebt voldaan. Op het moment dat ‘wisdom of crowds’ versimpeld wordt tot het correct schatten van het gewicht van de koe, wordt het steeds meer een wijsheid achteraf, ‘er naartoe praten’. Iets vergelijkbaars doet Richard Bollen die aan de hand van miljoenen Twitterberichten de beurskoers voorspelde, weliswaar achteraf. Door het verloop van bepaalde emoties te vergelijken met het verloop van de aandelenkoers, zag hij dat koerswijzigingen voorafgegaan werden door een verandering in de emoties, enkele dagen van tevoren. De komende jaren zal moeten blijken of zijn gevonden verband ook echt voorspellend is. Het verschil met de koe is wel dat beurskoersen mede bepaald worden door emoties.

Het raden van het gewicht van de koe blijkt dus vooral een peiling van het gemiddelde kennisniveau. Je krijgt een aardig gevoel voor de orde grootte van het gewicht van de koe of auto. Als je geen flauw idee hebt, dan is deze globale inschatting al heel waardevol. Daarmee is de wisdom of crowds bruikbaar voor talloze situaties waar we nu nog niets of weinig van weten, zoals het verband tussen ons gedrag en onze gezondheid of het milieu. Ook kun je met eenvoudige kansberekening laten zien dat een groep met gedeeltelijke kennis in staat is om het beste antwoord eruit te halen als er vier antwoorden gegeven worden. Handig dus om het publiek in te zetten als hulplijn bij Weekend Miljonairs.

Wat zou Google doen?

Als je het beter wilt doen dan een aardige schatting, wordt het een stuk ingewikkelder, een echte hersenkraker. Google wil ons zoekresultaten geven die het beste aan onze wensen en verwachtingen voldoen, die wij het meest relevant vinden. Google leert daarmee impliciet van onze kennis, die wij als mensen gebruiken om antwoorden te evalueren en beoordelen. Daarmee is Google onze grootste gemene deler. Is dat wijsheid? Het is op dit moment het beste wat we hebben om de eindeloze hoeveelheid informatie op internet hanteerbaar te maken. En Google probeert dat zo verstandig (en commercieel) mogelijk te doen. Een bedrijf als Google weet dat als geen ander.

Google probeert om zoveel mogelijk informatie op internet doorzoekbaar te maken, zodat het ons als gebruiker zo relevant mogelijke antwoorden kan geven op onze vragen. Google maakt daarbij onder andere gebruik van de wisdom of crowds, door te kijken naar hoe vaak er naar een bepaalde pagina wordt verwezen door andere websites. Websites met veel kruisverbanden zijn relevanter en eindigen hoger bij de zoekresultaten. Maar het ingenieuze algoritme van Google kijkt naar meer dingen: zo krijgen bepaalde ‘gerespecteerde’ bronnen een groter gewicht toegekend dan andere, worden er gecorrigeerd voor groupthink en probeert Google tegen te gaan het tegengaan van websites die proberen om kunstmatig hoog te eindigen of andere vervuilingen. Vervolgens leert Google van onze feedback: welk zoekresultaat wordt als eerste aangeklikt en hoe kan dit een volgende keer nog hoger, liefste op één eindigen. Het algoritme dat Google gebruikt, is even geheim als complex.

Een interessante vraag daarmee is hoe Google’s benadering het in de toekomst blijft doen tegenover sociale zoekmachines zoals Twitter en Facebook (en inmiddels ook Google en Microsoft Bing) die ontwikkelen. Zij kijken naar wat mensen aan elkaar doorvertellen (zonder daarbij weblinks aan te maken, waar Google naar kijkt). Verschillende experts gebruiken hun sociale netwerk van andere experts en vakgenoten om relevant nieuws te filteren en zeggen hiermee betere antwoorden op hun vragen te krijgen dan wanneer ze zoeken via Google. Dat is een van de redenen waarom Google ook ‘socialer’ wil worden. Als je een ingewikkelde esoterische vraag krijgt bij Weekend Miljonairs, dan vraag je het liever je excentrieke oom uit Biddinghuizen, dan aan de zaal. Die vraag je liever naar die ene (populaire) film met al dat bloed en Uma Thurman.

Hoe verder?

Is de ‘wisdom of crowds’ daarmee definitief ontmaskerd als een fabeltje? Voor een deel wel, zeker als het gaat om het vinden van absolute antwoorden op feitelijke vragen waar je de antwoorden niet op kent. Maar zeker niet als je de wisdom of crowds ziet als een manier om vrijwel ontoegankelijke informatie van het web, hanteerbaar te maken, of als je een schatting wilt hebben van iets waar je nog helemaal niets van wist. En als je ‘wisdom of crowds’ ziet als een manier om veel meer gebruik te maken van de kennis en kunde die aanwezig is in onze samenleving, bij gewone mensen, en die we nu dankzij het web eindelijk veel beter kunnen benutten. Door de ontwikkeling van algoritmes om informatie te doorzoeken en beurskoersen te voorspellen, leren we steeds beter hoe we handig en verstandig gebruik kunnen maken van de wisdom of crowds.

En verder leert het voorbeeld van de koe ons vooral dat de ‘wijsheid van een groep’ niet eenvoudig is: denk aan de juiste samenstelling van de groep (crowd), de waarde van experts en dwarsdenkers, het feit dat kennis zich vaak niet laat optellen, maar dat het vraagt om voortdurende discussie, debat, dialoog en af en toe zelfs strijd. Dat is waarop onze samenleving en onze wetenschap gebouwd zijn. Inzien dat de koe een leuke anekdote is, dat is pas wijsheid.