De meest voor de hand liggende manier om te schatten hoe vaak iets voorkomt, is door een steekproef te trekken en die te bemeten. Stel dat je wilt weten welk percentage van de huishoudens een hond heeft. Je vraagt $n = 50$ willekeurige personen en $12$ daarvan geven aan een hond te hebben (en $38$ dus niet). Je schatting voor het percentage hondenbezitters is dus $\hat{p} = 12 /50 = 0{,}24$.

Dit is natuurlijk maar een schatting, door het toeval had je ook een paar hondenbezitters meer of minder kunnen treffen. Daarom kan je een $95\%$ betrouwbaarheidsinterval opstellen via

$$\hat{p} \pm 1{,}96 \sqrt{\hat{p}(1-\hat{p} \over n}.$$

Zo’n interval is een maat voor de onzekerheid die je hebt in je schatting. In $95\%$ van dit soort steekproeven, zal de ‘juiste’ waarde in het interval vallen.

Opgave 1

Reken na dat in dit voorbeeld het $95\%$ betrouwbaarheidsinterval van, afgerond, $18\%$ tot $30\%$ loopt.

Deze aanpak werkt prima als aan (tenminste) twee voorwaarden voldaan is. Ten eerste moet de steekproef een aselecte trekking uit de populatie zijn: het moeten willekeurige mensen zijn. Ga je bij de Landelijke Bijeenkomst van Hondenliefhebbers je steekproef verzamelen, dan zal je niet een representatieve schatting krijgen.

Ten tweede moeten de deelnemers eerlijk antwoorden. Er is weinig reden om te twijfelen aan de eerlijkheid van de respondenten bij de vraag “heeft u een hond?”, maar dit ligt anders bij meer gevoelige vragen als “heb je wel eens afgekeken voor een toets?” of “heb je wel eens iets gestolen?”. Op zulk soort vragen durft iemand minder snel ja te zeggen, zeker als bijvoorbeeld hun leraar of ouder erbij staat als de vraag gesteld wordt. In zo’n situatie gaat de gewone manier van meten via een steekproef mis – het moet dus anders.

Gelukkig kan het ook anders. Slimme statistici hebben verschillende methoden bedacht die hier mee om kunnen gaan. De truc achter deze methoden is dat het niet uitmaakt wat een specifieke persoon zegt, je wilt alleen maar weten hoe vaak iets voorkomt. Je hoeft niet te weten of het nu Anja, Bart of Carlien is die heeft afgekeken, je wilt alleen maar weten hoe vaak is afgekeken. In dit artikel zal ik twee methoden bespreken.

De eerste manier om antwoorden te krijgen op dit soort gevoelige vragen, is via de gerandomiseerde antwoordmethode. Hierbij vraag je iemand om te liegen – en toch krijg je de informatie die je wilt. Ook deze methode werkt omdat je niet voor een individu hoeft te weten wat het antwoord is, zolang je maar kan schatten hoe vaak het antwoord ‘ja’ is.

Deze methode werkt als volgt. Je stelt elke deelnemer één gevoelige vraag, bijvoorbeeld of ze wel eens afgekeken hebben. Maar: voordat ze antwoorden, moeten ze een kansexperiment doen, zonder dat jij ziet wat ze doen. De opdracht is bijvoorbeeld om een muntje op te gooien. Gooien ze kop dan moeten ze de vraag eerlijk beantwoorden, gooien ze munt dan moeten ze ‘ja’ antwoorden (ook als ze daarbij zouden liegen). Als jij het antwoord ‘ja’ hoort, weet je niet of dat komt omdat die persoon echt heeft afgekeken, of omdat deze persoon munt gegooid heeft. Dit individu kan dus veilig de vraag beantwoorden.

Op individueel niveau weet je niet of het antwoord klopt, maar op groepsniveau wel: in ongeveer de helft van de keren gooi je kop, de andere helft munt. Stel, je krijgt in totaal $p = 78\%$ van de keren ‘ja’ te horen. De eerste $50\%$ kan je makkelijk verklaren: dit komt door mensen die munt gooiden. Van de tweede $50\%$ – de mensen die eerlijk moesten antwoorden – zei $28/50 = 56\%$ ‘ja’, iets meer dan de helft dus. Zonder dat je het ook maar van een iemand zeker weet, weet je nu dat ruim de helft van de mensen die je ondervraagd hebt, wel eens afgekeken heeft bij een toets. Een slimme manier om geheimen te meten.

In het algemeen werkt de procedure als volgt. Met kans $k$ wordt de deelnemer gedwongen ‘ja’ te zeggen, met kans $(1 – k)$ geeft de deelnemer eerlijk antwoord (‘ja’ of ‘nee’). Als een proportie $x$ van de mensen ‘ja’ hoort te zeggen, is per persoon de kans op een ‘ja’ gelijk aan

$$p = k + (1 – k)x.$$

Deze kans schat je door te kijken naar de proportie ja-zeggers in je steekproef. Met de formule aan het begin van deze column kan je een betrouwbaarheidsinterval voor $p$ opstellen. Omdat je $k$ kent, kan je je uitspraak voor $p$ omrekenen in een voor $x$, de proportie waarin je daadwerkelijk geïnteresseerd bent.

Opgave 2

Stel nu dat de spelregel als volgt is. Gooi met een dobbelsteen, en bij uitkomst $1, 2, 3$ of $4$ moet je eerlijk antwoorden. Bij uitkomst $5$ of $6$ moet je ‘ja’ antwoorden. Met deze spelregel verzamel je een steekproef van $40$ personen. $80\%$ van de deelnemers zegt ‘ja’. Schat de proportie van deelnemers die daadwerkelijk gespiekt heeft. (Bonusopdracht: geef een $95\%$ betrouwbaarheidsinterval hiervoor).

Een andere techniek om hier te gebruiken is de unmatched count technique (in het Nederlands iets als de niet-gekoppelde teltechniek). Die methode werkt zo. Je verdeelt de deelnemers aan je steekproef willekeurig in twee groepen, groep $A$ en groep $B$. Beide groepen leg je $4$ ja/nee-vragen voor. Dit zijn vragen waarin je eigenlijk helemaal niet geïnteresseerd bent en waarvan je denkt dat iedereen wel een eerlijk antwoord durft te geven. Bijvoorbeeld:

1. Ik heb een hond.

2. Wij hebben thuis een zwarte auto.

3. Ik vind boerenkool lekker.

4. Ik kijk elke week naar Wie is de Mol.

Je vraagt de deelnemers niet om op elke vraag ja of nee te antwoorden, maar alleen om te zeggen op hoeveel vragen ze ja zouden zeggen.

De deelnemers van groep $B$ leg je niet alleen deze vier vragen voor, maar ook nog

5. Ik heb wel eens afgekeken bij een toets.

Als iemand nu antwoordt “Van die vijf vragen zijn er drie ‘ja’ voor mij”, weet jij niet welke van die drie vragen ‘ja’ zijn. (Dit werkt natuurlijk niet als je de vragen voorlegt aan bijv. een vriendin, waarvan je weet dat ze geen hond heeft en boerenkool smerig vindt). Maar als je niet weet of vraag 5 nu ja of nee is, waarom heb je hier dan wat aan?

Je gaat er vanuit – je hebt de personen willekeurig in de groepen ingedeeld – dat er, ongeveer, evenveel hondenbezitters in groep $A$ en $B$ zitten, dat er evenveel zwarte-autobezitters in $A$ en $B$ zitten, enz. Het verschil in aantal ja’s tussen de groepen komt dus, naast een beetje toeval, door die vijfde vraag. Je verwacht dat het verschil in gemiddelde score van groep $B$, $\bar{x}_B$, en dat van groep $A$, $\bar{x}_A$, een schatting is van de proportie mensen die wel eens afgekeken heeft bij een toets:

$$\hat{p} = \bar{x}_B - \bar{x}_A.$$

Het berekenen van de onzekerheidsmarge gaat wat lastiger vergeleken met een ‘gewone steekproef’, omdat je nu extra onzekerheid hebt (het percentage hondenbezitters in groep $A$ en $B$ hoeft natuurlijk niet exact hetzelfde te zijn). De zogenaamde standaardfout (standard error) van schatter $\hat{p}$ is (ongeveer) gelijk aan

$$SE = \sqrt{{{\bar{x}_A \over I}(1-{\bar{x}_A \over I}) \over n_A} + {{\bar{x}_B \over I+1}(1-{\bar{x}_B \over I+1}) \over n_B}},$$

waarbij $I$ het aantal niet-gevoelige vragen is (in mijn voorbeeld is $I = 4$) en $n_A$ en $n_B$ de aantallen ondervraagden in groepen $A$ en $B$, respectievelijk. Een $95\%$ betrouwbaarheidsinterval voor $p$ krijg je via $\hat{p} \pm 1{,}96 \times SE$. Stel, groep $A$ en $B$ hadden beiden $50$ deelnemers, groep $A$ kreeg $I = 4$ vragen, groep $B$ kreeg er $5$. In totaal gaf groep $A$ aan dat er $102$ keer ja gezegd moet worden: gemiddeld $2{,}04$ keer per persoon. Bij groep $B$ was dit $118$: gemiddeld $2{,}36$ keer per persoon. Het verschil tussen beide, $2{,}36 – 2{,}04 = 0{,}32$, oftewel $32\%$, geeft het getal wat je wilde schatten: op basis van die studie zou je concluderen dat ongeveer een derde van de mensen wel eens spiekt. Het $95\%$ betrouwbaarheidsinterval is wel erg breed: dit loopt van $1{,}4\%$ naar $51{,}6\%$. Zouden we de vraag aan alle $100$ personen gevraagd hebben en zou $32\%$ ‘ja’ hebben gezegd, dan was dit interval ongeveer twee keer zo smal geweest (van $22{,}9\%$ tot $41{,}1\%$). Maar in dat geval zou het niet ondenkbaar geweest zijn dat veel deelnemers geen eerlijk antwoord gegeven hadden. Aan een smal betrouwbaarheidsinterval heb je weinig als dit zich niet rond de juiste waarde bevindt. De prijs voor het extra vertrouwen in je schatter is meer onzekerheid rond deze schatter.

Opgave 3

In een ander onderzoek heeft groep $A$ $4$ vragen gekregen. De $80$ deelnemers gaven aan dat er in totaal $192$ keer ‘ja’ gezegd moet worden. Groep $B$ kreeg dezelfde $4$ vragen, en een bonusvraag. De $92$ deelnemers aan deze groep zeiden in totaal $276$ keer ja. Schat de proportie die ‘ja’ zegt op de bonusvraag. Geef ook het $95\%$ betrouwbaarheidsinterval.

Opgave 4

Voer zelf een gerandomiseerde antwoordmethode-onderzoek uit. Bedenk een vraag, en een spelregel (bijvoorbeeld met een muntje of dobbelsteen). Verzamel je data (vraag bijvoorbeeld je klasgenoten mee te doen), en schat de proportie klasgenoten die ‘ja’ zou zeggen. Bereken het bijbehorende $95\%$ betrouwbaarheidsinterval.

Bekijk oplossing