Soms kan “weten hoe de worst gemaakt wordt” alle eetlust bederven. Zo heeft één middagje bijverdienen in de Pizza Hut op Amsterdam Centraal 15 jaar geleden me voorgoed genezen van elke behoefte om een pizza-slice te bestellen bij een fastfoodrestaurant. Geldt dat eigenlijk ook voor surveys? Zouden de bevindingen van het Sociaal en Cultureel Planbureau met nog meer smaak door het publiek worden verorberd als men een beter zicht had op wat er allemaal komt kijken bij het uitvoeren van een survey? Die vraag kwam afgelopen zomer bij mij op tijdens het keynotespektakel van mijn voormalige baas Ineke Stoop op het methodologiecongres ESRA. In vliegende vaart schetste Ineke de best practices in survey-onderzoek. Wie dacht na deze spoedcursus survey-onderzoek in 2 minuten – overigens beloond met een ovationeel applaus – weer naar huis te kunnen, verkeek zich. Want kloppen die best practices wel? En als ze kloppen, waarom worden ze dan niet altijd toegepast? Als we niet weten of ze kloppen, hoe komen we daar dan achter? Als ze soms kloppen, wanneer dan en waarom juist dan? En als ze niet kloppen, wat kunnen we dan wel doen?

Een grondige weging van de best practices onthulde dat survey-onderzoekers zich met talloze uitruilen en dilemma’s geconfronteerd zien. Zo kunnen goede face-to-face interviewers mensen overtuigen om mee te doen aan onderzoek, aanmoedigen om (privé-)informatie te delen en respondenten helpen met complexe vragenlijsten. Maar ze kunnen ook in de verleiding komen respondenten door het interview heen te jagen, vragen ongewenst te versimpelen of -in het ergste geval- data zelf te verzinnen. Valt dergelijk ongewenst interviewergedrag te voorkomen door met ervaren interviewers te werken? Misschien, maar staan die ervaren rotten ook open voor specifieke instructies of nieuwe inzichten? Ook zij kunnen en moeten bijleren. En hiermee heb ik slechts twee van de negentien best practices besproken.

Ineke’s synthese van decennia aan theoretische kennis over- en praktische ervaring met surveyonderzoek bevatte gouden raad voor iedereen die ooit overweegt een survey uit te voeren, én vormde een belangrijke onderzoeksagenda voor iedereen die eraan wil bijdragen dat surveys in de toekomst nog beter worden uitgevoerd.

Ongetwijfeld zal de rol van het survey binnen de sociale wetenschap door de toenemende beschikbaarheid van andere databronnen (big en organic data, maar ook kwalitatief onderzoek) in de komende jaren blijven veranderen. Maar surveys blijven nodig om te begrijpen hoe burgers de wereld om hen heen en hun eigen rol in die wereld ervaren en waarderen. Zolang we de keuzes en overwegingen bij het ontwerpen en uitvoeren van die surveys net zo consciëntieus en weloverwogen blijven maken als Ineke deed, durf ik iedereen een kijkje in de keuken te gunnen en de resulterende datamaaltijd met trots te serveren.

Sander Steijn

Sander Steijn is methodoloog bij het Sociaal en Cultureel Planbureau (SCP). Op het SCP adviseert hij in alle fases -dataverzameling, analyse en rapportage- van het (kwantitatieve) onderzoeksproces en werkt aan de langdurige (survey-)data infrastructuur van het SCP. Daarnaast is hij lid van het Core Scientific Team van het European Social Survey en namens de planbureaus en onderzoeks-instellingen lid van het Supervisory Board van ODISSEI.

Sander geeft de pen door aan Marieke Houben-van Herten, statistisch onderzoeker en projectleider bij het CBS.