Sociale wetenschappers hebben veel methoden om hun theorieën te testen, maar hoe weet je welke de beste is? Het ODISSEI Social Science benchmarking team verkent nieuwe manieren om te vergelijken. Door Paulina Pankowska
Sociale wetenschappers willen de maatschappij verklaren. Voor elk sociaal fenomeen hebben ze veel theorieën ontwikkeld om sociale mechanismen uit te leggen. Traditioneel werden deze theorieën getest door deze in statistische modellen te vertalen en toe te passen op verschillende databronnen. Deze benadering heeft echter beperkingen. De voornaamste is dat het kan leiden tot verschillende methoden en modellen. Hoewel deze modellen allemaal plausibel zijn en goed onderbouwd, leiden ze vaak tot verschillende resultaten. Momenteel is er geen framework om deze modellen te vergelijken. De vraag welk model beter werkt onder welke omstandigheden is dus nog onbeantwoord. Daardoor is het moeilijk om conflicterende theorieën te evalueren.
Het social science benchmarking team van ODISSEI, de infrastructuur voor sociale wetenschappen, verkent hoe ‘benchmarks’ kunnen worden gebruikt als zo’n standaard referentiekader. Benchmarks hebben een groot potentieel voor het beantwoorden van al langer bestaande vraagstukken in het veld en kunnen het veld daarmee vooruit brengen.
Uitkomsten voorspellen
Een benchmark is een gestandardiseerd framework dat directe vergelijkingen mogelijk maakt van verschillende modellen die hetzelfde onderzoeksprobleem proberen te beantwoorden. Gewoonlijk wordt een ‘benchmark challenge’ georganiseerd waarin deelnemers proberen om een bepaalde uitkomst te voorspellen aan de hand van een specifieke dataset. De verschillende modellen die door deelnemers worden ingediend, worden vervolgens geëvalueerd en vergeleken (met vooraf bepaalde criteria) aan de hand van een deel van de data die de deelnemers niet tot hun beschikking hadden. Het gebruik van benchmarks heeft al geleid tot doorbraken in veel wetenschappelijke velden, waaronder computer- en datawetenschap, natuurkunde, biomedische wetenschap en de geesteswetenschappen.
Veelbelovend middel
Tot nu toe is het gebruik van benchmarks in de sociale wetenschappen beperkt geweest. Er zijn echter wel enige challenges georganiseerd in de afgelopen jaren. Het ODISSEI benchmarking team gebruikt de lessen van een grootschalige challenge uit de Verenigde Staten, in combinatie met ervaringen opgedaan tijdens de challenge die uitgevoerd is tijdens de SICSS-ODISSEI Summer School 2022, om beter inzicht te krijgen in het gebruik van benchmarking in de sociale wetenschappen. Het team formuleert ook aanbevelingen voor het ontwerpen en organiseren van toekomstige benchmarks in de sociale wetenschappen. De eerste resultaten en bevindingen bevestigen dat benchmarks een veelbelovend middel zijn om de sociale wetenschappen sterk te ontwikkelen.
https://odissei-data.nl.en.benchmarking
