Politici, opiniemakers, en media houden van cijfers en van duidelijke categorieën. Dat geeft orde en helderheid en suggereert objectiviteit. Ze geven de indruk dat de werkelijkheid in duidelijk van elkaar te onderscheiden categorieën kan worden ingedeeld en dat verschijnselen en gebeurtenissen een eenduidige oorzaak hebben. Grootschalige enquêtes kunnen dan ook steevast rekenen op voldoende media-aandacht, ook als er serieuze twijfel is over de uitkomsten. We krijgen dan conclusies gepresenteerd zoals ”15 procent van de jihadi’s is bereid geweld te gebruiken”, of ”44 procent van de moslims vindt het woord van God belangrijker dan de Grondwet”, ”van alle moslims in Europa vindt 30 procent dat de doodstraf moet staan op afvalligheid, terwijl 70 procent van de fundamentalisten bereid is geweld te gebruiken”.

Zo ongeveer verliep de discussie vorige week in het programma Buitenhof tussen socioloog Ruud Koopmans en Nourdin el Ouali van de partij NIDA. Koopmans is de laatste weken weer volop in het nieuws nu hij zijn oude survey uit 2008 weer uit de mottenballen heeft gehaald waarin hij met ”harde” cijfers aantoont dat een groot deel van de moslims in Europa ”fundamentalistische opvattingen” heeft. Koopmans presenteert zijn uitkomsten op een alarmistische toon en tovert het ene na het andere percentage uit zijn hoed. El Ouali’s zwakke verweer is dat Koopmans goed onderzoek heeft uitgevoerd, maar dat de interpretatie van zijn uitkomsten te wensen overlaat. Dat is El Ouali niet aan te rekenen. Ik zou waarschijnlijk hetzelfde hebben gezegd, maar daar zit dus precies het probleem. Hoezo is dit goed onderzoek en waaruit moet dat blijken?

Om te beginnen is daar de geclaimde objectiviteit van de gegevens. Koopmans zegt eigenlijk: ”Ik kan er niets aan doen, dat zijn nu eenmaal de cijfers.” Hij suggereert dat het bij dit soort grootschalige surveys gaat om kennis en gegevens die als het ware ‘buiten’ klaar liggen te wachten om door onderzoekers als Koopmans te worden verzameld om er een mooi rapport van te maken compleet met statistische analysemethodes en ingewikkeld rekenmodellen die moeten laten zien dat de onderzoekers niet van de straat zijn.

Het probleem zit hem in de vragen die gesteld worden, de categorieën die gehanteerd worden, en de conclusies die daaruit getrokken zouden moeten worden. Onderzoekers ontwikkelen een vragenlijst die gebruikt wordt om respondenten te interviewen. Die vragen zijn gebaseerd op de definitie die door de onderzoekers aan bepaalde verschijnselen is gegeven. Neem nu het begrip ”fundamentalisme” dat in Koopmans’ onderzoek centraal staat. In het rapport bespreekt hij dit centrale begrip aan de hand van literatuur en natuurlijk kiest hij dan een definitie die ”algemeen geaccepteerd” is bij wetenschappers. Daarmee dek je je als onderzoeker bij voorbaat in tegen kritiek. Ik zou graag een discussie willen opzetten over de manier waarop hij dat begrip gebruikt, maar dat ga ik niet hier doen. Het gaat me er nu om wat er vervolgens met zo’n definitie gebeurt.

De onderzoekers gaan het begrip operationaliseren zoals dat heet. Ze ontwikkelen kenmerken en vragen die door onderzoek beantwoord zullen worden en voilà daar hebben we de cijfers waarom beleidsmakers zitten te springen. Het probleem is dat de onderzochten hier dus gereduceerd worden tot dataleveranciers. Ze hebben geen enkele controle op wat de onderzoeker met die antwoorden doet, niet in de laatste plaats omdat de vragen vaak zo ingenieus gesteld zijn dat je als respondent geen flauw benul hebt waarover dit gaat en hoe het ene antwoord door de onderzoekers in verband wordt gebracht met het andere. Veel van de vragen die Koopmans in zijn onderzoek heeft gesteld krijgen een heel andere lading afhankelijk de omstandigheden, of nog erger, respondenten kunnen wel eens iets heel anders antwoorden in andere omstandigheden. Het doet denken aan de bekende vraag die decennia geleden aan pacifistische dienstweigeraars zou zijn gesteld: stel uw vriendin wordt aangevallen, zou u dan bereid zijn geweld te gebruiken?

Kortom, het probleem is dat onderzoekers bepalen wat relevante vragen en antwoorden zijn om een verschijnsel te meten. De schijnbare objectiviteit van de resultaten, zeker als het gaat om dit soort gevoelige onderwerpen, geeft het onderzoek en de onderzoekers ten onrechte enorm veel gezag.

Het rapport van marktonderzoeksbureau Motivaction dat in november vorig jaar is gepubliceerd en waaruit zou blijken dat 87 procent van de Turks- en Marokkaans-Nederlandse jeugd positief staat tegenover groepen als IS, is zeer terecht flink onder vuur genomen en wordt nu zelf aan een onderzoek onderworpen om te zien of het wel deugt. Een verantwoordelijke en gewetensvolle onderzoeker kan en mag zich niet verschuilen achter de zogenaamde objectiviteit van zijn onderzoeksresultaten en de zaak eenvoudig op tafel smijten, zo van: ”Kijk maar wat je ermee doet, ik ben slechts boodschapper.” Koopmans heeft daar kennelijk geen moeite mee.

Thijl Sunier is hoogleraar Antropologie aan de Vrije Universiteit Amsterdam. Daarnaast is hij redacteur van het wetenschappelijke tijdschrift Journal of Muslims in Europe, voorzitter van de Netherlands Interuniversity School for Islamic Studies en voorzitter van de Antropologen Beroepsvereniging.