Validiteit en betrouwbaarheid in kwalitatief onderzoek

‘Validiteit’ en ‘betrouwbaarheid’ zijn termen die gebruikt worden om iets te zeggen over de kwaliteit van een onderzoek. Eigenlijk kun je stellen dat traditioneel niet twee, maar vier termen centraal staan, namelijk ‘interne validiteit’, ‘externe validiteit’, ‘betrouwbaarheid’ en ‘objectiviteit’. In dit blog leg ik uit hoe die vier termen vertaald kunnen worden naar kwalitatief onderzoek (zie Guba en Lincoln, 1994), en wat je kunt doen om de kwaliteit van jouw onderzoek te vergroten.

1. Interne validiteit

Begrijpen: ‘Interne validiteit’ wordt ‘geloofwaardigheid van je onderzoek’ Doen: Laat je data zien!

‘Interne validiteit’ in kwantitatief onderzoek wordt ‘geloofwaardigheid’ bij kwalitatief onderzoek. In kwantitatief onderzoek gaat het om de vraag of de instrumenten die je gebruikt, ook meten wat je wilt weten. Om een kort-door-de-bocht voorbeeld te geven: Wil ik mijn gewicht weten, dan is een weegschaal een valide instrument. Die interne validiteit van onderzoeksinstrumenten vertaalt zich dus naar geloofwaardigheid bij kwalitatief onderzoek. Dé manier om die geloofwaardigheid te vergroten is het goed documenteren van de verzamelde data. Zorg dat je interviews en focusgroepen opneemt met een voicerecorder of een camera. Zorg ook dat je aantekeningen maakt tijdens die gesprekken, en eventueel achteraf. Maak gedetailleerde aantekeningen van observaties. Als onderdeel van langdurige observatie is het maken van foto’s, van filmpjes, van langere geluidsfragmenten helemaal niet zo gek. Houd eventueel ook een dagboekje bij. Transcribeer al je geluids- en videomateriaal. Kortom, laat je data zien!

2. Externe validiteit

Begrijpen: ‘Externe validiteit’ wordt ‘overdraagbaarheid van je onderzoek’ Doen: Laat je methoden zien!

‘Externe validiteit’ binnen kwantitatief onderzoek vertaalt zich naar ‘overdraagbaarheid’ in kwalitatief onderzoek. Binnen kwantitatief onderzoek gaat externe validiteit over de vraag of de bevindingen van een onderzoek ook geldig zijn búíten de context van het verrichte onderzoek. Wederom een kort-door-de-bocht voorbeeld: Zou de weegschaal dezelfde metingen geven in ander onderzoek onder een ander segment van de populatie? De steekproef speelt hier dus ook een belangrijke rol.

Externe validiteit van kwantitatief onderzoek wordt overdraagbaarheid in kwalitatief onderzoek. Dit betekent dat je heel helder moet beschrijven op welke manier jij je onderzoek hebt opgebouwd. Stel je voor dat iemand anders jouw onderzoek zou moeten overnemen… Kan dat op basis van wat jij geschreven hebt? Leg uit welke vragen je stelt of welke onderwerpen je behandelt in interviews en focusgroepen. Vertel ook op welke manier je die zaken hebt besproken. Geef aan hoe je jouw observaties hebt voorbereid en hoe die observaties verliepen. Leg ook uit op welke manier je de verzamelde data hebt geanalyseerd. Kortom, laat je methoden zien!

3. Betrouwbaarheid

Begrijpen: Betrouwbaarheid door een ‘gedegen contextbeschrijving’
Doen: Ga voor ‘thick description’!

Betrouwbaarheid in kwantitatief onderzoek krijgt invulling in kwalitatief onderzoek door een gedegen beschrijving van de context waarbinnen het onderzoek heeft plaatsgevonden. Binnen kwantitatief onderzoek gaat ‘betrouwbaarheid’ over de vraag of het instrument dat je gebruikt ook de correcte waarden geeft. Kort-door-de-bocht: de weegschaal moet 78 kilogram aangeven als ik erop sta en niet 40. Het gaat erom dat ik erop kan vertrouwen dat de weegschaal correct werkt en niet stuk is. Daarnaast zal de manier van wegen een rol spelen: met of zonder schoenen?

Betrouwbaarheid in kwantitatief onderzoek wordt een gedegen contextbeschrijving in kwalitatief onderzoek. Geertz (1973) noemt dit ‘thick description’. Voor kwalitatief onderzoek is het belangrijk dat de lezer een goed beeld krijgt van de context waarbinnen het onderzoek gedaan is, want het is die context die maakt dat we betekenis kunnen geven aan de uitspraken van respondenten en aan observaties. Als bijvoorbeeld helder is wat de context van een interview is geweest, dan is het eenvoudiger om een oordeel te geven over de waarschijnlijkheid dat respondenten sociaal wenselijke antwoorden gegeven hebben. Zorg er dus voor dat de context waarbinnen het kwalitatieve onderzoek heeft plaatsgevonden, duidelijk is. Kortom, ga voor ‘thick description’.

4. Objectiviteit

Begrijpen: Objectiviteit wordt ‘intersubjectiviteit’
Doen: Bied ruimte aan andere perspectieven!

De vierde en laatste term die ik hier nog wil bespreken is ‘objectiviteit’. Objectiviteit in kwantitatief onderzoek wordt ‘intersubjectiviteit’ in kwalitatief onderzoek. Objectiviteit gaat uit van de idee dat het voor wetenschappelijk onderzoek noodzakelijk is om de data te laten spreken. Iedere vorm van vertroebeling door de onderzoeker is uit den boze. Als de onderzoeker kan kiezen tussen een analoge weegschaal en een digitale weegschaal, dan zou deze vanuit het oogpunt van objectiviteit altijd moeten kiezen voor de digitale weegschaal. Zo voorkom je het risico dat de analoge meter verkeerd wordt afgelezen.

‘Objectiviteit’ is een lastig begrip in kwalitatief onderzoek. Kwalitatieve methoden worden namelijk juist vaak gebruikt om iets te weten te komen over de belevingswereld van mensen. Dit is per definitie subjectief (in tegenstelling tot iemands gewicht, bijvoorbeeld) en zeer individueel. Daarnaast is het zo dat de onderzoeker bij het analyseren van die data ook nog eens haar/zijn eigen geschiedenis en belevingswereld meeneemt. Hoe kun je hiermee omgaan? De sleutel ligt in het belang van intersubjectiviteit en in het belang ruimte te maken voor andere perspectieven.

Een goede tip is om je data samen met een collega te analyseren. Bespreek jullie interpretatie van de gegevens en kom tot een consensus wanneer je het in eerste instantie niet met elkaar eens bent. Je kunt ook je respondenten vragen om naar je transcripten te kijken: ‘Is dit een goede weergave van wat u mij vertelde?’ Je zou zelfs in de kantlijn je interpretatie kunnen geven en vragen of die interpretatie in de ogen van de respondent klopt. Het gaat er hier uiteindelijk om dat al je respondenten zich kunnen herkennen in jouw onderzoek. En dat betekent ook dat je de respondenten met een duidelijk afwijkend verhaal of een andere mening expliciet aan bod laat komen. Ook zij moeten zich herkennen in het onderzoek. Kortom, bied ruimte aan andere perspectieven!

Tot slot

Hopelijk kun je met bovenstaande tekst een goede start maken met het beschrijven van de kwaliteit van je onderzoek. Denk dus na over de geloofwaardigheid en de overdraagbaarheid van je onderzoek, denk na over het belang van de context waarbinnen je onderzoek heeft plaatsgevonden, en bied ruimte aan andere perspectieven. Als je er niet uit komt, neem dan gerust contact met ons op. We helpen je graag verder.

Bronnen:

• Geertz, C. (1973). Thick description: Toward an interpretive theory of culture. In C. Geertz, The interpretation of cultures: Selected essays (pp. 3-30). New York: Basic Books.

• Guba, E. G., & Lincoln, Y. S. (1994). Competing paradigms in qualitative research. In N. K. Denzin & Y. S. Lincoln (Eds.), Handbook of qualitative research (pp. 105-117). Thousand Oaks, CA: Sage.

ARCHIEF