Over beide begrippen (betrouwbaarheid & validiteit) is veel te zeggen. Niet zelden haalt men ze door elkaar. Ik beperk me hier tot de validiteit. Dat begrip draait om de vraag: meet je wat je wil weten? Validiteit heeft betrekking op het gebruikte instrument (bijv. analyseschema, interviewprotocol, observatieschema, experiment). Je kunt de validiteit van het onderzoeksinstrument vergroten door:
- gebruik te maken van een bestaand en goedgekeurd instrument;
- het instrument voor feedback voor te leggen aan experts, deskundigen en/of vakgenoten en het daarna meer definitief vast te leggen;
- enkele proefwaarnemingen uitvoeren en het instrument vervolgens bijstellen.
Het is van belang dit proces van validisering goed vast te leggen zodat je je werkwijze achteraf goed kunt verantwoorden.
Wanneer je gebruik maakt van een valide instrument betekent dit nog niet dat resultaten ook extern valide zijn. Om te kunnen beoordelen of de resultaten ook buiten de specifieke onderzochte situatie gelden, moet je de factoren (en randvoorwaarden) goed in kaart brengen. Die beïnvloeden namelijk de resultaten. Pas als dit het geval is – de contexten vergelijkbaar zijn – kun je zeggen dat een onderzoek (onder die voorwaarden) waarschijnlijk ook extern valide is.
Een volgend blog zal gaan over betrouwbaarheid in relatie tot de validiteit. De betrouwbaarheid heeft te maken met de herhaalbaarheid en, de uitvoering (persoon en proces) en de betrokken aantallen: (1) is het onderzoek exact herhaalbaar en levert het onderzoek bij herhaling dezelfde resultaten op? (2) staan de metingen los van de uitvoerder? (3) in welke mate werkt de omgeving/proces verstorend op de resultaten? Zijn de betrokken aantallen groot genoeg om iets zinnigs te kunnen zeggen over de populatie? (4).
Er zijn vier mogelijke posities als het gaat om validiteit en betrouwbaarheid: valide – betrouwbaar (1) – invalide – onbetrouwbaar (2) – valide – onbetrouwbaar (3) – invalide – “betrouwbaar”(4).
Een kanttekening: in actieonderzoek – waarin men juist een verandering beoogt – gelden aanvullende eisen/criteria en wordt betrouwbaarheid (in de zin van exacte herhaalbaarheid) enigszins gerelativeerd.
Blijft dat precisie in beschrijving van de werkwijze – net zoals in de natuurwetenschappen – ook in de sociale wetenschappen (en geesteswetenschap) heel belangrijk is.