In 't Wasdom

bolas, toegang tot kennis

Archive for the ‘validiteit’ Category

januari 19th, 2020 by Jaap de Jong

Het analyseschema of kernlabelsysteem

Een kernlabelsysteem of analyseschema is een onderzoeksinstrument of hulpmiddel bij de analyse van teksten. Het labelen dat eraan voorafgaat is een vorm van kwalitatief onderzoek. Je bent als duider of interpreet op zoek naar de betekenis van de tekst. Het maken van een meer definitief kernlabelsysteem is de laatste stap van het labelproces en gebeurt vóór het analyseren en rapporteren.

In het analyseschema breng je (samenhangende) labels – waarmee je de teksten analyseert – onder bij een kernlabel. Dat kernlabel is een soort van paraplu die gedragen wordt door bijpassende labels. Geef met behulp van vakliteratuur een duidelijke (onderzoekbare en concrete) definitie van het kernlabel. Het testen, bevragen, wikken en wegen en uiteindelijk vaststellen van je analyschema (je onderzoeksinstrument) heeft alles te maken met het optimaliseren van de validiteit van het instrument.

De labels geven dus aspecten weer van het kernlabel. Je kunt de labels natuurlijk ook weer weghalen en onderbrengen bij een ander kernlabel dat beter past. Lees: dat daardoor méér valide is en dus meet wat je wilt weten. Ga goed na of dat veranderen gevolgen heeft voor je analyse en rapportage. Het is handig om de kernlabels te gebruiken als kapstok voor de verschillende paragrafen in een hoofdstuk waarin je antwoord geeft op je vraagstelling.

Tot slot: een kernlabelsysteem of analyseschema is een instrument voor tekstanalyse. Dat betekent dat het niet alleen inzetbaar is bij interviews, maar ook bij literatuur- en documentonderzoek.

januari 3rd, 2020 by Jaap de Jong

Validiteit en betrouwbaarheid

Over beide begrippen (betrouwbaarheid & validiteit) is veel te zeggen. Niet zelden haalt men ze door elkaar. Ik beperk me hier tot de validiteit. Dat begrip draait om de vraag: meet je wat je wil weten? Validiteit heeft betrekking op het gebruikte instrument (bijv. analyseschema, interviewprotocol, observatieschema, experiment).  Je kunt de validiteit van het onderzoeksinstrument vergroten door:

  • gebruik te maken van een bestaand en goedgekeurd instrument;
  • het instrument voor feedback voor te leggen aan experts, deskundigen en/of vakgenoten en het daarna meer definitief vast te leggen;
  • enkele proefwaarnemingen uitvoeren en het instrument vervolgens bijstellen.

Het is van belang dit proces van validisering goed vast te leggen zodat je je werkwijze achteraf goed kunt verantwoorden.

Wanneer je gebruik maakt van een valide instrument betekent dit nog niet dat resultaten ook extern valide zijn. Om te kunnen beoordelen of de resultaten ook buiten de specifieke onderzochte situatie gelden, moet je de factoren (en randvoorwaarden) goed in kaart brengen. Die beïnvloeden namelijk de resultaten. Pas als dit het geval is – de contexten vergelijkbaar zijn – kun je zeggen dat een onderzoek (onder die voorwaarden) waarschijnlijk ook extern valide is.

Een volgend blog zal gaan over betrouwbaarheid in relatie tot de validiteit. De betrouwbaarheid heeft te maken met de herhaalbaarheid en, de uitvoering (persoon en proces) en de betrokken aantallen: (1) is het onderzoek exact herhaalbaar en levert het onderzoek bij herhaling dezelfde resultaten op? (2) staan de metingen los van de uitvoerder? (3) in welke mate werkt de omgeving/proces verstorend op de resultaten? Zijn de betrokken aantallen groot genoeg om iets zinnigs te kunnen zeggen over de populatie? (4).

Er zijn vier mogelijke posities als het gaat om validiteit en betrouwbaarheid: valide – betrouwbaar (1) – invalide – onbetrouwbaar (2) – valide – onbetrouwbaar (3) – invalide – “betrouwbaar”(4).

Een kanttekening: in actieonderzoek – waarin men juist een verandering beoogt – gelden aanvullende eisen/criteria en wordt betrouwbaarheid (in de zin van exacte herhaalbaarheid) enigszins gerelativeerd.

Blijft dat precisie in beschrijving van de werkwijze  – net zoals in de natuurwetenschappen – ook in de sociale wetenschappen (en geesteswetenschap) heel belangrijk is.