in 't Wasdom

Toegang tot kennis
april 29th, 2020

Wat is labelen?

Labelen is een manier om je onderzoeksmateriaal te typeren met kernwoorden en/of codes. Met labelen schep je orde in de chaos van je onderzoeksdata. Het uitgangspunt bij het labelen is je vraagstelling en de bijbehorende topics. Door te labelen kun je de relevante resultaten (tekstfragmenten) uit je interviews met elkaar vergelijken en systematisch analyseren. Je kunt niet alleen interviews labelen, maar ook documenten of vakliteratuur.

Het ontwerpen van een labelsysteem is niet veel anders dan het opzetten van een ouderwetse kaartenbak (bijv. voor het bewaren en ordenen van adressen), maar dan digitaal. Een systeem dat je kunt ordenen, bijv. naar (kern)label of naar type bron.

Labelen heeft pas zin als je over meerdere interviews (of andere teksten) beschikt met dezelfde topics. Het is van belang om bij het ontwerpen van je interviewleidraad (of -protocol) rekening te houden met de vergelijkbaarheid tussen respondenten. Het labelen van een expertinterview om te kunnen vergelijken heeft geen zin, omdat er meestal maar één expert is op een bepaald terrein en er dus geen sprake is van een diepgaande analyse van verschillen of overeenkomsten tussen tientallen tekstfragmenten over bepaalde topics.

Het labelen als methode kan worden toegepast bij interviews, literatuuronderzoek en documenten. Bij interviews ga ik ervan uit dat je beschikt over de volledig uitgeschreven interviews, het zgn. ruwe materiaal. Ieder interview krijgt een uniek identificatienummer (idnr.), bijv. 4 (het vierde interview in een reeks van bijv. acht interviews). Vervolgens streep je in dat interview de irrelevante passages weg, selecteer en/of arceer je de relevante tekstpassages. Voorzie deze tekstfragmenten al in het zgn. ruwe interviewmateriaal van een fragmentcode  en voer die fragmenten in in het door jou gebruikte systeem in (Excel, Access of ATLAS-ti). De geselecteerde tekstfragmenten geef je de al eerder toegekende fragmentcode en je voorziet het fragment van een (voorlopig) karakteriserend label. De fragmentcode i4.21 slaat bijv. terug op interviewfragment 21 van respondent 4.

Na het labelen van een stuk of zes/zeven getranscribeerde interviews merk je vaak dat er structuren ontstaan. Je kunt dan overgaan naar een (kern)labelsysteem met meer definitieve labels. Vaak zijn er twee of meer verwante labels die onder een zgn. kernlabel zijn te plaatsen. Ze omvatten meerdere aspecten van het topic of vallen er zelfs min of meer mee samen. Het is dan wel zaak om dat kernlabel dan nauwkeurig te omschrijven/definiëren.

Samengevat, een 7-stappenplan:

  1. Transcriberen teksten ofwel het letterlijk uitschrijven van de interviews. Geef ieder interview een uniek idnr.;
  2. Selecteer per interview de relevante tekstfragmenten op basis van je vraagstelling;
  3. Geef de geselecteerde fragmenten een fragmentcode die verwijst naar het interview (coderen). Uit fragmentcode 4.21 blijkt bijv. het verband tussen interviewfragment 21 en het eerder genummerde interview (4).
  4. Invoer van tekstfragmenten, inclusief fragmentcodes, in systeem BLAblabla (zie hieronder) of in een ander verwerkingsprogramma;
  5. Vat het fragment samen met een karakteriserend woord ofwel label. Je mag meerdere labels toekennen aan een fragment, hou het wel overzichtelijk;
  6. Maak een systematisch overzicht van de labels waarbij meerdere, samenhangende labels, een kernlabel kunnen vormen. Definieer deze kernlabels en zorg er voor dat deze omschrijving de lading ook werkelijk dekt;
  7. Analyseer de resultaten aan de hand van de (kern)labels. Maak daarbij gebruik van een Excelprogramma, ATLAS-ti of van BLAblabla (zie hieronder).

Bij documenten gaat het labelen in principe op eenzelfde manier. Gebruik je meerdere type bronnen dan is het handig om bij een document (bijv. dossier) een extra lettercode te gebruiken, bijv. iets als d8.7 (document 8, fragment 7). Hou de codering echter zo eenvoudig mogelijk.

Relevante fragmenten uit de literatuur kun je ook labelen. Bij gebruik van literatuurfragmenten kun je het reguliere referentiesysteem gebruiken, bijv. APA-stijl (auteur(s), publicatiejaar, paginanr.). Labelen van (vak)literatuur kan ook in BOLAS.

In het bronnenoverzicht van je BOLAS-project (indien aanwezig) staat rechts van de opgeslagen bron (naast REF) de labeloptie. Je kunt het gelabelde tekstfragment in de aantekeningen bij de bron plakken. Met de toegekende labels hou je overzicht. Je kunt bronnen ordenen door op het label te klikken. Overzicht houden is een voorwaarde voor de analyse.

Door labels te geven aan tekstfragmenten kun je al het gebruikte bronnenmateriaal ordenen en resultaten per toegekend (kern)label analyseren. Dat geeft je de mogelijkheid zinnige zaken te rapporteren over de totale groep respondenten, documenten of literatuur (de zgn. bronnen) in relatie tot het betreffende (kern)label.

Meer weten?

Je ontvang het labelsysteem BLAblabla – Bronnen Labelen Analyseren – bij aanschaf van een bolasaccount. Het programma BLAblabla word je na aanschaf van bolas apart toegestuurd (zie afbeelding hieronder).

Desgewenst is een meer uitgebreid bolasabonnement met (digitale) ondersteuning voor BLAblabla. Zie: bolas – individuele aanschaf met cursus.

BLAblabla, versie 1.4 – Bronnen Labelen Analyseren – is te gebruiken in combinatie met Access van Microsoft Office

maart 19th, 2020

Plan van aanpak

Een plan van aanpak geeft antwoord op de vraag: wat, waar, wie, waarom, waartoe, wanneer, welke en hoe? Naast inhoudelijke punten als vraagstelling, doelstelling en methoden (wat, waarom en hoe) wordt in een plan van aanpak aandacht gegeven aan de randvoorwaarden. Het gaat dan om de aanwezige onderzoeksfaciliteiten, het beschikbare budget en de tijd. Daarmee is de grondstructuur van het plan van aanpak duidelijk.

Er zijn meerdere formats voor het opstellen van een plan van aanpak in omloop. Bolas heeft een format opgesteld dat goed hanteerbaar is binnen het praktijkonderzoek, met een accent (maar niet uitsluitend) op kwalitatief (niet cijfermatig) onderzoek. Meer weten? Zie hier voor het betreffende format.

januari 3rd, 2020

Validiteit en betrouwbaarheid

Over beide begrippen (betrouwbaarheid & validiteit) is veel te zeggen. Niet zelden haalt men ze door elkaar. Ik beperk me hier tot de validiteit. Dat begrip draait om de vraag: meet je wat je wil weten? Validiteit heeft betrekking op het gebruikte instrument (bijv. analyseschema, interviewprotocol, observatieschema, experiment).  Je kunt de validiteit van het onderzoeksinstrument vergroten door:

  • gebruik te maken van een bestaand en goedgekeurd instrument;
  • het instrument voor feedback voor te leggen aan experts, deskundigen en/of vakgenoten en het daarna meer definitief vast te leggen;
  • enkele proefwaarnemingen uitvoeren en het instrument vervolgens bijstellen.

Het is van belang dit proces van validisering goed vast te leggen zodat je je werkwijze achteraf goed kunt verantwoorden.

Wanneer je gebruik maakt van een valide instrument betekent dit nog niet dat resultaten ook extern valide zijn. Om te kunnen beoordelen of de resultaten ook buiten de specifieke onderzochte situatie gelden, moet je de factoren (en randvoorwaarden) goed in kaart brengen. Die beïnvloeden namelijk de resultaten. Pas als dit het geval is – de contexten vergelijkbaar zijn – kun je zeggen dat een onderzoek (onder die voorwaarden) waarschijnlijk ook extern valide is.

Een volgend blog zal gaan over betrouwbaarheid in relatie tot de validiteit. De betrouwbaarheid heeft te maken met de herhaalbaarheid en, de uitvoering (persoon en proces) en de betrokken aantallen: (1) is het onderzoek exact herhaalbaar en levert het onderzoek bij herhaling dezelfde resultaten op? (2) staan de metingen los van de uitvoerder? (3) in welke mate werkt de omgeving/proces verstorend op de resultaten? Zijn de betrokken aantallen groot genoeg om iets zinnigs te kunnen zeggen over de populatie? (4).

Er zijn vier mogelijke posities als het gaat om validiteit en betrouwbaarheid: valide – betrouwbaar (1) – invalide – onbetrouwbaar (2) – valide – onbetrouwbaar (3) – invalide – “betrouwbaar”(4).

Een kanttekening: in actieonderzoek – waarin men juist een verandering beoogt – gelden aanvullende eisen/criteria en wordt betrouwbaarheid (in de zin van exacte herhaalbaarheid) enigszins gerelativeerd.

Blijft dat precisie in beschrijving van de werkwijze  – net zoals in de natuurwetenschappen – ook in de sociale wetenschappen (en geesteswetenschap) heel belangrijk is.