In 't Wasdom

bolas, toegang tot kennis

Archive for the ‘onderzoeksaanpak’ Category

april 29th, 2020 by Jaap de Jong

Wat is labelen?

Labelen is een manier om je onderzoeksmateriaal te typeren met kernwoorden en/of codes. Met labelen schep je orde in de chaos van je onderzoeksdata. Het uitgangspunt bij het labelen is je vraagstelling en de bijbehorende topics. Door te labelen kun je de relevante resultaten (tekstfragmenten) uit je interviews met elkaar vergelijken en systematisch analyseren. Je kunt niet alleen interviews labelen, maar ook documenten of vakliteratuur.

Het ontwerpen van een labelsysteem is niet veel anders dan het opzetten van een ouderwetse kaartenbak (bijv. voor het bewaren en ordenen van adressen), maar dan digitaal. Een systeem dat je kunt ordenen, bijv. naar (kern)label of naar type bron.

Labelen heeft pas zin als je over meerdere interviews (of andere teksten) beschikt met dezelfde topics. Het is van belang om bij het ontwerpen van je interviewleidraad (of -protocol) rekening te houden met de vergelijkbaarheid tussen respondenten. Het labelen van een expertinterview om te kunnen vergelijken heeft geen zin, omdat er meestal maar één expert is op een bepaald terrein en er dus geen sprake is van een diepgaande analyse van verschillen of overeenkomsten tussen tientallen tekstfragmenten over bepaalde topics.

Het labelen als methode kan worden toegepast bij interviews, literatuuronderzoek en documenten. Bij interviews ga ik ervan uit dat je beschikt over de volledig uitgeschreven interviews, het zgn. ruwe materiaal. Ieder interview krijgt een uniek identificatienummer (idnr.), bijv. 4 (het vierde interview in een reeks van bijv. acht interviews). Vervolgens streep je in dat interview de irrelevante passages weg, selecteer en/of arceer je de relevante tekstpassages. Voorzie deze tekstfragmenten al in het zgn. ruwe interviewmateriaal van een fragmentcode  en voer die fragmenten in in het door jou gebruikte systeem in (Excel, Access of ATLAS-ti). De geselecteerde tekstfragmenten geef je de al eerder toegekende fragmentcode en je voorziet het fragment van een (voorlopig) karakteriserend label. De fragmentcode i4.21 slaat bijv. terug op interviewfragment 21 van respondent 4.

Na het labelen van een stuk of zes/zeven getranscribeerde interviews merk je vaak dat er structuren ontstaan. Je kunt dan overgaan naar een (kern)labelsysteem met meer definitieve labels. Vaak zijn er twee of meer verwante labels die onder een zgn. kernlabel zijn te plaatsen. Ze omvatten meerdere aspecten van het topic of vallen er zelfs min of meer mee samen. Het is dan wel zaak om dat kernlabel dan nauwkeurig te omschrijven/definiëren.

Samengevat, een 7-stappenplan:

  1. Transcriberen teksten ofwel het letterlijk uitschrijven van de interviews. Geef ieder interview een uniek idnr.;
  2. Selecteer per interview de relevante tekstfragmenten op basis van je vraagstelling;
  3. Geef de geselecteerde fragmenten een fragmentcode die verwijst naar het interview (coderen). Uit fragmentcode 4.21 blijkt bijv. het verband tussen interviewfragment 21 en het eerder genummerde interview (4).
  4. Invoer van tekstfragmenten, inclusief fragmentcodes, in systeem BLAblabla (zie hieronder) of in een ander verwerkingsprogramma;
  5. Vat het fragment samen met een karakteriserend woord ofwel label. Je mag meerdere labels toekennen aan een fragment, hou het wel overzichtelijk;
  6. Maak een systematisch overzicht van de labels waarbij meerdere, samenhangende labels, een kernlabel kunnen vormen. Definieer deze kernlabels en zorg er voor dat deze omschrijving de lading ook werkelijk dekt;
  7. Analyseer de resultaten aan de hand van de (kern)labels. Maak daarbij gebruik van een Excelprogramma, ATLAS-ti of van BLAblabla (zie hieronder).

Bij documenten gaat het labelen in principe op eenzelfde manier. Gebruik je meerdere type bronnen dan is het handig om bij een document (bijv. dossier) een extra lettercode te gebruiken, bijv. iets als d8.7 (document 8, fragment 7). Hou de codering echter zo eenvoudig mogelijk.

Relevante fragmenten uit de literatuur kun je ook labelen. Bij gebruik van literatuurfragmenten kun je het reguliere referentiesysteem gebruiken, bijv. APA-stijl (auteur(s), publicatiejaar, paginanr.). Labelen van (vak)literatuur kan ook in BOLAS.

In het bronnenoverzicht van je BOLAS-project (indien aanwezig) staat rechts van de opgeslagen bron (naast REF) de labeloptie. Je kunt het gelabelde tekstfragment in de aantekeningen bij de bron plakken. Met de toegekende labels hou je overzicht. Je kunt bronnen ordenen door op het label te klikken. Overzicht houden is een voorwaarde voor de analyse.

Door labels te geven aan tekstfragmenten kun je al het gebruikte bronnenmateriaal ordenen en resultaten per toegekend (kern)label analyseren. Dat geeft je de mogelijkheid zinnige zaken te rapporteren over de totale groep respondenten, documenten of literatuur (de zgn. bronnen) in relatie tot het betreffende (kern)label.

Meer weten?

Je ontvang het labelsysteem BLAblabla – Bronnen Labelen Analyseren – bij aanschaf van een bolasaccount. Het programma BLAblabla word je na aanschaf van bolas apart toegestuurd (zie afbeelding hieronder).

Desgewenst is een meer uitgebreid bolasabonnement met (digitale) ondersteuning voor BLAblabla. Zie: bolas – individuele aanschaf met cursus.

BLAblabla, versie 1.4 – Bronnen Labelen Analyseren – is te gebruiken in combinatie met Access van Microsoft Office

maart 19th, 2020 by Renske ter Avest

Plan van aanpak

Een plan van aanpak geeft antwoord op de vraag: wat, waar, wie, waarom, waartoe, wanneer, welke en hoe? Naast inhoudelijke punten als vraagstelling, doelstelling en methoden (wat, waarom en hoe) wordt in een plan van aanpak aandacht gegeven aan de randvoorwaarden. Het gaat dan om de aanwezige onderzoeksfaciliteiten, het beschikbare budget en de tijd. Daarmee is de grondstructuur van het plan van aanpak duidelijk.

Er zijn meerdere formats voor het opstellen van een plan van aanpak in omloop. Bolas heeft een format opgesteld dat goed hanteerbaar is binnen het praktijkonderzoek, met een accent (maar niet uitsluitend) op kwalitatief (niet cijfermatig) onderzoek. Meer weten? Zie hier voor het betreffende format.

februari 10th, 2020 by Jaap de Jong

Betrouwbare bronnen

Betrouwbare bronnen: hoe beoordeel je dat?

“Wanneer is een bron eigenlijk betrouwbaar? En hoe zorg je voor kwaliteit als het gaat om literatuuronderzoek” schreeuwt iemand hier op het lege marktplein. Kunt u daar iets over zeggen? Dat kan en het is gemakkelijker. Er zijn drie soorten criteria: formele, inhoudelijke en vormeisen.

Formele criteria

  • auteur – zonder auteur stelt niemand zich verantwoordelijk voor de inhoud, een organisatie opvoeren is in principe al een zwaktebod. Zeker als er een beter alternatief voorhanden is.
  • publicatiedatum – zonder publicatiedatum geen zicht op de nieuwste inzichten, ontwikkelingen en meer recente publicaties.
  • titelgegevens – zonder of met incomplete gegevens geen zicht op het type bron (is het bijv. een journal, boek, bundel, thesis, webpagina?)
  • vindplaatsgegevens – zonder (stabiele) vindplaatsgegevens is er door anderen geen controle mogelijk (denk aan instabiele webpagina’s die plots verdwenen of veranderd zijn).

Conclusie: een bruikbare bron bevat gegevens over de auteur, publicatiedatum, titel en de (stabiele) vindplaats. Die gegevens zijn ook nodig voor het opmaken in de gekozen stijl (bijv. APA-style). Als de bron bruikbaar is, dan is die bron nog niet persé betrouwbaar. Er zijn aanvullende criteria.

Inhoudelijke criteria

  • gezaghebbend (dus argumentatief sterk) op basis van inhoud – de bron is afkomstig uit het kennisdomein of vakgebied (vakliteratuur/tijdschriften, databanken, papieren uitgaven (boeken, bundels, thesis, journals).
  • De bron is bij voorkeur door vakgenoten beoordeeld (peer reviewed).

Vormeisen

  • er is een officiële referentiestijl gebruikt (APA, Cambridge, Harvard etc.) en die is volgens de richtlijnen van de stijl ingevoerd.
  • de bibliografie is gevarieerd qua type bron (journals/artikelen, thesis, boeken of bundels, géén instabiele webpagina’s).

De inhoudelijke criteria zijn natuurlijk het belangrijkst. Dat te kunnen beoordelen is een kwestie van ervaring en tijd. In elk geval voldoet een (in beginsel) betrouwbare bron altijd aan de formele criteria en de eisen qua vorm.


Lees dit blog om effectief te zoeken naar betrouwbare bronnen: zoeken in databanken. Of zoek met Laelaps naar betrouwbare bronnen en sla de resultaten direct op in een bolasproject (opslaan vlg. APA-richtlijnen).

Meer weten over de Laelaps? Bekijk deze reeks met blogs over de achtergrond van Laelaps.

januari 19th, 2020 by Renske ter Avest

Interviewprotocol of -leidraad

Het is belangrijk om vooraf goed na te denken over het type interview, de selectie van je respondenten en de inhoud van het interview. Ook is het van belang om een aantal afspraken vast te leggen en te communiceren, evenals opvallende punten tijdens het afnemen van het interview (procesaspecten). De keuzes en afspraken die je maakt leg je vast in een zgn. interviewprotocol of -leidraad. Dat vastleggen geldt ook voor de topics/vragen van het interview en opvallende punten bij de afname van het interview.

Hoe ziet zo’n interviewprotocol er in de praktijk uit?

Een interviewprotocol omvat drie hoofdpunten – de kenmerken van de respondent (selectiecriteria) (A), de topics/vragen van het interview (structuur en inhoud)) (B), gemaakte afspraken en opvallende punten (bijv. storingen) tijdens het interview (procesaspecten) (C).

A. Selectiecriteria. Over de kenmerken van de respondent

De selectiecriteria hebben alles te maken met de keuze van de respondenten. Zijn die respondenten met hun persoonskenmerken (bijv. opleiding, functie, aantal jaren praktijkervaring, sekse etc.) in staat bij te dragen aan het antwoord op de vraagstelling? Bij een klein (en als niet-representatief bedoeld) onderzoek is het wellicht verstandig een zeer homogene onderzoeksgroep samen te stellen, omdat er tenminste iets zinnigs over die kleine groep gezegd kan worden. Iets dat dan later in een groter verband nader onderzocht kan worden.

B. Topics of vaste vragen

Het type interview – open of juist geheel gestructureerd, dan wel een tussenvorm – bepaalt of je alleen de topics vastlegt en daarop doorvraagt of dat je de vragen uitschrijft en je daartoe beperkt.

Ik ga hier in op één aspect dat direct gevolgen heeft voor het verwerken en analyseren van je interview: bij een geheel open interview kost de verwerking (labeling) veel tijd omdat de structuur pas achteraf uit het materiaal wordt gehaald. Het risico dat het alle kanten op gaat is aanwezig. Bij een terughoudende positie van de interviewer is de kans dat je de ander woorden in de mond legt misschien wat minder groot.

Ga je uit van een theorie – en/of van een samenhangend en beperkt aantal topics dat wordt bevraagd – dan is de verwerking van je data vaak simpeler. Bepaalde ingrediënten uit de theorie kunnen dan dienen als topic, label en/of (sub)label. Je bevraagt bij alle respondenten dezelfde aspecten en laat de reacties in de analyse terugkomen. Het risico is dat de interviewer minder open staat voor afwijkingen, alternatieven of zijwegen die op een nieuw spoor kunnen zetten.

Er is natuurlijk niets op tegen om een tussenvorm te kiezen en bij het topic-interview (evt. achteraf – na de eerste reactie van de respondent – met een sleutelwoord (als hulpmiddel) en/of een extra deel met stellingen te werken waardoor je toch tot een vergelijkende analyse kunt komen.

C. Procesaspecten en afspraken

Noteer storende of opvallende punten tijdens het interview die mogelijk van invloed waren op de antwoorden. Je kunt dan achteraf besluiten om een bepaald interview toch buiten beschouwing te laten.

Maak afspraken over anonimiteit, privacy en het toesturen van de uitwerking. Stel respondenten in de gelegenheid om aanvullingen te geven. Door die afspraken vooraf te maken is het gemakkelijker om achteraf om verdieping te vragen of een extra vraag te stellen.

Tijdsinvestering

Tot slot: er is een simpele regel die helder maakt hoeveel tijd het uitschrijven van een interview kost: 5 x T, waarbij T de tijdsduur is van het interview. Hierbij heb je nog niets gedaan aan het labelen en analyseren. Wel zul je merken dat het uitschrijven helpt om een beeld te krijgen van de relevante aspecten van het te gebruiken labelsysteem.

Meer weten?

Interviews kun je labelen met het labelsysteem BLA – Bronnen Labelen Analyseren. Dat systeem is gratis bij aanschaf van een bolasaccount. Na betaling wordt het programma je toegestuurd. Desgewenst is ook een meer uitgebreid bolasabonnement met ondersteuning voor BLA en andere zaken mogelijk. Zie: bolas – individuele aanschaf met cursus.

januari 19th, 2020 by Jaap de Jong

Labelen – open coderen of vanuit de theorie?

Het opstellen van je interviewleidraad of -protocol is niet vrijblijvend. De keuze voor een open of meer gestructureerd interview heeft consquenties voor het latere labelproces. Kies je voor open coderen of ben je in je interview vooral bezig met het verifiëren van gegevens die al bekend zijn?

Bij een sterk open interview kost het labelen later vaak veel meer tijd en is het lastiger om de resultaten van een groep respondenten te analyseren. Vanuit de teksten zelf – inductieve methode – kom je tot labels en probeer je de relaties tussen de labels vast te stellen. Uiteindelijk kom je dan tot een hopelijk samenhangend kernlabelsysteem.

Wanneer je vanuit de literatuur (theorie) een aantal samenhangende topics bevraag ben je meer of minder bewust bezig om bevestiging te zoeken. Dat betekent dat er een risico dat je bevangen bent door de theorie en daardoor mogelijk sturend aanwezig bent. Men spreekt in zo’n geval wel van theoriebevangen of -gestuurde waarneming. Vanuit de theorie (de ratio) kom je immers tot je topics of vragen (deductieve methode). Uiteraard kun je de valkuil van de bevangenheid enigszins vermijden door bewust een zo’n neutraal mogelijke opstelling te kiezen. En natuurlijk door open te blijven voor mogelijkheden die je niet (kunt) voorzien.

Het voordeel van een meer gestructureerd interview – met een theoriegestuurde topiclijst – is dat je vooraf goed kunt nadenken over de labels en kernlabels. De topics uit het interview vallen dan soms zelfs samen met de kernlabels. Labelen kost daardoor vaak minder tijd.

Uiteraard kun je ook een mix maken van open items en gestructureerde vragen of zelfs stellingen. Dit laatste heeft als voordeel dat je snel een min of meer kwantitatief inzicht kunt krijgen over de meningen van de totale onderzochte groep.

januari 19th, 2020 by Jaap de Jong

Het analyseschema of kernlabelsysteem

Een kernlabelsysteem of analyseschema is een onderzoeksinstrument of hulpmiddel bij de analyse van teksten. Het labelen dat eraan voorafgaat is een vorm van kwalitatief onderzoek. Je bent als duider of interpreet op zoek naar de betekenis van de tekst. Het maken van een meer definitief kernlabelsysteem is de laatste stap van het labelproces en gebeurt vóór het analyseren en rapporteren.

In het analyseschema breng je (samenhangende) labels – waarmee je de teksten analyseert – onder bij een kernlabel. Dat kernlabel is een soort van paraplu die gedragen wordt door bijpassende labels. Geef met behulp van vakliteratuur een duidelijke (onderzoekbare en concrete) definitie van het kernlabel. Het testen, bevragen, wikken en wegen en uiteindelijk vaststellen van je analyschema (je onderzoeksinstrument) heeft alles te maken met het optimaliseren van de validiteit van het instrument.

De labels geven dus aspecten weer van het kernlabel. Je kunt de labels natuurlijk ook weer weghalen en onderbrengen bij een ander kernlabel dat beter past. Lees: dat daardoor méér valide is en dus meet wat je wilt weten. Ga goed na of dat veranderen gevolgen heeft voor je analyse en rapportage. Het is handig om de kernlabels te gebruiken als kapstok voor de verschillende paragrafen in een hoofdstuk waarin je antwoord geeft op je vraagstelling.

Tot slot: een kernlabelsysteem of analyseschema is een instrument voor tekstanalyse. Dat betekent dat het niet alleen inzetbaar is bij interviews, maar ook bij literatuur- en documentonderzoek.

januari 10th, 2020 by Renske ter Avest

Het opzetten van een gevarieerde en betrouwbare bronnenlijst

Een vorig blog ging over betrouwbare bronnen. In dat blog is onderscheid gemaakt tussen inhoudelijke en formele eisen (aanwezigheid auteur, publicatiedatum, gegevens over titel & vindplaats). Daarnaast is opgemerkt dat je voldoende gegevens moet hebben om de bibliografie volgens de gekozen stijl (bijv. APA-richtlijnen) op te maken (vormeisen). In dit blog gaan we verder in op de kwaliteit van de bibliografie of bronnenlijst.

De kwaliteit van bibliografie (of bronnenlijst) blijkt – naast het gebruik van betrouwbare (en stabiele) bronnen – ook uit de diversiteit van de bronnen. Zijn er bijv. verschillende soorten of type bronnen (bijv. krant, tijdschrift, journal, boek) gebruikt of worden er alleen (instabiele) internetbronnen gebruikt? Welke type bronnen zijn er precies gebruikt en geeft de bibliografie dit correct weer? Met andere woorden: kun je uit de bibliografie opmaken om welk type bron het gaat?

Natuurlijk is je vraagstelling richtinggevend bij de selectie van bronnen. Ben je bijvoorbeeld geïnteresseerd in de ontvangst van de film Modern Times (1936) van Charlie Chaplin in Amerikaanse en Nederlandse recensies, dan is het ietwat merkwaardig als er geen krantenartikelen zijn opgenomen in je bronnenlijst.

Hieronder een voorbeeld van enkele bronnen uit de bibliografie van een dissertatie. Het gaat om vier verschillende type bronnen. Welke?

Baarda, B. et al. (2017). Basisboek kwalitatief onderzoek: handleiding voor het opzetten en uitvoeren van kwalitatief onderzoek. Groningen: Wolters Noordhoff.

Barnhill, J.J. (2011). Giving meaning to grief: The role of rituals and stories in coping with sudden family loss (phd thesis University of South Florida). Tampa, Florida: USF.

Behrend, C. (2017). Interview with ritual artist Ida van der Lee. In J. Gordon-Lennox (red.), Emerging ritual in secular societies: a transdisciplinary conversation (pp. 232-245). London: Jessica Kingsley Publishers.

Deflem, M. (1991). Ritual, anti-structure, and religion: a discussion of Victor Turner’s processual symbolic analysis. Journal for the Scientific Study of Religion, 30(1), 1-25. doi:10.2307/1387146

Iemand die de hier gebruikte referentiestijl (APA-style) kent, ziet in één oogopslag dat het om vier verschillende type bronnen gaat, resp. een boek, PhD-thesis, artikel uit bundel en een artikel uit een journal.

Wat zijn de overeenkomsten en verschillen tussen de vier bronnen en welke informatie heb je nodig om het type bron bepalen?

De overeenkomst is dat bronnen moeten voldoen aan de formele eisen, d.w.z. compleetheid wat betreft: auteur(s), publicatiedatum, titel- en (stabiele) vindplaatsgegevens. De weergave (vormeisen) is bij ieder type bron anders. Los van dit laatste zijn er uiteraard ook verschillen in vormgeving tussen de referentiestijlen (APA, Harvard, Cambridge etc.).

Uit een correcte bibliografie kun je opmaken tot welk type de weergegeven bron behoort. Dat geeft ook helderheid wat betreft de variatie en kwaliteit van de bronnenlijst. Het bepalen van het type bron is het thema van een aantal volgende blogs! [wordt vervolgd]


Bolas ontwikkelde een eigen tool voor het opslaan van verschillende soorten (type) bronnen volgens de APA-stijl. Je kunt deze tool gebruiken op de overzichtspagina met eerder opgeslagen projectbronnen.

Klik op de overzichtspagina op REF (rode pictogram), kies het correcte type bron en vul de ontbrekende gegevens aan. Je bent klaar als alle noodzakelijke velden bij het gekozen type bron zijn ingevuld. Dan wordt het rode REF pictogram groen.

januari 3rd, 2020 by Jaap de Jong

Validiteit en betrouwbaarheid

Over beide begrippen (betrouwbaarheid & validiteit) is veel te zeggen. Niet zelden haalt men ze door elkaar. Ik beperk me hier tot de validiteit. Dat begrip draait om de vraag: meet je wat je wil weten? Validiteit heeft betrekking op het gebruikte instrument (bijv. analyseschema, interviewprotocol, observatieschema, experiment).  Je kunt de validiteit van het onderzoeksinstrument vergroten door:

  • gebruik te maken van een bestaand en goedgekeurd instrument;
  • het instrument voor feedback voor te leggen aan experts, deskundigen en/of vakgenoten en het daarna meer definitief vast te leggen;
  • enkele proefwaarnemingen uitvoeren en het instrument vervolgens bijstellen.

Het is van belang dit proces van validisering goed vast te leggen zodat je je werkwijze achteraf goed kunt verantwoorden.

Wanneer je gebruik maakt van een valide instrument betekent dit nog niet dat resultaten ook extern valide zijn. Om te kunnen beoordelen of de resultaten ook buiten de specifieke onderzochte situatie gelden, moet je de factoren (en randvoorwaarden) goed in kaart brengen. Die beïnvloeden namelijk de resultaten. Pas als dit het geval is – de contexten vergelijkbaar zijn – kun je zeggen dat een onderzoek (onder die voorwaarden) waarschijnlijk ook extern valide is.

Een volgend blog zal gaan over betrouwbaarheid in relatie tot de validiteit. De betrouwbaarheid heeft te maken met de herhaalbaarheid en, de uitvoering (persoon en proces) en de betrokken aantallen: (1) is het onderzoek exact herhaalbaar en levert het onderzoek bij herhaling dezelfde resultaten op? (2) staan de metingen los van de uitvoerder? (3) in welke mate werkt de omgeving/proces verstorend op de resultaten? Zijn de betrokken aantallen groot genoeg om iets zinnigs te kunnen zeggen over de populatie? (4).

Er zijn vier mogelijke posities als het gaat om validiteit en betrouwbaarheid: valide – betrouwbaar (1) – invalide – onbetrouwbaar (2) – valide – onbetrouwbaar (3) – invalide – “betrouwbaar”(4).

Een kanttekening: in actieonderzoek – waarin men juist een verandering beoogt – gelden aanvullende eisen/criteria en wordt betrouwbaarheid (in de zin van exacte herhaalbaarheid) enigszins gerelativeerd.

Blijft dat precisie in beschrijving van de werkwijze  – net zoals in de natuurwetenschappen – ook in de sociale wetenschappen (en geesteswetenschap) heel belangrijk is.