zaterdag 22 november 2014

Your a-lot-of-steps-guide to translate a questionnaire

Ik vertaalde 'eventjes' een vragenlijst. In dit blog de stappen die ik daarvoor gezet heb.

Mijn afstudeeronderzoek draait om nieuwsgierigheid. Als onderdeel van mijn onderzoek wil ik graag het verband laten zien tussen nieuwsgierigheid en het vermogen om vragen te stellen. Om dat te doen moet ik iets kunnen zeggen over de mate van nieuwsgierigheid (en natuurlijk ook over het vermogen om vragen te stellen, maar daarover een andere keer). Omdat het over nieuwsgierigheid als gevoel gaat, is een vragenlijst of een interview de aangewezen methode om data te verzamelen. Om een verband te onderzoeken moet ik van alle leerlingen in mijn onderzoeksgroep (N=22) hun mate van nieuwsgierigheid weten. Daarom heb ik gekozen voor een vragenlijst. De andere optie kost simpelweg teveel tijd.

Een klein probleem: die vragenlijst had ik nog niet. Na veel lezen en zoeken heb ik wel wat gevonden. De auteur heb ik gemaild of ik a) zijn vragenlijst mocht gebruiken en b) of hij mij het origineel wilde toesturen. Prompt stuurde hij mij de meest recente versie en alle relevante artikelen daaromheen. De Epistemic Curiosity Questionnaire (Litman, 2008) meet de vorm van nieuwsgierigheid die het meest in verband wordt gebracht met leren (zie bijvoorbeeld Berlyne, 1954). Prima vragenlijst: tien vragen, twee onderliggende schalen. Betrouwbaarheid in orde (α = .82 en .76) met een sterke correlatie tussen beide schalen (r = .60). Volgende probleem: om de vragenlijst te kunnen gebruiken moest deze vertaald worden. Een vertaalde vragenlijst is een nieuwe vragenlijst, waarbij er niet zomaar vanuit gegaan kan worden dat die net zo betrouwbaar is als het origineel... In de rest van dit blog de stappen die ik gevolgd heb, gebaseerd op de gemengde methode uit Methoden en technieken van onderzoek (Saunders, Lewis, Thornhill, Booij & Verckens, 2011).

Stap 1: Vertaal
Om te beginnen heb ik de vragenlijst zelf vertaald naar het Nederlands. Het lastige hieraan is, is dat je dit doet met stap 2 in je achterhoofd. De vertaling moet zo getrouw mogelijk aan het origineel, maar dat levert al snel hele kromme Nederlandse zinnen op.

Stap 2: Twee native speakers vertalen terug
De Nederlandse versie is door twee native speakers afzonderlijk weer vertaald naar het Engels. Een collega van mijn vriendin was zo vriendelijk, en nummer 2 vond ik via Twitter!

Stap 3: Vergelijken origineel met 'terugvertalingen'
Met beide native speakers heb ik (telefonisch en via Facetime) de verschillen tussen het origineel en hun vertaling van mijn versie besproken. Hoe hebben zij het opgevat? Waarom voor dit woord gekozen? Zit er een verschil in betekenis? Voorbeeld: I find it fascinating to learn new information, bleek niet hetzelfde als Ik vind het fascinerend om iets nieuws te leren. ...to learn new information... gaat over cognitief leren, en niet over het leren van een vaardigheid. Maar je zegt in het Nederlands niet ...nieuwe informatie leren. Daar is, na discussie, de volgende stelling van gemaakt: Ik vind het fascinerend om nieuwe kennis op te doen. Heel wat anders, maar toch hetzelfde.

Stap 4: Definitieve vertaling
Op basis van de gesprekken met de native speakers heb ik een definitieve vertaling gemaakt.

Stap 5: Testen
De vertaling was niet direct geschikt voor mijn doelgroep (VMBO / Het Groene Lyceum). Ik heb leerlingen uit mijn mentorklas gevraagd om na schooltijd de vragenlijst, in ruil voor warme chocolademelk en een stroopwafel, te testen. Bij drie vragen waren er problemen in de vorm van lastige woorden. Voorbeeld: Wat is een abstract concept bijvoorbeeld (Ik geniet ervan om te discussiëren over abstracte concepten)? Na mijn uitleg hierover heb ik de leerlingen gevraagd welke woorden zij zouden gebruiken als het hierover gaat. Dat leverde een, volgens mij, prachtige 'vertaling' op: Ik geniet ervan om te discussiëren over iets dat je niet snel begrijpt. Zo zijn we elke vraag langs gegaan.
Mooi: Bij stap 3 is het ook gegaan over de vertaling van ...I just can't rest without knowing the answer. De discussie ging daar tussen ik kan niet rusten en ik kan niet stoppen. De laatste leek ons in eerste instantie beter, maar uiteindelijk is er gekozen voor de eerste, puur omdat die vertaling dichter bij de bron was. Ik heb mijn leerlingen gevraagd of de stelling wat anders zou betekenen met stoppen in plaats van rusten. Antwoord, zonder te aarzelen: "Ja! Als je niet kan rusten voordat je het antwoord weet, kun je wel even stoppen om wat anders te gaan doen, maar je blijft er toch over nadenken." De nuance die ik, samen met twee hoogopgeleide native speakers nog niet hadden gevonden, werd feilloos aangebracht door een stel 13 jarige vmbo-leerlingen. 
Stap 6: Inhoudsvaliditeit
De test leverde de definitieve versie. Om de validiteit te controleren heb ik de vragenlijst, samen met het origineel, opgestuurd naar prof. R.-J. Simons, die in de Canon van het Leren (2012) het hoofdstuk over nieuwsgierigheid geschreven heeft. Als expert kan hij een uitspraak doen over de inhoudsvaliditeit. Meet deze nieuwe versie nog wel hetzelfde als het origineel? De man schijnt het echter verschrikkelijk druk te hebben, zeker van antwoord ben ik dus niet. Zodra ik antwoord heb, pas ik het blog aan. Als ik geen antwoord krijg, zal ik het met face validity moeten doen (wat er op neer komt dat jullie mij op mijn blauwe ogen geloven dat deze vragenlijst meet wat er gemeten moet worden).

Stap 7: Afnemen!
En eens kijken of al dat werk ook iets oplevert...


Bronnen:
Berlyne, D. (1954). A theory of human curiosity. British Journal of Psychology, 45(3), 180-191. 

Litman, J. A. (2008). Interest and deprivation factors of epistemic curiosity. Personal and Individual Differences, 44(7)1585-1595.

Saunders, M., Lewis, P., Thornhill, A., Booij, M., & Verckens, J. P. (2011). Methoden en technieken van onderzoek. Amsterdam: Pearson Education Benelux.

Simons, R.-J. (2012). Nieuwsgierigheid. In M. Ruijters & R.-J. Simons (Red.), Canon van het leren (pp. 423-431). Deventer: Kluwer.