Hoe begint u eraan?
U hebt bepaald dat u zelf onderzoek wil en/of moet opzetten. Maar hoe begint u er nu aan? Volgend stappenplan helpt u op weg.
1. Bepaal de concrete onderzoeksvraag
Alle (nieuwe) informatie is interessant en er zijn veel zaken waar u een antwoord op wil weten. Maar per onderzoek bakent u best een concrete onderzoeksvraag, of meerdere, af. Wat wil u exact te weten komen? En wat zal u dus moeten gaan meten?
In onze maatschappij, en zeker ook in de cultureel-erfgoedsector, schuilt het risico van ‘overbevraging’ om de hoek. Een te lange vragenlijst uitsturen of een interview afnemen zonder enige focus, zal dan ook weinig nuttige informatie opleveren. Kunt u de focus behouden en uw bevraagde doelgroep duidelijk uitleggen wat het doel en het nut is van uw onderzoek, des te meer interesse en medewerking het zal opleveren. Het kan ook foute verwachtingen voorkomen: welk probleem/nood wil u zeker in kaart brengen of aanpakken en waar gaat u niet op inspelen?
Een concrete onderzoeksvraag helpt u bovendien ook om heel wat zaken in de volgende stappen van uw onderzoek te bepalen.
- Bijvoorbeeld (beleidsplanning en -opvolging): ‘Bij welke noden van vrijwilligersorganisaties kan onze organisatie ondersteuning bieden?’ i.p.v. ‘Welke noden hebben vrijwilligersorganisaties?’
- Bijvoorbeeld (continue evaluatie): ‘Wie bereiken we met onze nieuwsbrief?’ of ‘Hoe tevreden zijn de lezers van onze nieuwsbrief over dit medium?’ i.p.v. ‘Doet onze nieuwsbrief het goed?’
- Bijvoorbeeld (impact organisatie): ‘Zetten begeleide erfgoedorganisaties de geleerde principes om in de praktijk en resulteert dit in een kwaliteitsvollere diversiteitswerking?’ i.p.v. ‘Werken erfgoedorganisaties meer rond diversiteit?'
2. Bepaal de doelgroep
Bij wie gaat u bepaalde zaken onderzoeken? Wie kan er een (zo objectief mogelijk) antwoord geven op uw onderzoeksvraag?
In deze stap is het niet alleen belangrijk u af te vragen bij wie u wil meten, maar ook bij wie u kunt meten. Niet elke doelgroep is namelijk even bereikbaar om onderzoek bij te doen. Denk maar aan de niet-lezers van uw nieuwsbrief of digitaal ongeletterden.
In deze stap is het principe van representativiteit van belang. We leggen u uit waarom.
Representativiteit wil zeggen dat u de resultaten van het onderzoek kan veralgemenen naar de gehele populatie. De populatie hierbij is de volledige groep van individuen of organisaties waarover u wil en kunt een uitspraak doen. De groep van individuen of organisaties waarover uw onderzoeksvraag handelt zal namelijk (vaak) groter zijn dan diegene waar u uw onderzoek bij uitvoert.
Een voorbeeld: als u wil nagaan of de lezers van uw tijdschrift tevreden zijn, dan kunt u dit via een bijgevoegde schriftelijke vragenlijst nagaan. Maar niet elke lezer zal uw vragenlijst invullen en terugsturen (dit is ‘de respons’, een respons van 20-40% is gangbaar).
Het is wel belangrijk dat de groep die antwoordt, gelijkt op de volledige groep van lezers (waarover u dus een uitspraak wil doen). Dit ‘gelijken op’ is meestal op basis van enkele welbepaalde kenmerken waarvan we kunnen vermoeden dat ze een andere mate van tevredenheid zouden geven, zoals interessegebied of leeftijd. Als u merkt in de resultaten dat bepaalde groepen minder hebben deelgenomen aan uw onderzoek, kunt u dit vermelden in de bespreking (dit zorgt voor transparantie). Maar u kunt hier ook doorheen het onderzoek op letten en eventueel extra inspanningen leveren om bepaalde doelgroepen te bereiken.
Lees ook zeker eens dit artikel: onderzoeken die in de media komen, zijn niet altijd betrouwbaar.
Geen enkel onderzoek is allesomvattend en sluitend. Het is daarom eens zo belangrijk om transparant te zijn over de bevraagde doelgroep.
- Bijvoorbeeld (beleidsplanning en -opvolging): ‘Vrijwilligersorganisaties waarvan we het e-mailadres hebben in de eigen databank’ i.p.v. ‘Alle vrijwilligersorganisaties in Vlaanderen’
- Bijvoorbeeld (continue evaluatie): ‘Lezers van het faro-tijdschrift’ i.p.v. ‘Alle ontvangers van het faro-tijdschrift’
- Bijvoorbeeld (impact organisatie): ‘Deelnemers aan onze vormingen in de laatste 5 jaar’ i.p.v. ‘Alle erfgoedwerkers waarmee we ooit contact gehad hebben’
3. Bepaal de methode
Nadat u een concrete onderzoeksvraag of -vragen hebt geformuleerd en omschreven hebt bij wie u het onderzoek zal uitvoeren, kunt u nagaan via welke onderzoeksmethode u het duidelijkst een antwoord krijgt op deze vra(a)g(en).
Een overzicht van de meest gangbare methodes, compleet met informatie over voor- en nadelen, kost en complexiteit, kunt u terugvinden op een volgende pagina. Maar we geven u alvast een algemene opdeling mee. Meetmethoden worden opgedeeld in twee grote categorieën, namelijk of u werkt met cijfers (kwantitatief) of met woorden (kwalitatief).
De keuze voor een of meerdere meetmethodes zal beïnvloed worden door uw onderzoeksvraag, doelgroep en (tijds)budget. We geven enkele voorbeelden.
- Wil u vooral veel informatie verzamelen? Bij een groot aantal mensen of organisaties?
> kwantitatief (bv. een korte online vragenlijst met gesloten vragen) - Wil u meer diepgaande informatie verzamelen? Zoals motivaties of beweegredenen voor bepaald gedrag?
> kwalitatief (bv. een interview of een focusgroep met interactie tussen de deelnemers) - Wil u gevoelige informatie zoals overtuigingen of persoonlijke informatie verzamelen?
> kwantitatief (bv. een anonieme vragenlijst) - Wil u objectieve gegevens verzamelen, zoals aantal bezoekers?
> kwantitatief (bv. registratiesystemen zoals Google Analytics of een ticketingsysteem) - Wil u informatie verzamelen bij anderstaligen?
> kwalitatief (bv. interview met tolk)
De ene onderzoeksmethode kan beter een antwoord geven op een onderzoeksvraag of beter geschikt zijn voor een bepaalde doelgroep, maar is daarom niet strikt ‘verplicht’. U kunt er ook voor kiezen om verschillende methoden te combineren (‘mixed-method’).
Binnen de methode houdt u best ook rekening met anonimiteit.
Anonimiteit is een zeer gangbaar en belangrijk principe in de onderzoekswereld. Het wil zeggen dat de antwoorden die worden gegeven niet herleid kunnen worden naar de persoon die ze gegeven heeft. De link tussen de persoon en diens antwoorden is doorgeknipt. Sinds de invoering van de AVG (Algemene Verordening Gegevensbescherming) en het privacybeleid hebben heel wat organisaties hier aandacht voor. Maar anonimiteit gaat al veel langer mee in de onderzoekswereld.
Naargelang de onderzoeksmethode die u kiest, zal de gradatie van anonimiteit verschillen. Bij een vragenlijst kunt u dit gemakkelijk garanderen door geen persoonlijke gegevens te vragen (pas op, bij online vragenlijsten kan het zijn dat er toch nog een IP-adres wordt bijgehouden). Bij een interview zal de onderzoeker (de uitvoerder van het interview) de persoon in kwestie uiteraard kennen, maar ook dan kan anonimiteit gegarandeerd worden door in de verdere verwerking niet te verwijzen naar enige persoonsgegevens.
Anonimiteit is niet altijd noodzakelijk. Als u bijvoorbeeld peilt naar vragen of behoeften, kan het nuttig zijn voor de deelnemer om een e-mailadres achter te laten zodat die opnieuw gecontacteerd kan worden met een antwoord. Ook wanneer er in het onderzoek op twee verschillende tijdstippen wordt gemeten of bevraagd, kan het handig zijn dat de resultaten van de twee tijdstippen aan de hand van een identificatiegegeven aan elkaar kunnen worden gekoppeld.
Waar u ook voor kiest, wees altijd transparant naar de deelnemers van uw onderzoek. Welke gegevens houdt u bij? Wat zal gepubliceerd worden? Deze informatie kunt u meedelen aan het begin van de vragenlijst/het interview of beter nog bij uitnodiging tot deelname aan het onderzoek.
4. Betrek de nodige expertise
Een onderzoek uitvoeren vraagt enkele vaardigheden. We proberen u hier zo goed mogelijk op weg te zetten, maar mogelijks hebt u nog extra ondersteuning nodig. Denk maar aan de expertise die nodig is om een goede vragenlijst op te stellen, een statistische analyse uit te voeren of een interview te analyseren, resultaten te interpreteren of grafieken te maken.
U kunt hiervoor een beroep doen op eigen medewerkers, maar ook extern kan de nodige expertise gezocht worden. FARO kan u steeds bijstaan met advies hierrond. Of denk eens aan een samenwerking met een universiteit, hogeschool of onderzoeksbureau.
Niet alleen zijn bepaalde vaardigheden nodig, maar ook de betrokkenheid bij het onderzoek, het onderwerp en/of de doelgroep kan bepalen wie u betrekt. Als u bijvoorbeeld het tijdschrift van uw eigen organisatie wil laten evalueren, is het misschien beter om de interviews niet te laten afnemen door de eindredacteur. Dit om enige objectiviteit te kunnen garanderen.
Naargelang de doelgroep die u betrekt in het onderzoek, kan ook daarvoor de meest geschikte persoon gezocht worden. Een vertrouwenspersoon als het gaat om gevoelige informatie, een tolk voor onderzoek bij anderstaligen of een organisatie gespecialiseerd in heldere en eenvoudige taal voor onderzoek bij laaggeletterden bijvoorbeeld.
5. Voorzie voldoende tijd
Een onderzoek is er niet op een-twee-drie. Voorzie daarom voldoende tijd om dit stappenplan te doorlopen, het onderzoek voor te bereiden en ook om het onderzoek zelf uit te voeren.
Denk er bijvoorbeeld aan dat u:
- tijdig een projectteam samenstelt en samenroept.
- de inhoud van een vragenlijst of interviewleidraad aftoetst en laat nalezen, niet alleen bij de eigen collega’s of een eindredactie maar ook door enkele leden van de doelgroep zelf.
- voldoende tijd voorziet voor deelnemers om op uw vragenlijst te antwoorden. Denk hierbij ook aan vakantieperiodes of drukke tijden in het (werk)jaar.
- interviews niet alleen moet vastleggen en uitvoeren maar nadien ook moet uitschrijven.
- tijd voorziet om resultaten te analyseren, te interpreteren, neer te schrijven en/of te presenteren.
- …
6. Voorzie budget
Onderzoek kan uitgevoerd worden met een beperkt budget. Uiteraard zullen er steeds personeelskosten aan vast hangen, maar door gebruik te maken van budgetvriendelijke onderzoeksmethodes kan er al veel.
Binnen het budget wordt best rekening gehouden met volgende aspecten:
Methode-ontwikkeling
O.m. testen, opstellen of herwerken van vragenlijsten en interviewleidraden of installeren van registratiesoftware
- TIP: Er zijn heel wat gratis webplatformen beschikbaar om online vragenlijsten op te maken en uit te sturen. Velen kennen Google Drive en Surveymonkey, maar vanuit privacy-oogpunt en het feit dat deze platformen hun data opslaan op Amerikaanse servers, kunnen andere alternatieven gebruikt worden. Zo is er EUsurvey, opgezet door de Europese Commissie. Of Limesurvey, van Duitse makelij.
Data-inzameling
O.m. verzendingen, aankoop adressen, afname interviews, verplaatsingen, incentives (cadeau voor deelname, verloten van een prijs …)
- TIP: Voor het afnemen van interviews kunt u werken met vrijwilligers, stagiairs of jobstudenten. Uiteraard moeten ze gebriefd worden en getraind in het correct afnemen van het interview, maar dit spaart heel wat tijd en moeite uit.
- TIP: Een incentive voor het invullen van de prijs, moet u niet per se te ver zoeken. Hebt u zelf nog promotiemateriaal liggen, kunt u een plaatsje vrijgeven in een eigen vorming?
Dataverwerking
O.m. data-input, uitschrijven van interviews, software voor analyse
- TIP: Ook hier kunt u werken met vrijwilligers, stagiairs of jobstudenten. Moet u heel veel data verwerken? Waarom er geen burgerwetenschapsproject van maken? Dit impliceert uiteraard dat de betrokken burgers mee uw onderzoek vormgeven en uitwerken, maar dit kan nog meer interessante visies opleveren.
Rapporten opstellen in verschillende formats
O.m. publicaties, infographics, filmpjes …
- TIP: Heeft uw organisatie een eigen huisstijl? Vraag eens een sjabloon om hierin gemakkelijk rapporten uit te schrijven. Op die manier verliest u geen tijd met het lay-outen van uw rapport.
- TIP: Ellenlange onderzoeksrapporten worden vaak niet gelezen en verzamelen meer stof dan lezers. Om uw onderzoek bekend te maken, kiest u best voor interactieve en korte(re) presentaties. Denk daarbij aan een powerpointpresentatie met de belangrijkste conclusies, aan de hand van grafieken of infographics (ook hier zijn gratis tools beschikbaar, zoals Piktochart, Canva of Visme).
