|
|
|
Oude wijn in nieuwe zakken?
|
|
Over de zin en onzin van het gebruik van internet-enquêtes
door drs. C. van der Werf*
De tijd dat de bomen voor dotcom-bedrijven tot in de hemel groeiden ligt al weer ruim achter ons. En vergezichten van internet-goeroes over de impact van het internet op ons dagelijks leven en werk worden met de nodige scepsis aangehoord. Dat neemt niet weg dat zich in Nederland een ‘stille’ internetrevolutie heeft voltrokken: naar schatting heeft inmiddels zo’n driekwart van alle volwassen Nederlanders thuis een internetaansluiting, terwijl dat vijf jaar geleden nog minder dan 20% was. In het verlengde daarvan is het ‘online-onderzoek’ inmiddels een niet meer weg te denken fenomeen geworden in het markt- en consumentenonderzoek. Diverse marktonderzoeksbureaus richten zich volledig op het opzetten en onderhouden van zogenaamde access-panels en web-surveys. Staat het beleidsonderzoek ook aan de vooravond van een eigen internet-revolutie, en zo ja, wat betekent dat voor de bruikbaarheid en kwaliteit van het beleidsonderzoek?
![Online Onderzoek 4]( "Online Onderzoek 4")
In dit essay staan vijf vragen centraal. Wat is eigenlijk internet-onderzoek? En wat zijn de belangrijkste voor- en nadelen? Zijn internet-enquêtes wel representatief? Hoe staat het eigenlijk met de validiteit en betrouwbaarheid van internet-enquêtes? En tenslotte, welke nieuwe mogelijkheden biedt het internet voor beleidsonderzoek? Kortom, gaat het om ‘oude wijn in nieuwe zakken’, of heeft internet ook het beleidsonderzoek daadwerkelijk iets te bieden?
Waar hebben we het eigenlijk over?
Voor internet-onderzoek zijn diverse termen in omloop. De één heeft het over een web-survey of online-onderzoek, de ander noemt het CAWI (Computer Assisted Web Interviewing) of HTML-gestuurd interviewen. In de kern zijn er twee vormen van een internet-enquête:
Een vragenlijst die geplaatst is op een website. De respondenten ontvangen een brief of e-mail met daarin een link en een eigen toegangscode.
Een zogenaamde ‘pop-up’ vragenlijst, die verschijnt als je een bepaalde website bezoekt. Veel menseen ervaren dit als zeer irritant.
Daarnaast is er nog een soort tussenvorm waarbij wel e-mail maar geen internetverbinding nodig is. De vragenlijsten worden per e-mail verstuurd. Het kan gaan om een simpel Worddocument, maar ook een zogenaamd ‘e-form’; een electronische vragenlijst die na het invullen per e-mail retour gezonden moet worden.
Door deze mogelijkheden via internet, is het opzetten van onderzoekspanels nieuw leven ingeblazen. Er zijn inmiddels diverse ‘access-panels’ beschikbaar. Dat zijn groepen consumenten/burgers die zich bereid hebben verklaard aan internet-enquêtes mee te werken. Uit een access-panel kan op basis van achtergrondvariabelen een steekproef getrokken worden ten behoeve van onderzoek.
De scepsis waarmee wetenschappers en onderzoekers de opkomst van het enquêteren via internet benaderen is vergelijkbaar met aanvankelijke aarzelingen in het begin van de jaren tachtig over het telefonisch enquêteren. ‘Quick and dirty’, niet representatief en niet betrouwbaar waren kwalificaties die de pioniers van het telefonisch enquêteren in Nederland voor de voeten werden geworpen. Alleen met face-to-face-interviews of een goed geconstrueerde en gevalideerde schriftelijke vragenlijst kon op wetenschappelijk verantwoorde wijze onderzoek gedaan worden. Maar face-to-face interviewen is duur, en de doorlooptijd van een schriftelijke enquête is lang. Al snel veroverde telefonisch enquêteren het markt- en beleidsonderzoek. Door de teruglopende responscijfers in de jaren negentig, mede als gevolg van het ‘koud bellen’ door direct-marketing-bureaus, en de opkomst van mobiele telefonie lijkt het telefonisch enquêteren enigszins op z’n retour.
Momenteel geven onderzoekers en opdrachtgevers nog vaak de voorkeur aan de ‘vertrouwde’ telefonische enquête, maar ook binnen het beleidsonderzoek is het online-onder-zoek sterk in opkomst. Ter illustratie: bij éénderde van de in 2003 door Research voor Beleid gestarte onderzoeksprojecten waar kwantitatieve dataverzameling een onderdeel van uitmaakte, is gebruik gemaakt van een internet-enquête al dan niet in combinatie met andere dataverzamelings-methoden. Overigens gaat het bij deze onderzoeken in tegenstelling tot het markt- en consumentenonderzoekdoorgaans niet om publieksonderzoek, maar om gerichte enquêtes onder (medewerkers van) instellingen of bedrijven.
Wat zijn de voor- en nadelen van internet-enquêtes?
Het goede nieuws is dat dataverzameling met behulp van internet-enquêtes een aantal belangrijke voordelen kent.
Om te beginnen is het in vergelijking tot andere vormen
van dataverzameling aanzienlijk goedkoper (afgezien van
een eventuele vooraankondiging, geen druk-, porto- en
data-entry-kosten en geen inzet van interviewers/enquêteurs). *
Ten tweede de snelheid. De gemiddelde responstijd is aanzienlijk korter dan bij schriftelijke enquêtes, en soms
vergelijkbaar met telefonisch enquêteren.
Onafhankelijk van tijd en plaats. De respondent bepaalt zelf wanneer en waar hij/zij de vragenlijst invult (vergelijkbaar met schriftelijke enquêtes).
De vragenlijst is ‘customized’. Net als bij telefonische en lap-top gestuurde enquêtes (CATI en CAPI) is de routing door de vragenlijst geautomatiseerd (gebaseerd op eerder gegeven antwoorden). De respondent wordt niet afgeleid
doorvragen die niet voor hem of haar bestemd zijn.
Verder is het mogelijk om ‘toonmateriaal’ zoals foto’s, logo’s of zelfs kleine filmpjes aan de vragenlijst toe te voegen.
Open vragen in een internet-enquête leveren doorgaans uitgebreidere en beter leesbare antwoorden op dan bij schriftelijk of telefonisch onderzoek.
Er is aanzienlijk minder kans op invoerfouten. De respondent doet immers zelf de invoer, waardoor geen kostbare ‘dubbel-ponsing’ nodig is.
En tenslotte heeft een internet-enquête een moderne uit straling die past bij een eigentijdse opdrachtgever van onderzoek.
leder voordeel heb z’n nadeel. Het ‘slechte’ nieuws is dat er vanzelfsprekend ook de nodige nadelen zijn verbonden aan het online-onderzoek.
Zo kunnen er vraagtekens gesteld worden bij de representativiteit van internet-enquêtes. Mat name als het gaat om publieksonderzoek waarbij geen steekproefkader beschikbaar is (zie verderop).
Als de steekproef getrokken wordt uit een accesspanel, bestaat het risico van bias (vertekening). Het belangrijkste nadeel en bezwaar van access-panels is namelijk dat niet duidelijk is of en in welke mate sprake is van een
’panel-effect’ (vertekening doordat respondenten regel matig aan onderzoek deelnemen, en daardoor niet meer representatief zijn).
Verder zijn er de nodige technische vereisten waaraan vol daan moet worden, die roet in het eten kunnen gooien. Niet alle computers kunnen overweg met HTML-vragenlijsten, er komen steeds meer firewalls die e-mails met electronische vragenlijsten of toegang tot bepaalde sites
tegenhouden, en niet alle PC’s zijn ‘coockie-enabled’ zijn waardoor controle op het meer dan 1 keer invullen lastiger wordt, etc.
Anders dan bij een schriftelijke vragenlijst, mag de respondent doorgaans geen vragen overslaan (overigens is dit technisch wel mogelijk). Dit ‘gedwongen’ invullen leidt enerzijds tot een geringere partiële non-respons, maar het kan ook leiden tot irritatie bij de respondenten
die daardoor afhaken. Het blijkt dat bij internet-enquêtes na elke vraag mensen afhaken. Dat zal bij schriftelijke vragenlijsten wellicht ook het geval zijn, maar dat is niet te monitoren.
En tenslotte zijn sommige respondenten achterdochtig over de privacy. Wat gebeurt er met mijn gegevens als ik op “verzenden” klik? Om hieraan tegemoet te komen is het raadzaam een schriftelijke vooraankondiging te sturen
en eventueel een telefonische helpdesk in te stellen.
Zijn internet-enquêtes wel representatief?
Het meest gehoorde bezwaar tegen internet-enquêtes is dat ze niet representatief zijn, omdat niet iedereen een internetaansluiting heeft. De mensen die wel ‘online’ zijn vormen geen representatieve afspiegeling van de Nederlandse bevolking. Ondanks het feit dat het aantal mensen dat thuis toegang heeft tot internet snel stijgt, is het een willekeurige groep respondenten op een internetenquête niet zondermeer representatief voor de bevolking. Er zijn bovendien nogal wat ‘digibeten’ die wel een internetaansluiting hebben, maar niet echt met de computer en internet over weg kunnen.
Vaak wordt het genereren van grote responsaantallen verward met representativiteit. Zo heeft vrijwel elke site van een zichzelf respecterende krant of internet-provider een zogenaamde stelling van de dag. En hoewel soms honderden mensen hier hun mening geven zijn dergelijke peilingen natuurlijk niet representatief voor de Nederlandse bevolking. Ze zijn hooguit representatief voor de bezoekers van de betreffende site die bereid waren hun mening te geven. Het is vergelijkbaar met het houden van straatinter-views. Een enquête op woensdagmiddag in de Haarlemmerstraat in Leiden levert andere resultaten op dan dezelfde enquête om halfnegen ‘s-ochtends op Den Haag Centraal.
Hoe zit het dan met de representativiteit van zogenaamde internet-access-panels aan de hand waarvan actualiteitenrubrieken regelmatig melden wat ‘de Nederlanders’ ergens van vinden? Marktonderzoekers en aanbieders van dergelijke access-panels beargumenteren dat ze een zeer hoge respons halen en dat hun panels op basis van achtergrond-kenmerken wel degelijk representatief zijn voor de Nederlandse bevolking. Qua leeftijd, opleidingsniveau, etniciteit en spreiding over het land zal dat inderdaad wel zo zijn, maar het blijft de vraag of de resultaten van deze peilingen ook representatief zijn voor de specifieke groepen die geen internetverbinding hebben (zoals ouderen, laagopgeleiden en bepaalde etnische groepen). En dat de respons hoog is zegt ook niks, want deze mensen hebben immers al op voorhand aangegeven bereid te zijn mee te werken. Sterker nog, het kan niet worden uitgesloten dat er een bias ontstaat omdat mensen die bereid zijn (al dan niet tegen een vergoeding) regelmatig aan onderzoek deel te nemen ‘anders in het leven staan’ dan zij die dat niet willen. Overigens is dit natuurlijk ook een achilleshiel van elke andere vorm van enquêteonderzoek.
Dit zijn inderdaad zwaarwegende bezwaren, maar niet allemaal zonder meer van toepassing op elke internet-enquête. Om te beginnen heeft veel internet-onderzoek betrekking op het internet zelf. Het gaat vaak om bereik- of tevredenheidsonderzoek van sites, waarbij de onderzoekspopulatie niet bestaat uit alle Nederlanders, maar uitsluitend uit bezoekers van de site. Een a-selecte steekproef van bezoekers van de site is dan wel degelijk representatief. Ten tweede zijn veel internet-enquêtes, zoals die bijvoorbeeld door Research voor Beleid worden uitgevoerd, gericht op bepaalde (groepen van) gemeenten, rijksambtenaren, onderwijs- of zorginstelling, P&O-afdelingen van grote bedrijven, etc. Voor deze specifieke groepen is een internet-enquête een prima onderzoeksinstrument. Immers ze zijn goed bereikbaar via internet, hebben vaak een hoge betrokkenheid hebben bij het onderwerp van onderzoek, en de onderzoekspopulatie is bekend. Onze ervaring is dat de respons doorgaans hoger en sneller is dan bij schriftelijk of telefonisch onderzoek onder vergelijkbare groepen respondenten.
Hoe staat het met de validiteit en betrouwbaarheid?
Vanuit sociaal-wetenschappelijke overwegingen is het niet alleen van belang iets te zeggen over de representativiteit, maar is het minstens zo belangrijk te kijken naar de validiteit en betrouwbaarheid van internet-enquêtes. Met andere woorden, meten ze wat ze moeten meten, en hoe betrouwbaar zijn de gegeven antwoorden.
Om met het eerste te beginnen, er zijn veel slechte vragenlijsten in omloop op het internet die het imago van online-onderzoek niet ten goede komen. Een goede vragenlijst maken is een vak dat doorgaans niet goed wordt beheerst door internetbedrijven en webmasters. Ook voor internetvragenlijsten gelden vanzelfsprekend de basisbeginselen als:
Bedenk vooraf wat je wilt weten en meten.
Formuleer de vragen neutraal en eenduidig (er is geen interviewer beschikbaar voor uitleg).
Baken de periode waar de vragen betrekking op hebben duidelijk af.
|
|
|
