4. Metode for gjennomføring av undersøkelsen

4.1 Kvalitetssikring av spørreskjema og rapport

Spørreskjemaet er utviklet av NIM med innspill fra Kantar Public, prosjektets referansegruppe, samiske institusjoner og nasjonale minoritetsinstitusjoner og -organisasjoner, samt sannhets- og forsoningskommisjonen. Ved oppstart av prosjektet gjennomførte vi en omfattende kartlegging av lignende holdningsundersøkelser både i Norge og internasjonalt, og denne dannet grunnlag for de spørsmålene som senere ble utviklet til undersøkelsen.

I tråd med Kantar Publics kvalitetssikringsrutiner ble spørreskjemaet testet og sendt ut til om lag 60 personer. Etter testintervjuene ble respondentene fulgt opp med spørsmål om hvordan de opplevde undersøkelsen for å se om ytterligere endringer var nødvendig.

Rapporten er kvalitetssikret ved at flere erfarne jurister og forskere har lest gjennom teksten før publisering. Hovedfunnene har også blitt presentert i faglige fora før publisering, og her fikk vi viktige tilbakemeldinger som vi tok med oss i arbeidet med rapporten.

4.2 Utvalg

NIMs undersøkelse er rettet mot et representativt utvalg av befolkningen i Norge, avgrenset til personer fylt 18 år eller eldre. Undersøkelsen er basert på Kantars aksesspanel, GallupPanelet, som utvalgskilde. Panelet består av ca. 45 000 personer som regelmessig svarer på spørreundersøkelser på internett. GallupPanelet er satt sammen med tanke på representativitet, og målsetningen er at GallupPanelet skal være et Norge i miniatyr som gjenspeiler hele landets befolkning. Dette er oppnådd gjennom rekruttering hovedsakelig på landrepresentative CATI-undersøkelser.¹⁵⁴CATI refererer til «Computer Aided Telephone Interviewing». Undersøkelser med utgangspunkt i dette panelet gjennomføres elektronisk, gjennom rekruttering via e-post og utfylling av webskjema.

Utvalget til denne undersøkelsen er trukket innenfor to geografiske områder eller strata: (1) Spesifiserte kommuner som er assosiert med samer, kvener/norskfinner og skogfinner basert på deres tradisjonelle bosettingsområder, og (2) øvrige kommuner. Vedlegg 1 viser de aktuelle kommunene. Denne inndelingen er valgt for å sikre undersøkelsen et tilstrekkelig antall svar fra områder som historisk sett har vært assosiert med disse gruppene, men som normalt vil utgjøre en liten andel av respondentene i et nasjonalt representativt utvalg. I disse områdene kan befolkningens erfaringsgrunnlag med gruppene forventes å være bredere enn i den øvrige befolkningen, og gir dermed et bedre grunnlag for å gjennomføre analyser av problemstillinger hvor det er behov for å bryte resultatene ned i mindre delenheter og segmenter. Tilnærmingen var ikke nødvendig for de tre andre nasjonale minoritetene – jøder, romer og romani/tatere, fordi de stort sett er knyttet til Oslo og områdene rundt, som allerede er tilstrekkelig dekket i utvalget.

Fra de spesifiserte kommunene assosiert med samer, kvener/norskfinner og skogfinner (1) har Kantar trukket alle tilgjengelige respondenter fra aksesspanelet. Fra de øvrige kommunene (2) er utvalget trukket representativt og proporsjonalt med befolkningens demografiske fordeling i kjønn og alder. Dette designet gir en innbygd skjevhet hvor personer fra de spesifiserte områdene totalt sett vil være overrepresentert, og demografiske skjevheter i denne delen av panelet følger med over i det endelige utvalget som besvarer undersøkelsen. I de endelige resultatene er derfor resultatene korrigert for disse skjevhetene gjennom utvalgsvekting, hvor de overrepresenterte kommunene vektes ned til den korrekte proporsjonale andelen disse kommunene faktisk representerer i populasjonen.

Det er totalt gjennomført 2654 intervjuer, hvorav 1553 intervjuer med personer bosatt i områder assosiert med samer, kvener/norskfinner og skogfinner og 1101 intervjuer med den øvrige befolkningen, bosatt i øvrige kommuner. Spørreskjemaet inneholder også en egen bolk for hver av de seks gruppene, hvor mellom 432 og 439 respondenter får mer detaljerte spørsmål om egne holdninger til én tilfeldig valgt gruppe av de gruppene de har hørt om.

Vedlegg 2 viser utvalgets fordeling innenfor de to områdene før og etter korreksjon for demografiske skjevheter. Det korrigerte utvalget kan betraktes som representativt for Norges befolkning som helhet, med hensyn til kjønn, alder og geografisk fordeling mellom de to områdene. Vedlegg 3 viser utvalgets fordeling på områder assosiert med samer, kvener/norskfinner og skogfinner og de øvrige områdene, etter fylke. Vedlegg 4 viser utvalgsbasene for å gjennomføre analyser på en rekke relevante undergrupper for denne undersøkelsen.

4.3 Feilmarginer og statistisk utsikkerhet

Det vil alltid knytte seg en viss usikkerhet til resultatene når man spør et utvalg av befolkningen for deretter å trekke slutninger fra de innsamlede dataene som gjelder hele befolkningen. Denne usikkerheten, eller feilmarginen, kan beregnes statistisk. Fastsettelsen av feilmarginen vil avhenge av hvor stor usikkerhet vi er villige til å akseptere. Blant forskere er det vanlig å akseptere feilmarginer på +/- 5 %, noe som betyr at resultatene kan variere opptil fem prosent i begge retninger. Oversikten over feilmarginer i vedlegg 5 kan brukes som et hjelpemiddel ved tolkningen av resultatene i undersøkelsen.

Noen av resultatene i NIMs undersøkelse gjelder alle respondenter som har hørt om gruppene, mens andre er fra en egen bolk av undersøkelsen der respondentene ble delt inn i seks delutvalg og ble stilt mer detaljerte spørsmål om én tilfeldig valgt gruppe av gruppene de har hørt om. De større utvalgene varierer mellom 1600 og 2700 respondenter avhengig av gruppe. Maksimal feilmargin for spørsmål rettet til disse utvalgene er henholdsvis +/-2,5 og +/-1,9 prosentpoeng. Hvert av de mindre delutvalgene inneholder mellom 432 og 439 respondenter, noe som gjør at analysegrunnlaget er mer begrenset i denne delen av undersøkelsen, og at feilmarginene for resultatene er høyere enn i de øvrige delene. Maksimal feilmargin for disse utvalgene er +/- 4,8 prosentpoeng.

4.4 Metodiske begrensninger

Å måle holdninger er en av flere tilnærminger til å studere likestilling, diskriminering og hatprat/hets. Som andre typer undersøkelser, har holdningsundersøkelser en del begrensninger. En av de vanlige kildene til målefeil i denne typen undersøkelser er kjent som «sosial ønskelighet» eller «politisk korrekthet». Dette viser til respondentenes tendens til å svare på spørsmål om skadelige eller upopulære meninger på en måte som de oppfatter som mer sosialt akseptabelt enn det de egentlig mener.¹⁵⁵Ivar Krumpal, «Determinants of Social Desirability Bias in Sensitive Surveys: A Literature Review» Quality & Quantity 47, nr. 4 (2013); Angeles Cea D’Ancona, «Measuring xenophobia: Social desirability and survey mode effects» Migration Studies 2, nr. 2 (2014). På grunn av dette kan andelen av befolkningen med negative holdninger til minoriteter være høyere enn undersøkelser tilsier. NIM har tatt dette i betraktning ved utformingen av undersøkelsen, for eksempel gjennom ordlyden og rekkefølgen på spørsmålene, ved å sikre at undersøkelsen gjennomføres anonymt og ved å inkludere både direkte og indirekte spørsmål om ulike dimensjoner ved negative holdninger, samt spørsmål om respondentenes motivasjon for å unngå å uttrykke negative holdninger til minoriteter. Dataene i denne undersøkelsen ble samlet inn via et eksisterende nettpanel, og deltakerne visste av erfaring at svarene deres vil være helt anonyme, så det forelå ingen insentiver til å presentere seg på sosialt ønskelige måter.¹⁵⁶Gary Lautenschlager og Vicki Flaherty, «Computer administration of questions: More desirable or more social desirability?» Journal of Applied Psychology 75, nr. 3 (1990); Tobias Stark m.fl., «The impact of social desirability pressures on Whites’ endorsement of racial stereotypes: A comparison between oral and ACASI reports in a national survey» Sociological Methods & Research 51, nr. 2 (2918). «Sosial ønskelighet» eller «politisk korrekthet» vil likevel ha en viss innflytelse på resultatene.

I tillegg er det noen begrensninger knyttet til spørsmål om egen vurdering av egen kunnskap (selvrapportert kunnskap).¹⁵⁷I denne rapporten bruker vi også begrepet «selrapportert kunnskap». Fordi slike spørsmål er subjektive, kan de påvirkes av flere faktorer som hukommelse, selvtillit og politisk korrekthet, noe som kan føre til at respondenter som kan mindre om temaet overvurderer kunnskapsnivået sitt og respondenter som kan mer om temaet undervurderer kunnskapsnivået sitt. En helhetlig objektiv vurdering av respondentens kunnskap om samer og de fem nasjonale minoriteter ligger utenfor denne undersøkelsen. Undersøkelsen inkluderer imidlertid et åpent oppfølgingsspørsmål for de som sier de har lært ganske mye eller svært mye om en gruppe på skolen, noe som gir en indikasjon på respondentenes kunnskapsdybde. Vi kan også anta at andelen respondenter som sier de ikke har lært noe (ingenting) om gruppene på skolen, er mindre påvirket av disse begrensningene.

En annen begrensning med denne typen undersøkelser er at det kan være vanskelig å måle holdninger til små minoritetsgrupper som få i majoritetsbefolkningen kjenner til. Dette kan føre til lavere svarprosent dersom respondentene opplever at undersøkelsen ikke er relevant for dem. Det kan også føre til et mindre analysegrunnlag, som gjør at feilmarginen kan bli høyere for resultater om de mindre kjente gruppene. Disse utfordringene ivaretas til en viss grad i undersøkelsen ved å øke antallet respondenter fra områder assosiert med noen av gruppene (korrigert i resultatene gjennom utvalgsvekting), og ved å inkludere «filterspørsmål» tidlig i undersøkelsen, slik at respondentene stort sett mottar spørsmål angående grupper de har hørt om tidligere. For de mer komplekse spørsmålene var det også nødvendig å dele respondentene i seks underutvalg, som mottar spørsmål om én tilfeldig valgt gruppe av de gruppene de har hørt om. Til tross for dette vil det fortsatt være noen spørsmål hvor en høyere andel av respondentene svarer «vet ikke», potensielt på grunn av lav kunnskap om den aktuelle gruppen.

En vanlig utfordring i undersøkelser om holdninger til norske romer og romani/tatere er at noen i befolkningen forveksler disse gruppene med tilreisende romer fra Romania og andre land i Øst-Europa. Norske romer (som tidligere ble kalt sigøynere) og romani/tatere er anerkjent som nasjonale minoriteter i Norge på grunn av deres århundrelange tilknytning til landet, mens EØS-migranter som tilhører minoritetsgruppa rom har kommet til Norge på sesongbasis siden 2007 da Romania ble medlem av EU. Dette løses imidlertid noe ved å bruke navnene «romer (norske sigøynere)» og «romani/tatere» og ved å gi respondentene et svaralternativ som åpner for å uttrykke usikkerhet. Dersom noen respondenter har blandet gruppene, vil undersøkelsesresultatene som gjelder negative holdninger og hatprat/hets fortsatt være relevante for norske romer og romani/tatere fordi de samme stereotypiene og fordommene ofte er rettet mot alle tre gruppene uavhengig av deres spesifikke bakgrunn – et fenomen som har fått betegnelsen antisiganisme.¹⁵⁸Runa Falck, «Discrimination against Roma: Evidence from Two Survey Experiments in Norway» Migration Studies (2020) 1-23.