Felkällor och Signifikans

Som beskrivs i avsnittet Stickprov och Urvalsmetoder, vill vi att ett stickprov ska representera populationen i en statistisk undersökning. Men det finns tillfällen när en stickprovsundersökning inte blir representativ för verkligheten.

I detta avsnitt går vi igenom det som kallas felkällor, de anledningar som finns och som leder till att en undersökning inte blir representativ. Vi går igenom felkällorna urvalsfel, stickprovsstorlek, bortfall, mätfel och tolkningsfel. Vi lär oss också hur man hanterar osäkerheten i en statistisk undersökning genom konfidensintervall och felmarginal samt om resultatet är statistiskt signifikant.

Urvalsfel

Beroende på vilken sorts undersökning vi vill göra, kan en felaktig urvalsmetod leda till att stickprovet inte representerar populationen. Skulle detta hända har man gjort ett urvalsfel.

Ett exempel på ett felaktigt urval är om det bara är män som svarar på frågan i en undersökning där man försöker ta reda på åsikter bland såväl män som kvinnor - då kommer inte kvinnors åsikter att speglas i resultatet av undersökningen.

Stickprovsstorlek

Om man gör en stickprovsundersökning, finns det alltid en möjlighet att slumpen leder oss till ett felaktigt resultat. Frågar man alltför få när man utför en opinionsundersökning finns det en alltför stor risk för att den grupp personer man har frågat inte är representativa för hela populationen.

Det här fungerar på samma sätt som när vi singlade slant i avsnittet om sannolikhet - singlar vi slant en gång så kan det bli krona eller klave, men om vi singlar slant väldigt många gånger, så kan vi förvänta oss att vi får ungefär lika många gånger krona som klave. På samma sätt fungerar det i opinionsundersökningar - med fler personer i ett representativt urval som vi frågar, desto bättre bild av populationens åsikter kan vi förvänta oss att uppnå. Bäst vore givetvis att undersöka hela populationen, men det kan vara kostsamt eller till och med omöjligt. Risken att stickprovsstorleken är för liten kan avhjälpas genom att utföra undersökningen flera gånger.

Bortfall

En annan felkälla är det som kallas för bortfall, vilket är när man exempelvis utför en opinionsundersökning där en del personer i stickprovet inte vill svara. Bortfall är så gott som alltid ett problem vid statistiska undersökningar, eftersom det kan göra att gruppen man tittat på inte längre är representativ för populationen i stort. Därför är det viktigt att man kontrollerar bortfallet när man analyserar resultatet, ju mer bortfall undersökningen har, desto mer osäker är studien.

Exempel 1

Vår tidigare undersökning kring hemläxor, i avsnittet Stickprov och Urvalsmetoder, hade vi ett stickprov på 60 individer. Av okänd anledning svarade inte 10 personer på undersökningen, men svaren som kom in visade att 27 personer tyckte att hemläxor var bra och 23 tyckte inte det. Svaret att tycka om läxor hade en majoritet bland de som svarade, men om de 10 personer som inte svarade på undersökningen hade sagt att de inte tyckte om läxor hade majoriteten inte tyckt om hemläxor.

Mätfel

En annan viktig felkälla är det som kallas mätfel. Detta betyder helt enkelt att vi inte får rätt svar, vilket kan bero på felaktig avläsning av mätvärden eller fel på mätutrustningen. I en opinionsundersökning kan det bero på dåligt formulerade frågor. Om frågorna är otydliga eller kan orsaka missförstånd kan man få ett svar som ger en felaktig verklighetsbild.

Exempel 2

Tycker du att barn får lättare förkylning än vuxna? Denna fråga kan tolkas som att man undrar över om barn får en mildare förkylning än vad vuxna får. Men den kan också tolkas som att man frågar om barn får förkylning oftare. Eftersom personens svar kan skilja sig mellan de två tolkningarna är risken stor att detta ger ett mätfel.

Tolkningsfel

Ett annat fel som kan ske i utförandet av en statistisk undersökning är tolkningsfel. Detta sker när de som ska tolka resultatet drar en felaktig slutsats. Mer om hur man undviker tolkningsfel lär vi oss i avsnittet Korrelation och Kausalitet.

Konfidensintervall och Felmarginal

Även om man lyckas undvika de flesta sorters felkällor, så kommer alltid slumpen spela en roll för resultatet av en stickprovsundersökning. Om vi gör en opinionsundersökning för att se andelen personer som skulle rösta på ett parti, så kommer andelen som röstar på partiet skilja sig mellan varje individuell undersökning. Hur kan vi då vara säkra på att vi kan uppskatta andelen som röstar på partiet korrekt?

Eftersom vi inte kan känna till det sanna värdet i populationen, används det som kallas för konfidensintervall. Detta används för att skapa ett intervall som sannolikt täcker det sanna värdet, i stället för att försöka ge ett exakt värde som är osäkert. Ett konfidensintervall anges med en konfidensnivå som anger hur sannolikt det är att det sanna värdet kommer att täckas av ett sådant intervall. Vanligast är konfidensnivån på 95%, vilket betyder att 19 av 20 konfidensintervall kommer att täcka det sanna värdet.

För att täcka det sanna värdet baseras konfidensintervallet på det uppmätta värdet men tar även hänsyn till värdets felmarginal. Felmarginal är ett mått på osäkerheten i undersökningen och brukar visas med ett ± värde. Vid ett obundet slumpmässigt urval på konfidensnivån 95% beräknas den med nedanstående formel som inte igår i denna kurs men visas för intresserade:

$$felmarginal=1,96\sqrt{\frac{p(100-p)}{n}}$$

där \(p\) är den procentuella andelen av populationen och \(n\) är stickprovsstorleken.

Formeln för konfidensintervall:

$$Konfidensintervallet\;=\;Uppmätt\;värde\; ±\; felmarginal$$

Exempel 3

Det uppmätta värdet vid ett stickprov är 200. Den beräknade felmarginalen på konfidensnivån 95% är ± 5 procentenheter. Bestäm konfidensintervallet för undersökningen och tolka resultatet.

Lösning: 5% av 200 blir 10. Ett konfidensintervall på 95% vid ett stickprov på 200 betyder att om vi skulle upprepa undersökningen skulle vi få samma resultat minst 200-5% = 200-10 = 190 gånger.

$$Konfidensintervallet\;=200\pm 10$$

Det betyder att om vi upprepar undersökningen med nya stickprov och beräknar 95 procentiga konfidensintervall kommer ungefär 95% av konfidensintervallen att innehålla populationens värde (det sanna värdet).

Statistiskt signifikant

Detta leder förstås till att vi aldrig kan vara helt säkra på vårt resultat från en stickprovsundersökning. Men ibland hör man att något är statistiskt säkerställt eller statistiskt signifikant, vilket är ett begrepp som ofta hänger ihop med konfidensintervall. Men begreppet kan lätt missförstås, eftersom det har lite annan betydelse inom statistik än i vardagen.

När man säger att något är statistiskt signifikant, betyder det att resultatet av en stickprovsundersökning har liten sannolikhet att ha uppstått på grund av slumpen.

Inför ett val görs en stickprovsundersökning för att se om ett parti har tillräckligt med röster för att klara spärren på 4% för att komma in i riksdagen. Studiens resultat visar på att partiet får 3,5% av rösterna, och med en felmarginal på ±0.3 procentenheter. Kommer partiet att kunna komma in i riksdagen?

Vi får ett konfidensintervall på \(3,5±0,3\). Detta ger oss:

\begin{align}
3,5\pm 0,3=
    \begin{cases}
      3,5+0,3=3,8\\
      3,5-0,3=3,2
    \end{cases}
\end{align}

Eftersom resultatet visar att både det övre- och nedre värdet ligger under 4% så är resultatet statistiskt signifikant och det är statistiskt säkerställt att partiet har för få väljare för att komma in i riksdagen.

Statistisk signifikans dyker även upp när undersökningar visar på att det har skett förändringar över tid. Detta betyder att två separata stickprov ger två konfidensintervall som inte har någon överlapp – alltså att förändringen har liten sannolikhet att vara ett resultat av slumpen.

Exempel 5

En stickprovsundersökning kommer fram till att konfidensintervallet för andelen röstare för ett parti är \(3,5±0,3\) En ny stickprovsundersökning görs några månader senare som ger ett nytt konfidensintervall på \(4,5±0,4\). Är ökningen statistiskt signifikant?

Om vi ritar båda intervallen i ett diagram och jämför den övre gränsen för det första konfidensintervallet med den undre gränsen för det andra så får vi:

$$3,5 + 0,3 = 3,8 < 4,1 = 4,5 - 0,4$$

Eftersom konfidensintervallen inte överlappar \((3,8<4,1)\) är svaret ja, ökningen av partiets röster är statistiskt signifikant.

Om två olika stickprov ger två konfidensintervall som överlappar varandra kan vi inte säga att förändringen är statistiskt signifikant.

Exempel 6

En stickprovsundersökning kommer fram till att konfidensintervallet för andelen röstare för ett parti är \(3,5±0,3\). En ny stickprovsundersökning görs några månader senare som ger ett nytt konfidensintervall på \(4,0±0,4\). Är ökningen statistiskt signifikant?

Om vi ritar både intervallen i ett diagram och jämför den övre gränsen för det första konfidensintervallet med den undre gränsen för det andra så får vi:

När vi jämför den övre gränsen för det första konfidensintervallet med undre gränsen för det andra så ser vi att de överlappar varandra:

$$3,5 + 0,3 = 3,8 >3,6 = 4,0 - 0,4$$

Detta innebär att vi inte kan säga att ökningen är statistiskt signifikant. Värdet kan exempelvis ligga på 3,7%.