Guide: Regressionsdiagnostik – multikollinearitet

I det här inlägget ska vi:

• Gå igenom vad multikollinearitet är
• Gå igenom hur man upptäcker multikollinearitet

I tidigare inlägg har vi gått igenom hur man genomför regressionsanalys. I en serie inlägg tänkte jag ta upp regressionsdiagnostik, det vill säga hur man undersöker om regressionsmodellen är bra och tillförlitlig. Det första inlägget handlar om multikollinearitet.

Vad är multikollinearitet?
Enkelt uttryckt kan man säga att multikollinearitet är när två eller flera av de oberoende variablerna i regressionsmodellen är korrelerade med varandra i hög utsträckning. Det är ett problem för att man då inte kan hålla isär effekterna av de två variablerna på den beroende variabeln.

Låt oss säga att vi vill undersöka om en persons förtroende för olika EU-institutioner påverkar hur nöjd man är med demokratin i EU. Personer som har stort förtroende för EU-kommissionen förväntas vara mer nöjda med demokratin i EU än personer som har litet förtroende för EU-kommissionen. På samma sätt förväntas personer som har stort förtroende för Europaparlamentet vara mer nöjda med demokratin i EU än de som har litet förtroende för Europaparlamentet.

Det som kan vara problematiskt är dock att de som känner stort förtroende för EU-kommissionen också antagligen känner stort förtroende för Europaparlamentet – de två variablerna är korrelerade. Det blir då svårt att hålla isär vad det är som egentligen gör att man är nöjd med demokratin i EU.

Hur upptäcker man multikollinearitet?
Låt oss pröva vårt exempel. Vi använder data från SOM-undersökningen 2004, där frågor ställts både om förtroende för EU-kommissionen och EU-parlamentet, samt om nöjdhet med demokratin i EU. Den beroende variabeln är en skala från 1-4, där 4 betyder ”Mycket nöjd med demokratin i EU” och 1 betyder ”Inte alls nöjd med demokratin i EU”. De oberoende variablerna är skalor från 1-5 där 1 betyder ”Mycket litet förtroende” och 5 betyder ”Mycket stort förtroende”.

I tabell 1 nedan redovisas resultatet från tre regressioner (i det här inlägget förklaras hur man ska tolka regressionstabeller). I den första ingår bara förtroende för EU-kommissionen som oberoende variabel. I den andra är förtroende för Europaparlamentet den enda oberoende variabeln. I den tredje ingår båda variablerna.

Vi ser i modell 1 och 2 att både förtroende för EU-kommissionen och Europaparlamentet har positiva effekter på nöjdhet med demokratin i EU. Personer som är ett steg nöjdare med EU-komissionen förväntas vara 0,458 steg nöjdare med demokratin i EU; personer som är ett steg nöjdare med Europaparlamentet förväntas vara ett 0,466 steg nöjdare med demokratin i EU.

Men i modell 3, där båda variablerna ingår, har effekterna av båda variablerna minskat ordentligt, och ungefär halverats. Vi ser också att standardfelen (talen inom parentes) har ökat, och mer än fördubblats. Vi kan alltså vara mindre säkra på koefficienterna, även om de fortfarande är signifikanta på 95-procentsnivån. Kan multikollinearitet vara en orsak?

Det finns två huvudsakliga sätt att undersöka om regressionsmodellen lider av multikollinearitetsproblem. Det enklaste (och därmed kanske bästa) sättet är helt enkelt att undersöka korrelationerna mellan de oberoende variablerna. Resultatet från korrelationsanalysen visas i bild 1.

Bild 1. Korrelation mellan de båda oberoende variablerna.

Korrelationen mellan de båda variablerna är mycket stark, 0,918. Som förväntat så har personer som har stort förtroende för den ena institutionen också stort förtroende för den andra institutionen.

Det är inte ovanligt att de oberoende variablerna korrelerar något. Hur mycket korrelation kan då anses som acceptabelt? Det finns inget definitivt värde, men när det går över ungefär 0,8 börjar det bli problematiskt. Vi kan alltså misstänka att koefficienterna i vår modell inte är tillförlitliga.

Men för att vara säkra kan vi också pröva med ett annat test. Vi gör då om regressionsanalysen, men klickar först på ”Statistics” och därefter klickar vi i rutan ”Collinearity diagnostics”, som i bild 2. Tryck därefter på ”Continue” och ”Ok”.

Bild 2. Hur man hittar collinearity diagnostics.

Man får ut den vanliga regressionsoutputen, men där man ser regressionskoefficienterna har det tillkommit en sektion längst till höger, ”Collinearity diagnostics”. Där visas två värden: ”Tolerance” och ”VIF”. VIF-värdet, som står för ”Variance Inflation Factor”, är helt enkelt 1 delat med ”Tolerance”-värdet. De säger alltså samma sak.

Bild 3. Hur man hittar multikollinearitetstestet i regressionsoutputen.

Tyvärr finns det inga exakta värden att gå på här heller, men jag brukar själv dra gränsen vid ett VIF-värde på 4, och det är en ganska vanlig gräns. Jag har också hört att vissa använder ett gränsvärde på 5. Motsvarande toleransvärden blir då 0,25 och 0,2. Man vill alltså att toleransvärdet ska vara så högt som möjligt (1 är max) och att VIF-värdet ska vara så lågt som möjligt (1 är minimum).

I vårt fall ser vi att VIF-värdet för de båda variablerna är 6,480, alltså mycket högt. Det beror på att de båda oberoende variablerna är så högt korrelerade. I det här fallet så blev effekterna signifikanta i alla fall, men ofta så leder multikollinearitet till att variabler som var för sig är signifikanta blir insignifikanta. Att det inte blev så i det här fallet beror antagligen på att det är många personer som ingår i analysen, över 3000. Det finns då tillräckligt många som har olika stort förtroende för EU-kommissionen och Europaparlamentet för att att vi ska kunna göra en analys.

Vad ska man då göra åt multikollinearitet? Eftersom de oberoende variablerna är så starkt korrelerade kan man säga att de mäter i princip samma sak. I vårt fall är det rimligt att tänka sig att de flesta inte särskiljer EU:s institutioner i särskilt hög utsträckning. Båda frågorna mäter då allmänt förtroende för EU:s institutioner. Man kan då argumentera för att det räcker med att ha med en av variablerna i analysen. Man skulle också kunna tänka sig att man gör ett index av de båda frågorna.