Í þessum tveimur könnunum sem eru til umræðu nú - frá MMR og 365 - og sýna mjög ólíkar niðurstöður er að mínu viti skýringarnar að finna í breyttum aðferðum hjá  báðum fyrirtækjum sem hafa áhrif á svörin en á mismunandi hátt.

MMR gefur ekki frekar en venjulega upp svarhlutfall (þátttökuhlutfall) í könnuninni heldur einungs fjölda þeirra sem svara. MMR nefnir einfaldlega ekki hversu marga tölvupósta þurfti að senda út til að fá þessi 1000 svör. Það gefur augaleið að til að fá 950 -1000 svör í könnun í tölvupanel sem stendur einungis í tvo daga þarf að senda töluvert fleirum boð til þátttöku en í fjögurra til sjö daga panelkönnunum eins og MMR gerir oftast. Þessi könnun stóð eiginleg bara í einn og hálfan dag því það var byrjað að ræða hana um fjögurleytið þann 18. október. 

Alveg sama hversu margar áminningar um að svara eru sendar út þá er það augljóst að þeir sem alltaf eru MEÐ TÖLVUPÓSTINN SINN TENDGAN eru líklegri til að svara í mjög stuttri panelkönnun en hinir sem skoða póstinn sinn sjaldnar og það hefur örugglega mikinn „bías“ í för með sér („bías“ = svarendur eru öðruvísi en þýðið). Sumir þátttakendur í panel gefa til dæmis örugglega ekki upp vinnupóstfang, heldur einkapóstfang sem eru að jafnað skoðuð sjaldnar. Hver leitnin er í þannig „bías“ er erfitt að segja en hann er alvarlegur og skýrir að mínu mati muninn á þessum könnunum. 

365 gerir venjulega sínar kannanir á tveimur dögum og á minni tíð á miðviku- og fimmtudögum og alltaf var reynt að ná í hvert númer að minnsta kosti þrisvar. Þessi könnun núna var hringd út á einu kvöldi.

Ástæðan fyrir tveggja daga úthringingunum var að fá betra svarhlutfall með því að hringja aftur í þá sem ekki svöruðu fyrra kvöldið. Til að fá venjubundin 800 svör þurfa 365 ef til vill ekki að skrá fleiri samtöl í eins kvöldkönnun en gert er í tveggja kvölda könnun og 365 gefa upp svarhlutfall sem er ásættanlegt. En það hljóta eðli málsins samkvæmt að vera hlutfallslega fleiri sem ekki svara símanum ef bara er reynt að ná til þeirra á einu kvöldi en ekki en ekki á tveimur.

Þetta getur líka valdið „bías“ og eins og í MMR könnuninni er erfitt að meta áhrif hans.

En mín niðurstaða er:

A) ÞAÐ ER LÍKLEGT að þeir sem EKKI svara í síma á mánudagskvöldi milli 17 – 21:30 séu nokkurnveginn eins og hinir sem svara í símann. Hvort menn svara í síma eða ekki gefur lítil frávik í lýðfræðibreytunum í hlutfalli við þýðið.

B) ÞAÐ ER MJÖG LÍKLEGT að þeir sem eru sítengdir við netpóstinn sinn sem og þeir sem nota vinnupóst til að svara könnunum - séu á einhvern hátt ÖÐRUVÍSI en hinir sem ekki eru sítengdir og skoða póstinn sinn sjaldnar, láta til dæmis Facebook nægja og skoða G-meilið 2-3 í viku. 

Þessi mundur á tengingu við netpóst er háður aldri, tekjum, þjóðfélagsstöðu, menntun, vinnu og fleiri breytum sem hafa áhrif á viðhorf manna til stjórnmála. Þetta er alvarlegur „bías“.

Ég bið vini mína í Samfylkingunni forláts að taka svona eindregna afstöðu með 365 könnuninni  - það er örugglega sveifla í gangi þeim í hag en við skulum bíða eftir Mbl könnuninni frá Féló sem örugglega kemur á morgun til að meta hversu stór hún er. 

Svo læt ég smá fróðleik um svarhlutfall fylgja hér að lokum fyrir þá sem nenna að lesa.

Svarhlutfall

Svarhlutfall táknar hlutfall þeirra í heildarúrtakinu sem svara, hvort sem þeim er boðið til þátttöku með tölvupósti í panelkönnun eða með símtali í úthringikönnun. Því hærra hlutfall af úrtakinu sem næst í - því líklegra er að svarendur enduspegli þýðið - hvort sem þeir sem í næst neita að gefa upp afstöðu, eru óákveðnir eða ætla að skila auðu. Svarhlutfall er mikilvægur mælikvarði á gæði kannana. 

Ýkt dæmi um gildi svarhlutfalls væri til dæmis ef haft væri samband, einhvern tiltekinn laugardag í góðu verðri, við vísindalega samsett úrtak úr þjóðskrá, kvótuðu eða vigtuðu eftir á og spurningin varðaði útivist. Hversu áreiðanlegt væri svarhlutfall upp á 40 prósent í sól og blíðu á laugardegi?

Í panelkönnunum hérlendis eru þeir vankantar á að uppgefið svarhlutfall er eingöngu reiknað út frá þeim fjölda viðhorfshópsins sem svarar og algengt er að uppgefið svarhlutfall sé á bilinu 60 –70 prósent, sem hljómar mjög vel en ef við förum aðeins dýpra og spyrjum um hvað hafði þurft að biðja marga um að vera með í viðhorfshópnum til að fá til dæmis 100 þátttakendur, þá lítur dæmið öðruvísi út. 

Erlendis þykir nokkuð gott ef tvö prósent þeirra sem boðið er til þátttöku í viðhorfshóp samþykkja að vera með - en reiknum með að við Íslendingar eigum heimsmet í þessu sem öðru - og að 20 prósent þeirra sem var boðið í hópinn upphaflega hafi samþykkt þátttöku. Er þá ekki nákvæmara að taka á einhvern hátt tillit til þess að 80 prósent hafa þegar sagt nei við þátttöku í viðhorfshópnum og þar með könnuninni? 

Í símakönnunum er úrtakið valið úr Þjóðskrá og nafnalistinn sendur til Já.is eða 1819 sem finna símanúmer (bæði heimanúmer og GSM) á úrtakið og senda listann til baka. Samkvæmt minni reynslu koma samt ekki nema 65 prósent listans til baka með símanúmerum, því 35 prósent einstaklinga eldri en 18 ára í Þjóðskrá eru ekki skáðir með símanúmer samkvæmt Já.is.

Svarhlutfallið í símakönnunum er venjulega svipað og í panelkönnunum eða 60-70 prósent, en nú þarf að taka tillit til þess að einungis 65 prósent nafnanna á listanum fylgdu  símanúmer og þá er svarhlutfallið auðvitað minna.