Cu privire la marja de eroare poți găsi un răspuns pe site-ul proiectului nostru. Azi am citit ce a scris Ovidiu și m-am gândit că ar fi utilă o astfel de discuție, motiv pentru care am scris acel post. În rest, cu ce s-a făcut sau nu public e altă discuție. În cazul IRES caseta tehnică primită de la mine a inclus alte câteva informații importante. Ce au ales să pună pe site sau ce a apărut în media e altă poveste. Că se puteau oferi și alte informații, da, de acord. Totuși, informațiile importante au fost prezentate (cel puțin în ceea ce am trimis eu).
Acum am văzut că ai scris "nimerit" câștigătorul. După părerea mea e o exagerare. Dacă pui împreună cele câteva exit-uri realizate de CURS și IRES în ultimii ani sigur nu dai peste o situație de tipul: în jumătate dintre cazuri au estimat corect (indiferent cum definești asta) și în jumătate nu.
Hm, Poate exprimarea e nefericită. Pur și simplu "nimerit" făcea legătura cu fraza anterioară în care folosisem metafora trasului la țintă. În acest context nu era vorba de un proces întâmplător, ci de priceperea de a trage cu arcul.
Pe de altă parte, să nu sărim încă la concluzii. Acelea le postez abia duminică...
Cu privire la marja de eroare poți găsi un răspuns pe site-ul proiectului nostru. Azi am citit ce a scris Ovidiu și m-am gândit că ar fi utilă o astfel de discuție, motiv pentru care am scris acel post. În rest, cu ce s-a făcut sau nu public e altă discuție. În cazul IRES caseta tehnică primită de la mine a inclus alte câteva informații importante. Ce au ales să pună pe site sau ce a apărut în media e altă poveste. Că se puteau oferi și alte informații, da, de acord. Totuși, informațiile importante au fost prezentate (cel puțin în ceea ce am trimis eu).
(L-am scris ieri dar se pare că nu am reușit să-l postez. Noroc că Iohannis a avut Internauți mai pricepuți comparativ cu mine!)
22 noiembrie 2014 la 07:12
Stelian spunea...
Domnule Voicu, Personal am dubiile mele. Pina la 2005 nici eu nici altcineva din familia mea n-a cazut in "terenul de tinta" al sondorilor cu exit poll-ul. De asemenea nici in cercul rudelor, colegilor de servici si altor amic ce ii am raspinditi prin tara, la orase si sate. Si am fost tare curios in privinta asta. Pentru ca aleatoriu inseamna aleatoriu. Acum citiva ani intr-o discutie pe un blog tot despre precizia exit-poll-urilor, o afirmatie a venit sa imi confirme ideea mea de fals. Cineva spunea ca ea si mama ei au fost intervievate de 2 ori la un interval de vreo 2 alegeri si ca atunci la sectia vecina unde a votat era un institut de asta ce facea sondare. Este evident ca aceste cifre afisate pe ecranele tv este un "lung prilej de vorbe/ si de ipoteze", iar unele pregatesc moral populatia pentru un rezultat oarecum neasteptat, dar ce va fi poate aranjat la urne. N-am nici o legatura cu meseria de statistician, dar daca as gasi un manual de genul "Sondarea pentru To(n)ti" l-as citi cu placere.
1. Exit-poll-urile au venit dinspre case de sondaje diferite: unele sunt independente, altele sunt afiliate explicit unor grupuri apropriat de un partid sau altul.
2. Cel puțin două dintre casele de sondaj implicate sunt de calitate măcar decentă.
3. Sondajele dintre tururi au indicat constant un trend ascendent al lui Iohannis. Ce e drept, majoritatea acestor sondaje nu au fost publice.
De citit un astfel de manual, aș citi și eu :). Un text relativ simplu, despre exit-pll-uri în SUA este Best, S. J., & Krueger, B. S. (2012). Exit Polls: Surveying the American Electorate, 1972-2010. CQ Press. - disponibil pe GoogleBooks.
În română sunt mai multe, dar vi le recomand pe cele scrise/coordonate de Mircea Comșa. De exemplu: Traian Rotariu, Mircea Comșa, eds. 2005. Alegerile generale 2004 : o perspectivă sociologică, Cluj:Eikon.
22 noiembrie 2014 la 19:41
Dacă nu ați înțeles mesajul simplu al celor două postări anterioare, îl rezum în două fraze: Toate exit-poll-urile au greșit estimarea. În același timp au realizat performanța de a se plasa departe de standardele propriei profesiei, la care au aderat voluntar.
Hai acum să explic mai pe larg starea de fapt. La cauze mă voi uita însă abia în postarea de duminică.
Standardele profesionale. Pe site-urile celor șase case de sondare și ale companiilor cu care au lucrat nu se regăsește aproape nimic din informațiile pe care ESOMAR și WAPOR le recomandă ca obligatorii în momentul difuzării de exit-poll-uri. Reamintesc că ARP nu a făcut exit-poll în turul II conform unui sfert de informație difuzată public de directorul firmei cu pricina, așa că m-am uitat la ce au făcut în turul I. CURS și Avangarde nu au realizat un exit-poll complet, ci se pare că s-au referit doar la populația din țară. Cum însă această informație nu a fost una clar transmisă, lipsind complet de pe site-urile celor două agenții de colectare a datelor, nu rămâne decât să folosesc cazul ca exemplificare perfectă pentru argumentul meu de aici.
Manualul ESOMAR/WAPOR încearcă să asigure faptul că informația transmisă de casele de sondare ajunge nedistorsionat la receptori. Bazat pe experiențe din lumea întreagă manualul acela, NERESPECTAT DE NICIUNA DIN CASELE DE SONDARE ce au făcut exit-poll-uri, spune ce trebuie să faci ca să te protejezi în fața erorilor și ca să informezi corect, cinstit, pe beneficiarii tăi direcți și indirecți.
De exemplu, se recomandă să menționezi dimensiunea eșantionului (doar IRES o face). Și să spui despre marja de eroare (doar IRES o face; trebuie spus că acum 5 ani CURS a făcut publice unele detalii la o săptămână distanță, iar față de alegerile europarlamentare, CURS a făcut publice unele detalii la câteva luni distanță).
Ei bine, aici e aici. Dimensiunea eșantionului și marja de eroare sunt legate. Dacă faci un eșantion simplu aleator și eșantionul acesta are cam 15.000 de cazuri, marja de eroare în care poți să garantezi cu o încredere de 95% că s-ar încadra un procent estimat la 50% este de +/-0.73 puncte. Dacă procentul acela e mai mare sau mai mic marja de eroare scade.
Știu că e mai greu cu cifrele, dar asta înseamnă cam așa: dacă o casă de sondare X a zis că Iohannis are 50,5% și a folosit un eșantion simplu aleatoriu de vreo 15.000 de inși, atunci de fapt Iohannis are intre 51,2% și 49,8%. (și putem avea 95% încredere că așa e!)
Mai departe: orice rafinare profesionistă a metodei de eșantionare (spre exemplu să îl faci stratificat) scade marja de eroare. Dacă volumul eșantionului crește, marja scade. Dacă eșantionul scade, marja crește. Spre exemplu, pe la 3000 de cazuri, marja de eroare este de 1,79% (pentru un procent de 50% garantat cu probabilitate de 95%).
Hai să judecăm acum ce au făcut sondorii noștri: IRES a avut cam 19.000 de cazuri. A raportat o marjă de eroare de 1,9%!!!!! Semnele acelea de exclamare le-am adresat și pe viu grai cui trebuia.
Restul casele de sondare nu s-au sinchisit să spună ce fel de eșantionare și câți indivizi au intervievat. Asta poate face un suspicios să se întrebe dacă au făcut cu adevărat sondaje :).
Lăsând gluma la o parte, e de așteptat ca fiecare din exit-poll-uri să fi avut măcar 10.000 de respondenți. Adică o marjă de eroare de cel mult 0,98%. Stratificarea eșantionului o poate reduce cu destul de mult. Dar și fără stratificare, tot ajungem sa observăm că, și dacă s-ar fi referit doar la votanții din țară, estimările caselor de sondare sunt eronate: procentele lui Iohaniss și Ponta sunt în afara intervalelor de încredere aferente cifrelor pe care le-au dat publicității.(vezi o sinteză a estimărilor respective la Ovidiu-de-la-colțul-străzii)
Sau poate nu o fi așa, și sunt și alte părți de populație neacoperite de exit-poll-uri. Cum însă cele șase case de sondare au uitat să ne ofere detalii în acest sens, nu avem de unde ști.
Bref: exit-poll-urile au nimerit pe lângă țintă și nici nu au respectat standardele profesionale din domeniu. Vă voi vorbi despre cauze și consecințe abia duminică.
Disclaimer. În postarea aceasta m-am referit ca exemple la IRES și CURS. Trebuie notat nu doar faptul că cele două companii au nimerit măcar câștigătorul, dar trebuie spus și faptul că m-am referit la ele fiindcă pe site-urile lor (mai ales la IRES) mai găsești câte ceva. La restul, e doar câte un site lipsit de conținut relevant. CSCI, de exemplu, a pus un grafic cu o plăcintă împărțită în două părți egale. Avangarde, Sociopol nu au pus nici atât. Alte detalii sunt oricum de negăsit pe nicăieri.
trimis de către Bogdan Voicu la 16:10 pe 21 nov. 2014
"Exit-polls 2014: (III) Dincolo de marja de eroare"
6 Comentarii -
Bogdan,
Cu privire la marja de eroare poți găsi un răspuns pe site-ul proiectului nostru. Azi am citit ce a scris Ovidiu și m-am gândit că ar fi utilă o astfel de discuție, motiv pentru care am scris acel post.
În rest, cu ce s-a făcut sau nu public e altă discuție. În cazul IRES caseta tehnică primită de la mine a inclus alte câteva informații importante. Ce au ales să pună pe site sau ce a apărut în media e altă poveste. Că se puteau oferi și alte informații, da, de acord. Totuși, informațiile importante au fost prezentate (cel puțin în ceea ce am trimis eu).
21 noiembrie 2014 la 19:50
Acum am văzut că ai scris "nimerit" câștigătorul. După părerea mea e o exagerare. Dacă pui împreună cele câteva exit-uri realizate de CURS și IRES în ultimii ani sigur nu dai peste o situație de tipul: în jumătate dintre cazuri au estimat corect (indiferent cum definești asta) și în jumătate nu.
21 noiembrie 2014 la 20:25
Hm,
Poate exprimarea e nefericită. Pur și simplu "nimerit" făcea legătura cu fraza anterioară în care folosisem metafora trasului la țintă. În acest context nu era vorba de un proces întâmplător, ci de priceperea de a trage cu arcul.
Pe de altă parte, să nu sărim încă la concluzii. Acelea le postez abia duminică...
21 noiembrie 2014 la 21:55
Bogdan,
Cu privire la marja de eroare poți găsi un răspuns pe site-ul proiectului nostru. Azi am citit ce a scris Ovidiu și m-am gândit că ar fi utilă o astfel de discuție, motiv pentru care am scris acel post.
În rest, cu ce s-a făcut sau nu public e altă discuție. În cazul IRES caseta tehnică primită de la mine a inclus alte câteva informații importante. Ce au ales să pună pe site sau ce a apărut în media e altă poveste. Că se puteau oferi și alte informații, da, de acord. Totuși, informațiile importante au fost prezentate (cel puțin în ceea ce am trimis eu).
(L-am scris ieri dar se pare că nu am reușit să-l postez. Noroc că Iohannis a avut Internauți mai pricepuți comparativ cu mine!)
22 noiembrie 2014 la 07:12
Domnule Voicu,
Personal am dubiile mele. Pina la 2005 nici eu nici altcineva din familia mea n-a cazut in "terenul de tinta" al sondorilor cu exit poll-ul. De asemenea nici in cercul rudelor, colegilor de servici si altor amic ce ii am raspinditi prin tara, la orase si sate. Si am fost tare curios in privinta asta. Pentru ca aleatoriu inseamna aleatoriu.
Acum citiva ani intr-o discutie pe un blog tot despre precizia exit-poll-urilor, o afirmatie a venit sa imi confirme ideea mea de fals. Cineva spunea ca ea si mama ei au fost intervievate de 2 ori la un interval de vreo 2 alegeri si ca atunci la sectia vecina unde a votat era un institut de asta ce facea sondare.
Este evident ca aceste cifre afisate pe ecranele tv este un "lung prilej de vorbe/ si de ipoteze", iar unele pregatesc moral populatia pentru un rezultat oarecum neasteptat, dar ce va fi poate aranjat la urne.
N-am nici o legatura cu meseria de statistician, dar daca as gasi un manual de genul "Sondarea pentru To(n)ti" l-as citi cu placere.
22 noiembrie 2014 la 16:16
Ipoteza dvs. este posibilă, dar improbabilă.
1. Exit-poll-urile au venit dinspre case de sondaje diferite: unele sunt independente, altele sunt afiliate explicit unor grupuri apropriat de un partid sau altul.
2. Cel puțin două dintre casele de sondaj implicate sunt de calitate măcar decentă.
3. Sondajele dintre tururi au indicat constant un trend ascendent al lui Iohannis. Ce e drept, majoritatea acestor sondaje nu au fost publice.
De citit un astfel de manual, aș citi și eu :). Un text relativ simplu, despre exit-pll-uri în SUA este Best, S. J., & Krueger, B. S. (2012). Exit Polls: Surveying the American Electorate, 1972-2010. CQ Press. - disponibil pe GoogleBooks.
În română sunt mai multe, dar vi le recomand pe cele scrise/coordonate de Mircea Comșa. De exemplu: Traian Rotariu, Mircea Comșa, eds. 2005. Alegerile generale 2004 : o perspectivă sociologică, Cluj:Eikon.
22 noiembrie 2014 la 19:41