Excelenta seria de post-uri! E ceea ce asteptam in primul rand de la cei direct implicati.;)
Cu referire la marjele de eroare oferite de CURS si INSOMAR, aproape sigur ele cumuleaza erorile teoretice cu cele practice, generate de dificultati in accesarea unor sectii de vot, de confuzii, de anularea involuntara a unor voturi... Dar aceste aspecte ar trebui specificate separat de eroarea teoretica.
Nu cumva ele afectează eroarea şi în cazul celorlalte case de sondare?
Părerea mea este că aceste erori sunt tocmai acele erori cuprinse în marja de eroare teoretică. Este modul în care marja "teoretică" se transpune în practică... (caracteristici specifice ale obiectelor alese în eşantion, fie ele date de locaţie, acces la informaţie etc., afectează rezultatul, cam la asta cred că se rezumă în termeni netehnici marja de eroare)
Altfel, oricine poate spune oricând să afirme că e greu să faci sondaje, şi că marja de eroare este de de 10-15%...
Iar la peste 10.000 de respondenţi, dimensiunea unor astfel de erori trebuie să fie uriaşă pentru a afecta precizia estimatelor rezultate dintr-un sample design decent.
Situandu-se la periferia cadrului teoretico-metodologic e mai dificil. Eu unul am cateva idei in cap, care pleaca tot de la analiza modului in care au lucrat operatorii de interviu, coroborat cu modul in care s-a votat in sectiile de vot din esantion (prezenta, vot), de la datele culese in sondajele de calibrare (trenduri, analiza ratelor de raspuns), de la anumite cvasi-experimente (uite, o experienta utila pe care am auzit ca au facut-o unii: au cerut subiectilor unie anchete sa "voteze" pe un "buletin de vot" (simulat), sa introduca "votul" intr-o urna, si apoi l-au chestionat. analiza diferentelor dintre "vot" si declaratie ofera o informatie foarte buna pentru exit-poll).
Cred ca se pot face apoi estimari ale nivelului de marime al acestor erori.
Nu cred ca aceste erori sunt cuprinse in marja "teoretica" pentru ca ele sunt generate nu de obiectele anchetei ci de subiectii ei (incluzand aici si resursele umane alocate). Trebuie sa facem distinctie intre eroarea de estimare a ponderii de becuri stricate dintr-un lot si cea de estimare a intentiei de vot. Diferenta o face tocmai aportul "uman". Dar aceste erori nu ar trebui in niciun fel sa relativizeze precizia care insoteste un sondaj de opinie!
Mai e un aspect care trebuie discutat referitor la sondajele de opinie si erorile aferente. Marja (maxima) de eroare nu se aplica in cazul tuturor procentelor reliefate de sondaj! Mie mi se pare mai de interes eroarea de estimare a votului lui Crin Antonescu (si a PNL in general) cu peste 2.0% decat eroarea de 1.6% la Mircea Geoana. O discutie despre cand si cum se utilizeaza marja de eroare e absolut necesara. S-a ajuns sa se creada ca orice sondaj de opinie facut in Romania are o marja de eroare de 3%...:)
Păi de aia e bine să ai, atunci când ieşi în public cu astfel de date, o estimare corectă a marjei de eroare şi să prezinţi, aşa cum se întâmplă la Eurobarometru, de exemplu, care e eroarea în funcţie de distribuţia variabilei studiate...
Ajută deopotrivă la precizie şi la educarea publicului, care poate deveni astfel mai exigent ;)
24 decembrie 2009 la 14:04
Hai să vedem acum ce informaţii oferă public agenţiile de colectare a datelor implicate în exit-polurile din 6 decembrie. (nu folosesc în cele ce urmează date primite în particular, ci doar ce am identificat ca informaţie publică).
Aproape niciuna dintre cele cinci companii ce au organizat exit-poll-uri nu prezintă pe site-ul propriu prea multe informaţii. INSOMAR şi CURS oferă ceva detalii, apărute la cel puţin o săptămână după ziua votului şi destul de departe de standardul ESOMAR din punct de vedere al completitudinii. Ambele companii promovează însă acest standard, fie explicit (CURS), fie implicit, afirmând apartenenţa la asociaţia cu pricina. La IRES e o informaţie conform căreia au oferit un scor mai aproape de realitate decât ceilalţi. La CSOP şi CCSB nu am găsit nici urmă de informaţie despre exit-poll-uri (o fi, dar nu am găsit eu).
Pentru CURS şi INSOMAR am reuşit să aflu, numărul de secţii de votare în care au fost culese date şi volumul eşantionului, precum şi estimări ale marjei de eroare. Interviuri oferite în presă de angajaţi/patroni ai celor 5 firme mai lasă loc unor informaţii, cea mai importantă fiind aceea că CSOP/IRES a folosit în realizarea estimărilor finale o metodă (nespecificată) de corectare a rezultatului în funcţie de votul din diaspora. Site-ul INSOMAR spune că şi ei au făcut ceva asemănător. De asemenea, Mirel Palada, de la CCSB vorbeşte despre marja de eroare de +/-0,5%.
Cam acestea sunt toate informaţiile: aproape nimic din standardul ESOMAR.
Le sintetizez în acest tabel (click pe figură pentru a se mări). [Image]
Pe ansamblu, aş spune că toate casele de sondare au nevoie de strategii de marketing profesioniste.
În plus, am o nedumerire: marjele de eroare raportate de CURS și INSOMAR m-au surprins: la volumul eşantioanelor folosite (i.e număr de respindenţi), un eşantion simplu aleator ar fi avut marja de eroare de 0,6% în cazul CURS, respectiv de 0,4% pentru INSOMAR (în ambele cazuri, am calculat eroarea respectivă în ipoteza distribuţiei raportae de fiecare dintre cele două case de sondare şi pentru o încredere de 95%). Eşantioanele folosite sunt însă eşantioane stratificate, ceea ce mai scade niţel marja de eroare. Cu or fi ajuns atunci cei de la CURS, respectiv INSOMAR la +/-2%, respectiv +/-1,5%?? Oricum, în opinia mea, o marjă de eroare peste 1% este destul de mare pentru un exit-poll… Din punctul acesta de vedere, acel 0,5% de la CCSB pare mai onest.
PS. Este posibil să fie şi alte informaţii disponibile prin presă, care însă să îmi fi scăpat. Normal era însă ca agenţiile de colecatre a datelor să ofere aceste informaţii pe site-ul propriu...
"Ce ştim despre cele 4 exit-poll-uri (II)"
4 Comentarii -
Bogdan,
Excelenta seria de post-uri! E ceea ce asteptam in primul rand de la cei direct implicati.;)
Cu referire la marjele de eroare oferite de CURS si INSOMAR, aproape sigur ele cumuleaza erorile teoretice cu cele practice, generate de dificultati in accesarea unor sectii de vot, de confuzii, de anularea involuntara a unor voturi... Dar aceste aspecte ar trebui specificate separat de eroarea teoretica.
24 decembrie 2009 la 13:17
Cum măsori astfel de erori???
Nu cumva ele afectează eroarea şi în cazul celorlalte case de sondare?
Părerea mea este că aceste erori sunt tocmai acele erori cuprinse în marja de eroare teoretică. Este modul în care marja "teoretică" se transpune în practică... (caracteristici specifice ale obiectelor alese în eşantion, fie ele date de locaţie, acces la informaţie etc., afectează rezultatul, cam la asta cred că se rezumă în termeni netehnici marja de eroare)
Altfel, oricine poate spune oricând să afirme că e greu să faci sondaje, şi că marja de eroare este de de 10-15%...
Iar la peste 10.000 de respondenţi, dimensiunea unor astfel de erori trebuie să fie uriaşă pentru a afecta precizia estimatelor rezultate dintr-un sample design decent.
24 decembrie 2009 la 13:36
Cum masori aceste erori?
Situandu-se la periferia cadrului teoretico-metodologic e mai dificil.
Eu unul am cateva idei in cap, care pleaca tot de la analiza modului in care au lucrat operatorii de interviu, coroborat cu modul in care s-a votat in sectiile de vot din esantion (prezenta, vot), de la datele culese in sondajele de calibrare (trenduri, analiza ratelor de raspuns), de la anumite cvasi-experimente (uite, o experienta utila pe care am auzit ca au facut-o unii: au cerut subiectilor unie anchete sa "voteze" pe un "buletin de vot" (simulat), sa introduca "votul" intr-o urna, si apoi l-au chestionat. analiza diferentelor dintre "vot" si declaratie ofera o informatie foarte buna pentru exit-poll).
Cred ca se pot face apoi estimari ale nivelului de marime al acestor erori.
Nu cred ca aceste erori sunt cuprinse in marja "teoretica" pentru ca ele sunt generate nu de obiectele anchetei ci de subiectii ei (incluzand aici si resursele umane alocate). Trebuie sa facem distinctie intre eroarea de estimare a ponderii de becuri stricate dintr-un lot si cea de estimare a intentiei de vot. Diferenta o face tocmai aportul "uman". Dar aceste erori nu ar trebui in niciun fel sa relativizeze precizia care insoteste un sondaj de opinie!
Mai e un aspect care trebuie discutat referitor la sondajele de opinie si erorile aferente. Marja (maxima) de eroare nu se aplica in cazul tuturor procentelor reliefate de sondaj! Mie mi se pare mai de interes eroarea de estimare a votului lui Crin Antonescu (si a PNL in general) cu peste 2.0% decat eroarea de 1.6% la Mircea Geoana. O discutie despre cand si cum se utilizeaza marja de eroare e absolut necesara. S-a ajuns sa se creada ca orice sondaj de opinie facut in Romania are o marja de eroare de 3%...:)
24 decembrie 2009 la 13:55
Păi de aia e bine să ai, atunci când ieşi în public cu astfel de date, o estimare corectă a marjei de eroare şi să prezinţi, aşa cum se întâmplă la Eurobarometru, de exemplu, care e eroarea în funcţie de distribuţia variabilei studiate...
Ajută deopotrivă la precizie şi la educarea publicului, care poate deveni astfel mai exigent ;)
24 decembrie 2009 la 14:04