Treaba asta cu "retelele de operatori" cred ca tindem s-o exageram un pic. Nu neg ca ei pot fi perceputi biasat, dar vorbim totusi de intrebari factuale la un public din ce in ce mai restrans. Daca chiar ar fi asa multa "dezirabilitate" atunci ar trebui sa avem si oameni care ies din sectie si au ezitari sa-i recunoasca operatorului ca "a votat" :) . Mai degraba cred ca e vorba de gestionarea refuzurilor.
cat despre PNL-ul supraestimat pe langa povestea ca au o rata de raspuns mai mare ... eu am o obsesie mai veche cu voturile institutionalizate la care exit poll-urile n-au cum sa ajunga. N-am avut niciodata rabdarea sa le verific dar ipoteza ar fi ca-n armata/puscarii etc voturile liberale sunt mai putine.
În opinia mea, reţeaua de operatori poate influenţa la exit-poll prin modul în care îşi selectează subiecţii, fie intenţionat, pentru a-şi uşura munca, fie prin ratele diferite de răspuns pe care le obţin de la diferite categorii de votanţi.
Cum fizic nu prea ai de unde lua alţi operatori de interviu, ceea ce se poate face este să verifici asta cu baza de date (presupune aplicarea prealabilă a unui scurt chestionar cu fiecare operator) şi eventual să recurgi la ponderare după caracteristicile operatorului). Dacă îţi pregăteşti sintaxele din timp, asta întârzie difuzarea rezultatelor cu cel mult 15 minute.
Ipoteza cu votul în instituţii mi se pare în continuare interesantă, însă ar trebui văzut care e ponderea totală a votanţilor de acolo...
La fel se întâmplă cu ponderea voturilor intenţionat nule, de asemenea neraportată de exit-polluri.
Si totusi... Unul din efectele cele mai mari si mai de necontrolat nu il luati in considerare: frauda electorala.
Stiu, o sa spuneti ca sunt cu capul si plin de teorii ale conspiratiei. Insa in esantionul nostru am avut mai multe sectii unde asa ceva a aparut. Data fiind distributia puternic punctuala a unui asemenea fenomen, acesta nu pica cum trebuie in esantion (nu se regaseste in aceeasi pondere si structura precum in total univers). Pe langa aceasta biasare, ai de-a face si cu ratele mult mai ridicate de refuz. Nu vreti sa stiti ce a fost la una din sectii, si nu din vina bietilor operatori, ci din cauza minibuzelor venite iures. Intrau, votau, ieseau, nu raspundeau. Ne-am dat seama cand am facut verificarea periodica cu sectiile unde aveam rate de refuz mult peste medie.
Deci, IMHO, toate propunerile voastre (ponderare dupa operatori, voturi institutionale) sunt obturate de o eroare de o cu totul alta magnitudine, pe care chiar nu poti sa o controlezi.
Deci itzi faci cruce cu limba in gura si speri sa se anuleze. Daca iese bine, e ok, nimeni nu zice nici pis. Gata, a trecut, sa mergem la scandalurile zilei de luni. Exit Poll? Ce e aia? A fost ieri. Daca nu iese bine, ti-o furi in direct, dupa, de la robespierrenii de servici din presa si de pe Internet, de nu ai aer.
Văd că - indirect - confirmi una dintre ipotezele de mai sus, cea legată de ratele diferenţiate de răspuns.
Nu cred că se poate vorbi despre ipoteze de genul fraudei electorale atâta vreme cât nu sunt testate restul explicaţiilor posibile. Chestie de deontologie, de metodă ...
11 iunie 2009 la 16:38
În noaptea de dinaintea alegerilor îmi puneam trei întrebări. Răspunsurile au fost în principiu cele aşteptate: rezultatele au confirmat în mare predicţiile preelectorale şi votul de la începutul iernii trecute, exit-poll-urile au indicat binişor distribuţia finală (felicitări ambelor agenţii de colectare a datelor), PNL a fost ca de obicei supraestimat, independenţii au câştigat niţel din diferenţele de mobilizare (aşa cum mă gândisem duminică mai spre prânz, în comentariul postat atunci). Ce fusese mai puţin intuit, dar ar fi fost uşor de prezis, este câştigul UDMR rezultat din diferenţele de mobilizare.
Uitându-mă la cifrele de exit-poll, postate la un loc cu hărnicie de Turambar, văd că estimatele finale sunt un pic în afara vestitei marje de eroare pentru PNL şi PRM, iar la una dintre casele de sondare UDMR-ul iese probabil din marjă, în timp ce la cealaltă e posibil ca EBA să facă acelaşi lucru (nu am stat să fac calcule exacte, mai ales că nu am cifrele care să îmi permită să calculez marja de eşantionare stratificată; evaluările pe care le-am făcut în fraza de mai sus sunt bazate pe estimări grosiere asupra a cât ar trebui să fie marja de eroare garantată cu 95%, la distribuţii 85-15, 90-10, respectiv 95-5, pornind de la ipoteza, avansată de Turambar, că la 50-50 ar fi 1,5%).
De aici apar două întrebări importante pentru sondatori, cărora ar fi util să li se ofere răspunsuri serioase pentru alegerile de peste 4 ani (asta dacă nu or fi anticipate mai înainte):
1. De ce PNL apare din nou supraestimat în exit-poll. Cred că se întâmplă sistematic începând cu 2000.
2. De unde provin erorile de la UDMR/PRM. Mai multe ipoteze pot fi aici testate: (a) vicii de ponderare a eşantioanelor finale astfel încât să ia în calcul şi prezenţa reală la vot; (b) mici deviaţii în aplicarea criteriilor de stratificare la proiectarea eşantioanelor; (c) selecţia reţelelor de operatori.
"Ipoteze de testat înainte de exit-poll-urile ce vor urma"
4 Comentarii -
Treaba asta cu "retelele de operatori" cred ca tindem s-o exageram un pic. Nu neg ca ei pot fi perceputi biasat, dar vorbim totusi de intrebari factuale la un public din ce in ce mai restrans. Daca chiar ar fi asa multa "dezirabilitate" atunci ar trebui sa avem si oameni care ies din sectie si au ezitari sa-i recunoasca operatorului ca "a votat" :) . Mai degraba cred ca e vorba de gestionarea refuzurilor.
cat despre PNL-ul supraestimat pe langa povestea ca au o rata de raspuns mai mare ... eu am o obsesie mai veche cu voturile institutionalizate la care exit poll-urile n-au cum sa ajunga.
N-am avut niciodata rabdarea sa le verific dar ipoteza ar fi ca-n armata/puscarii etc voturile liberale sunt mai putine.
10 iunie 2009 la 00:14
În opinia mea, reţeaua de operatori poate influenţa la exit-poll prin modul în care îşi selectează subiecţii, fie intenţionat, pentru a-şi uşura munca, fie prin ratele diferite de răspuns pe care le obţin de la diferite categorii de votanţi.
Cum fizic nu prea ai de unde lua alţi operatori de interviu, ceea ce se poate face este să verifici asta cu baza de date (presupune aplicarea prealabilă a unui scurt chestionar cu fiecare operator) şi eventual să recurgi la ponderare după caracteristicile operatorului). Dacă îţi pregăteşti sintaxele din timp, asta întârzie difuzarea rezultatelor cu cel mult 15 minute.
Ipoteza cu votul în instituţii mi se pare în continuare interesantă, însă ar trebui văzut care e ponderea totală a votanţilor de acolo...
La fel se întâmplă cu ponderea voturilor intenţionat nule, de asemenea neraportată de exit-polluri.
10 iunie 2009 la 09:11
Si totusi... Unul din efectele cele mai mari si mai de necontrolat nu il luati in considerare: frauda electorala.
Stiu, o sa spuneti ca sunt cu capul si plin de teorii ale conspiratiei. Insa in esantionul nostru am avut mai multe sectii unde asa ceva a aparut. Data fiind distributia puternic punctuala a unui asemenea fenomen, acesta nu pica cum trebuie in esantion (nu se regaseste in aceeasi pondere si structura precum in total univers). Pe langa aceasta biasare, ai de-a face si cu ratele mult mai ridicate de refuz. Nu vreti sa stiti ce a fost la una din sectii, si nu din vina bietilor operatori, ci din cauza minibuzelor venite iures. Intrau, votau, ieseau, nu raspundeau. Ne-am dat seama cand am facut verificarea periodica cu sectiile unde aveam rate de refuz mult peste medie.
Deci, IMHO, toate propunerile voastre (ponderare dupa operatori, voturi institutionale) sunt obturate de o eroare de o cu totul alta magnitudine, pe care chiar nu poti sa o controlezi.
Deci itzi faci cruce cu limba in gura si speri sa se anuleze. Daca iese bine, e ok, nimeni nu zice nici pis. Gata, a trecut, sa mergem la scandalurile zilei de luni. Exit Poll? Ce e aia? A fost ieri. Daca nu iese bine, ti-o furi in direct, dupa, de la robespierrenii de servici din presa si de pe Internet, de nu ai aer.
:/
11 iunie 2009 la 02:09
Văd că - indirect - confirmi una dintre ipotezele de mai sus, cea legată de ratele diferenţiate de răspuns.
Nu cred că se poate vorbi despre ipoteze de genul fraudei electorale atâta vreme cât nu sunt testate restul explicaţiilor posibile. Chestie de deontologie, de metodă ...
11 iunie 2009 la 16:38