encuestaFilaPor una ley de encuestas

Por Daniel Mordecki
21 de octubre de 2014

 



La aplicación de probabilidad elemental muestra que los resultados que publicitan las encuestadoras son tan erróneos como improbables. Es imperiosa la promulgación de una Ley de Encuestas que defienda a la sociedad de semejante abuso.


Las internas de junio dispararon nuevamente la discusión sobre las encuestas y las empresas encuestadoras. En esa discusión se pueden escuchar frases como "nuestras estimaciones deben ser la combinación de medición y modelización, medición y estimación" (Ignazio Zuasnábar, Equipos Mori), "si miramos la encuesta 'pelada' nuestra, se comportó mucho mejor que nuestro trabajo de estimación" (Mariana Pomiés - Cifra) o "el investigador principal suele tomar decisiones que tienden a equilibrar el resultado del relevamiento. Para ello recurre a ponderadores" (Daniel Chasquetti - ex Radar).

Con los valores reales de la elección que provee la corte electoral, podemos medir el impacto de esta ponderación en los resultados que las encuestas publicitan.

Como diría Adam Smith, hay una mano invisible que hace que las encuestas se sigan unas a otras.

El método tiene como base el cálculo de la probabilidad del resultado de una encuesta para una muestra dada. Por ejemplo, la probabilidad del resultado Lacalle Pou 45% - Larrañaga 47% con una muestra de 1002 casos (Cifra) es de 0.3%. Para incluir el margen de error se suman las probabilidades de todo el rango. Siguiendo el ejemplo de Cifra, para un error de +/-3%  hay que sumar la probabilidad de todas las combinaciones que tienen Lacalle Pou entre 42% y 48% y Larrañaga entre 44% y 50%. Ese valor es 5.9% (Cálculos, datos y código de los programas)

A partir de estos cálculos es fácil ver que las encuestas tienen una probabilidad de ser válidas mucho menor que el 95% publicitado (entre un 20% y un 24% para las internas) y que la ponderación hace que no se dispersen hacia arriba y abajo de los valores reales, sino que se muevan en bloque. Como diría Adam Smith, hay una mano invisible que hace que se sigan unos a otros.

El intervalo de confianza

En la ficha técnica de cualquier encuesta podemos encontrar una frase como ésta: "margen de error de +/-3% con un 95% de intervalo de confianza". Esto quiere decir que si al resultado de la encuesta le sumamos 3% y le restamos 3%, la probabilidad de que el valor real caiga en ese rango es de 95%.
Una vez que conocemos el resultado de la corte electoral, podemos calcular el intervalo de confianza real para cada tamaño muestral y porcentaje de error. Es contestar la pregunta: con la encuesta que hicieron, ¿qué probabilidad tenían de acertar? Estos son los valores:

Encuestadora

Muestra

Error Declarado

Intervalo de Confianza

Cifra

1002

3.0%

23.5%

Eqipos

1200

2.8%

21.5%

Factum

1936

2.4%

22.7%

Interconsult

1323

2.7%

21.4%

Opción

1200

2.8%

21.7%

Radar

1500

2.5%

22.1%

 

No hay argumento alguno que explique una diferencia tan brutal: nos están vendiendo oro por baratijas, como al desafortunado Don Rodrigo de Les Luthiers.

No hay argumento alguno que explique diferencias tan brutales: nos están vendiendo oro por baratijas.

Correlación

Con una probabilidad tan baja de acertarle, lo esperable es que las encuestas den resultados bastante dispersos en torno al valor real: algunos más cerca y otros más lejos, algunos por arriba y otros por abajo.

Sin embargo no es esto lo que sucedió: en el Partido Nacional los valores de las encuestadoras no se dispersaron de forma amplia por encima y por debajo del valor real (54.4% para Lacalle Pou - 45.5% para Larrañaga), sino que se agruparon en un rango relativamente pequeño, todas por encima para Larrañaga (47% - 53%) y todas por debajo para Lacalle Pou (45% - 49%).

¿Qué probabilidad hay de que esto suceda? Es decir, con los tamaños muestrales y errores declarados por cada encuestadora, ¿qué probabilidad tienen los resultados expuestos? Una en 62.4 millones, algo así como ganar la lotería dos veces seguidas.

Pero esto no queda ahí, porque también para la interna colorada las encuestadoras, lejos de dispersarse en torno al valor real (73.3% para Bordaberry - 25.8% para Amorín), se concentraron en un rango que no contiene estos valores. Todas por encima para Bordaberry (75% - 84%) y todas por debajo para Amorín (14% - 24%).

Ganaron la lotería cuatro veces en un par de semanas. Tanta suerte no da ni para calificar como sospechoso.

Otra vez nos preguntamos qué probabilidad hay de que con los tamaños muestrales y errores declarados suceda algo así. Una en 664 millones.

Ganaron la lotería cuatro veces en un par de semanas. Tanta suerte no da ni para calificar como sospechoso.

Hacia una Ley de Encuestas

Para curar de raíz las consecuencias de un uso tan sesgado y arbitrario de la valiosa herramienta encuesta, es imprescindible que Uruguay cuente con una ley de encuestas que se base en tres pilares:

Estas consideraciones se aplican exclusivamente a las encuestas que tienen como fin ser divulgadas públicamente. Se excluyen explícitamente las encuestas que se realizan por encargo de empresas, organizaciones o individuos y que tienen como fin exclusivo la difusión en ese entorno restringido.

________
Toda la información de base es de dominio público. Puede revisar el detalle sobre los cálculos, datos utilizados y  código fuente de los programas o contactar a Daniel Mordecki
 

 

Otros artículos relacionados sobre las encuestas
¿Tocan las encuestas? ¡A quién le importa! (Internas 2014)
Encuestas de opinión, ¿política o ciencia? (elecciones internas 2009)
Sobre la validez de las encuestas - Episodio II (elecciones nacionales 2005)
Sobre la validez de las encuestas (Internas 2004)
La encuesta y el censo (sobre las consideraciones metodológicas)

 

 

Artículo

 

 

 

 

mordecki.com

 

 

 

Descargas

descargar Pdf Descargar artículo
 (PDF - 107 KB)

Valoraciones

Calificacion promedio 3

133 valoraciones

Su opinión:

Excelente

Muy bueno

Bueno

Aceptable

Regular

Malo

Muy malo

¡Suscríbase!

Reciba una notificación cuando se incorpora un artículo
Más información

Usabilidad, y estrategia en Internet

white_spacer

Descargas

descargar Pdf Descargar artículo
 (PDF - 107 KB)

Comentar

Nombre:

Email:

Comentario:white_spacer

Escriba la letra V

white_spacer

Comentarios

white_spacer

Usabilidad Estrategia Presentaciones Otros Temas Casos Otros Autores

white_spacer

     Contactar      Comentarios sobre el sitio      Valoraciones      Privacidad      Curriculum


Late Latino

calific1

  85

calific2

  0

calific3

  0

calific4

  0

calific5

  0

calific7

  4

calific8

  44

 

Articles in English