¿Tocan las encuestas? ¡A quién le importa!

Por Daniel Mordecki
25 de setiembre de 2014

Como ante cada uno de los períodos electorales, las encuestas están en la vidriera. Y como cada vez, a demasiado pocos les importa la validez de datos, relatos e interpretaciones.

 

Artículos relacionados sobre las encuestas
Sobre la validez de las encuestas (Internas 2004)
Sobre la validez de las encuestas - Episodio II (elecciones nacionales 2005)
Encuestas de opinión, ¿política o ciencia? (elecciones internas 2009)
La encuesta y el censo (sobre las consideraciones metodológicas)

Una batalla perdida

En 1974 Amos Tversky y Daniel Kahneman publicaron un artículo seminal llamado "Juzgando en la incertidumbre: heurísticas y desviaciones"1  que se constituiría en la piedra fundacional de una nueva corriente de pensamiento científico que da por tierra al ser pensante y racional que toma decisiones consistentes en base a opciones, valores y probabilidades. El camino fue largo, y ya después de la muerte de Tversky, ocurrida en 1996, Daniel Kahneman recibió un premio Nobel en economía por el aporte. Uno de los puntos centrales de la nueva teoría es la comprobación empírica y fuertemente documentada de que la intuición es incapaz de pensar estadísticamente.

La intuición es ese conjunto de habilidades de nuestro cerebro que nos permite interactuar con el entorno que nos rodea sin necesidad de pensar conscientemente. La misma habilidad que nos permite seguir al GPS y manejar a la vez, que nos hace capaces de cantar mientras tocamos la guitarra, o de escribir en un teclado sin mirarlo, es el intérprete habitual cuando miramos la televisión, escuchamos radio, leemos las noticias por Internet y la mayoría de las veces en que leemos las noticias de la prensa escrita sobre papel del viejo.

Esta maravilla que nos permite ser homo-digitalis hiperconectados, multitarea y multifunción tiene sus fronteras y limitaciones, y una de ellas es la incapacidad de pensar estadísticamente de forma intuitiva: sin un razonamiento atento, cuidadoso y consciente el cerebro reemplaza de forma sistemática lo probable por lo plausible: la intuición juzga con rapidez si las piezas del relato encajan unas con otras (el relato es plausible) sin tomar en cuenta la información que no este "a la vista". Es lo que Tversky y Kahneman denominaron "Lo que ves es todo lo que hay" (What You See Is All There Is - WYSIATI).

Para los que nos apasiona el tema de las encuestas la conclusión es devastadora: la batalla está perdida de antemano. Una buena gráfica y una explicación interesante que la acompañe construyen un relato sólido, fuertemente plausible, suficiente para la intuición de los telespectadores, inclusive la mayoría de los que cuentan con los conocimientos necesarios para una interpretación más sofisticada de los valores que se muestran. Si lo que ven no dispara ninguna alerta, la intuición lo dará por bueno: "Lo que ves es todo lo que hay". Es que nuestro ser racional, la parte del cerebro capaz de aplicar inteligencia y conocimiento a un análisis profundo de los problemas, lo que Kahneman denomina el "Sistema 2", es haragán y desatento, y deja que nuestra intuición haga a sus anchas, sobre todo en ambientes de muy baja implicancia o riesgo, como el de mirar el informativo.

Tal vez en algún momento surja un Edward Snowden de las encuetas, que rompa el hechizo y haga que de pronto todos vean con meridiana claridad lo que por años se escondió delante de sus narices.

Una nota esclarecedora

Es muy difícil encontrar información que hable en detalle de la cocina profunda de una encuesta que se da a conocer por un medio de comunicación masiva. En general sucede solamente los días posteriores inmediatos a la elección. Y esta vez no fue la excepción.

Pero este año fuer particular, porque en una nota radial del 6 de junio de 2014 en el programa En Perspectiva, la entrevista de Emiliano Cotelo deja a la luz algunos vericuetos de la realización y publicación de encuestas que es muy pero muy raro encontrar plasmados en declaraciones públicas.

Vamos con algunas citas (las negritas son mías) y algunos comentarios. 

Hay un reconocimiento tácito de que lo que se publica no es una encuesta, sino el resultado de una "modelización" y una "estimación" sobre esa encuesta. Si estuviera en el boliche, donde al mozo le dicen mozo y no "gerente de satisfacción de las necesidades y deseos de clientes del local", diría que tocan los números antes de mostrarlos. Pero no voy a hacerlo, para que no me puedan acusar de grotesco o ignorante. Igual me queda la duda de si los errores del proceso de "modelización" y "estimación" están incluidos en el famoso +/- 3%.

Qué pícaro!!! Un caso de uso abusivo de "Lo que ves es todo lo que hay", ya que los resultados de las otras internas no están a la vista y la historia resulta plausible. Pero no resiste el análisis, ya que tanto las encuestas para las internas de 2004 como para las de 2009 tuvieron porcentajes de acierto bajísimo. Aceptando un error de +/- 5% en el año 2004 acertaron al 29% de los resultados y en el año 2009 acertaron al 37%. Nada digno de elogio y mucho menos "muy ajustado a la realidad".

Botinelli naturalmente conoce perfectamente esta realidad. Ya en octubre de 2004 justificaba sus yerros en una entrevista en radio El Espectador, también con Emiliano Cotelo: "(Factum) daba 49 para el Frente y 30 para el PN,... que esa proporción de cinco a tres entre la izquierda y los blancos podía ser mucho menor, bastante menor, y que existía, aunque con menos probabilidades, la posibilidad de que el EP-FA perdiera el primer lugar." El resultado final fue de 42.7% para el FA y 41.5% para el PN. 

Muy interesante concepto el de la encuesta "pelada" y mucho más aún la confesión de que nunca dan los "datos pelados". ¿A qué se refiere exactamente?

Voy a hacer una interpretación libre, y totalmente bajo mi responsabilidad: la encuesta pelada, la de verdad, la que nunca nos dan, le dio a Cifra que ganaba Lacalle Pou, y ellos la tocaron (bueno, eliminemos el lenguaje de boliche, digamos que "modelizaron y estimaron") hasta que les dio arriba Larrañaga, igual que a los demás. ¿Se anima la Sra. Pomiés a publicar la famosa "encuesta pelada" para desmentirlo?

Medir las encuestas contra los resultados de la elección es un método válido. El argumento de que la encuesta es una foto y no un pronóstico no corresponde. Los datos de 3,7% y 5,2% son correctos. Zuasnábar es directo y sincero.

La necesidad de comunicar certeza apunta directamente a la construcción de una historia totalmente plausible. El ritmo de la dinámica televisiva tiene exigencias, generan un "deber" de decir algo que la gente entienda, de construir un relato con certezas que alimente correctamente la intuición despreocupada de los espectadores. Y es este deber de naturaleza comercial el que aleja a la encuesta de opinión de la ciencia estadística.

Los datos de las internas de 2014

Metodología

La metodología es la misma que la utilizada en 2004 y 2009. Se basa en la comparación de los resultados de la última serie de encuestas previas a las elecciones internas del 1 de junio de 2014 con los resultados reales que dichas elecciones arrojaron. Este enfoque tiene la ventaja de que no requiere conocer la metodología con que se realiza cada encuesta, sino que busca determinar la validez de los pronósticos.

Los datos

El cuadro muestra el resultado final emitido por la Corte Electoral y el último pronóstico de cada empresa encuestadora previo a la elección. Para calcular el porcentaje de la Corte Electoral se incluyeron en el total de cada partido los votos en blanco tanto departamentales como nacionales según corresponda.

 

Corte Electoral

Cifra

Equipos

Factum

Inter-consult

Opción

Radar

FA

 302,205

 

100%

100%

100%

100%

100%

100%

Tabaré

 246,607

81.6%

81%

83%

84%

80%

87%

77%

Constanza

 52,653

21.4%

15%

15%

15%

19%

12%

20%

Otros / Lema

 

 

4%

2%

1%

1%

1%

3%

 

 

 

 

 

 

 

 

 

PC

 140,227

 

100%

100%

100%

100%

100%

100%

Pedro

 102,856

73.3%

80%

75%

75%

80%

83%

84%

Amorin

 36,228

25.8%

16%

15%

24%

19%

15%

14%

Flores Mora

 497

0.4%

2%

 

1%

 

 

 

Otros / Lema

 

 

2%

10%

 

1%

2%

2%

 

 

 

 

 

 

 

 

 

PN

 416,140

 

100%

100%

100%

100%

100%

100%

Lacalle Pou

 226,194

54.4%

45%

46%

46%

48%

49%

48%

Larrañaga

 189,500

45.5%

47%

50%

53%

50%

48%

49%

Germano

     101

0.0%

 

 

 

 

 

 

Oliú

 345

0.1%

 

 

 

 

 

 

Otros / Lema

 

 

8%

4%

1%

2%

3%

3%

 

Los cálculos

Para realizar el análisis se determina un valor para el margen de error y para cada uno de los porcentajes de las encuestadoras se calcula si es o no acertado.

El procedimiento es el siguiente:

Para comprenderlo mejor veamos un ejemplo: Interconsult dio en su última encuesta un 19% de intención de voto a Constanza Moreira dentro del Frente Amplio, que terminó obteniendo 21.4% de los votos. Los cálculos en este caso arrojarían los siguientes valores:

Error aceptado

Valor absoluto del error

Borde Inferior

Borde superior

Se cuenta como

11%

2.1%

16.9%

21.1%

Fallo

12%

2.3%

16.7%

21.3%

Fallo

13%

2.5%

16.5%

21.5%

Acierto

 

Resultado

Para todas las encuestadoras y todos los candidatos se realizaron uno a uno los cálculos correspondientes a 36 pronósticos: Tabaré Vazquez, Constanza Moreira, Luis Lacalle Pou, Jorge Larrañaga, Pedro Bordaberry y José Amorin Batlle. Se omitieron los otros candidatos porque a pesar de que en muchos casos las encuestadoras emiten pronósticos, los valores pequeños son tan errados que ni siquiera merecen análisis. Se hicieron los cálculos correspondientes con porcentajes de error desde 3% hasta 15%. A continuación se muestra el cuadro de resumen de los resultados obtenidos:

Error Aceptado

Aciertos

Fallas

% Aciertos

3%

6

30

16.7%

4%

7

29

19.4%

5%

7

29

19.4%

6%

9

27

25.0%

7%

11

25

30.6%

8%

13

23

36.1%

9%

17

19

47.2%

10%

17

19

47.2%

11%

18

18

50.0%

12%

19

17

52.8%

13%

21

15

58.3%

14%

23

13

63.9%

15%

24

12

66.7%

 

Comparativo Histórico

Después de varias elecciones, tenemos datos históricos para comparar. Todos corresponden a la misma metodología.

Error en %

Internas 2004

Internas 2009

Internas 2014

3%

18%

10%

16.7%

4%

24%

23%

19.4%

5%

25%

37%

19.4%

6%

28%

43%

25.0%

7%

31%

50%

30.6%

8%

37%

63%

36.1%

9%

41%

63%

47.2%

10%

42%

67%

47.2%

11%

47%

67%

50.0%

12%

50%

70%

52.8%

13%

56%

77%

58.3%

14%

58%

80%

63.9%

15%

63%

80%

66.7%

 

Si bien un análisis más fino podría derivar alguna enseñanza de las diferencias, la conclusión principal es que con los márgenes de error indicados en las fichas técnicas de las encuestas los aciertos son menos de un quinto. Es decir, si usted decide  apostar a que le van a errar por más de un 3%, hágalo tranquilo: tiene más de 5 a 1 de chances de ganar.

Conclusiones

Ante un fenómeno que no varía, mantenemos las mismas conclusiones que en el pasado, que citamos textualmente:

En 2004 el artículo decía:

Reafirmamos en un 100% esta afirmación.

Hacia una Ley de Encuestas

Se publicó en la prensa la intención de algunos legisladores de regular el funcionamiento de las empresas encuestadoras y la difusión de encuestas. Saludo la iniciativa y me pongo órdenes para trabajar en ello

Sin intención de abarcar la totalidad del tema de regulación, creo que sería importante que esta ley incluyera los siguientes elementos:

Estas consideraciones se aplican exclusivamente a las encuestas que tienen como fin ser divulgadas en los medios. Se excluyen explícitamente las encuestas que las empresas realizan por encargo de empresas, organizaciones o individuos y que tienen como fin exclusivo la difusión en ese entorno restringido.

Fuentes:

_________
1 - Tversky, A.; Kahneman, D. (1974). "Judgment under uncertainty: Heuristics and biases". Revista Science , nro 185

 

Artículo

 

 

 

 

mordecki.com

 

 

 

Descargas

descargar Pdf Descargar artículo
 (PDF - 205 KB)

Valoraciones

Calificacion promedio 7

3 valoraciones

Su opinión:

Excelente

Muy bueno

Bueno

Aceptable

Regular

Malo

Muy malo

¡Suscríbase!

Reciba una notificación cuando se incorpora un artículo
Más información

Usabilidad, y estrategia en Internet

white_spacer

Descargas

descargar Pdf Descargar artículo
 (PDF - 205 KB)

Comentar

Nombre:

Email:

Comentario:white_spacer

Escriba la letra G

white_spacer

Comentarios

Eduardo
28 de Setiembre del 2014white_spacer
Siempre tuve esa impresión, pero coincido en que para la mayoría de la gente no tiene gran importancia.

white_spacer


white_spacer

Usabilidad Estrategia Presentaciones Otros Temas Casos Otros Autores

white_spacer

     Contactar      Comentarios sobre el sitio      Valoraciones      Privacidad      Curriculum


Late Latino

calific1

  0

calific2

  0

calific3

  0

calific4

  0

calific5

  0

calific7

  1

calific8

  2

 

Articles in English