Artículo

 

 

 

 

Sobre la validez de las encuestas
Episodio II

Por Daniel Mordecki
21 de noviembre de 2004

En el artículo de antes de las elecciones, afirmamos que las encuestadoras nos hacen creer que se manejan con la precisión de un rayo láser, cuando en realidad tienen un trabuco naranjero. El análisis de los resultados y los pronósticos de la elección del 31 de octubre de 2004 muestra que la afirmación conserva toda su vigencia

Como continuación del artículo anterior "Sobre la validez de las encuestas" y aplicando la misma metodología, nos proponemos analizar los aciertos y errores de las principales empresas que realizan encuestas de opinión y pronósticos electorales en Uruguay.

A los resultados analizados antes del acto electoral del 31 de octubre, se sumaron los pronósticos de las distintas empresas para esta elección. A saber:1

Partido

Pronósticos para el 31 de octubre - en %

Resultado en %

Cifra

Equipos-Mori

Factum

Interconsult

Radar

FA - EP

50.9

52.5

54.5

50.9

54

50.54

P. Nacional

31.8

31.6

31

30.4

29

34.3

P. Colorado

12.5

11.1

12

9.8

8

10.36

P. Indep.

2.7

2.6

2.5

2.4

3

1.84

Cuadro 1 - Los pronósticos de las distintas empresas para el 31 de octubre de 2004

El análisis se realiza entonces ahora con un total de 118 pronósticos, en base a los resultados de 5 actos eleccionarios:


El Cuadro 2 muestra el porcentaje de aciertos del total de las encuestadoras a medida de que se va aumentando el margen de error. Allí puede verse que la inclusión de los pronósticos de octubre no varía en lo fundamental la tendencia, es más, baja un poco el porcentaje de aciertos, lo que reafirma que el único pronóstico que se cumple siempre es el de que las encuestas tienen mucho más error que el que manifiestan las encuestadoras. Para tener un 50% de aciertos hay que aceptar un 12% de margen de error, en contraposición al 2.4 a 3 por ciento que promocionan las empresas.

Error aceptado

Aciertos

Fallas

acierto/total

acierto/total sin 31/10/04

3%

21

97

18%

20%

4%

28

90

24%

27%

5%

30

88

25%

29%

6%

33

85

28%

31%

7%

37

81

31%

34%

8%

44

74

37%

39%

9%

48

70

41%

42%

10%

50

68

42%

44%

11%

56

62

47%

49%

12%

59

59

50%

52%

13%

66

52

56%

58%

14%

69

49

58%

60%

15%

74

44

63%

65%

Cuadro 2 - Los aciertos y fallas a medida que se aumenta el margen de error aceptado.
La última columna muestra el mismo cálculo pero con los datos publicados
en el artículo del 21 de octubre de 2004

Errores y precisión

Un primer problema que surge del análisis de los resultados publicados en la prensa escrita, de los expuestos en radio y televisión y de los publicados en los distintos sitos de las encuestadoras, tiene que ver con los márgenes de error y la precisión con que se presentan los datos. Inclusive una lectura detenida de las fichas técnicas completas2 deja abiertas algunos flancos importantes

Cuando se expresa el margen de error: ¿Se trata de margenes de error en porcentaje del valor expresado o en puntos de la encuesta? El juego de palabras que se forma al hablar del error como un porcentaje de un porcentaje, deja siempre la duda de si cuando se afirma que el error es del 3% y se muestra un pronóstico de 10%, quiere decir que se pronostica un valor entre 7% y 13% o que se pronostica un valor entre 9.7% y 10.3%. Para el primer rango, el error estaría siendo expresado en "puntos de la encuesta", en el segundo caso, en "porcentaje del valor".

Si se tratara de una distancia, por ejemplo 10km, entonces no habría problema, porque para el primer caso se diría que el error es de +/-3km y para el segundo caso se diría que es de +/-3%, con lo que se evitarían todas las confusiones. No se trata de un detalle. La ciencia enseña que no se deben considerar válidas medidas menores que el margen de error del instrumento con que medimos. O sea que si son puntos de la encuesta, no se deberían incluir pronósticos de menos de 3%, algo que se hace sistemáticamente con los partidos menores, los votos en blanco y en algunos casos con los indecisos.

Tampoco queda claro el hecho de que los errores varían según se trate de resultados generales o de resultados de los distintos sectores dentro de un partido. Cuando se pronostica que un sector obtendrá el 20% de los votos dentro de su partido, ese pronóstico tiene un error mucho mayor que el pronóstico general que se hace para el partido. Este dato se omite sistemáticamente en los medios y aparece solamente hilando fino en algunas fichas técnicas.

Otra problema importante tiene que ver con la precisión. En ciencia, es necesario expresar las los valores de forma que quien los lee entienda exactamente como se reflejan los márgenes de error de nuestras medidas en los valores que mostramos. Eso se aprende muy temprano, tal como muestran los textos de secundaria: "Las cifras significativas de una medida son todas las cifras seguras y un una única insegura. Siempre que realices una medida debes expresar el resultado utilizando solo las cifras significativas"3. Con un margen de error de 3%, el valor 50.9% es enormemente engañoso. Tanto si el error está expresado como puntos de la encuesta (rango 47.9%-53.9%) como si está expresado en porcentaje del valor, (rango 49.4%-52.4%) la cifra de las unidades es insegura, por lo que el método científico exige redondear y obviar la cifra de los décimos, es decir: se debería haber publicado 51%. Publicar 50.9% como pronóstico de una encuesta responde a las necesidades comerciales o de marketing, a costa de la violación de normas elementales del manejo científico de los errores.

Las picardías y el justificómetro

La dinámica de la presentación de pronósticos a medida que se acerca el día de las elecciones, con todos los medios concediendo espacio a publicitar a su empresa encuestadora, a lo que se suma una verdadera canilla libre de números, encuestas, pronósticos y análisis, hace muy fácil perder la perspectiva. Los televidentes nos vemos literalmente apabullados por números, datos, análisis, que exceden largamente nuestra capacidad de recordar y comparar sin recurrir a procedimientos sistemáticos, algo que el 28 de octubre ninguno de nosotros estaba en condiciones de hacer.

Pero ¿qué pasa cuando uno comienza a analizar con paciencia y detalle lo que dijeron en diversas instancias los distintos analistas y lo que pronosticaron las distintas encuestadoras? Comienza a vislumbrase que con mucha frecuencia se deslizan inexactitudes, se cometen picardías y se justifican errores, con procedimientos que no tienen nada que ver con la ciencia estadística. Citaremos aquí cuatro ejemplos, pero es posible encontrar decenas con solo navegar por Internet contrastando documentos.

1.- El primero de noviembre de 2004, es decir al otro día de la elección, en el programa En Perspectiva de la radio El Espectador, Juan Carlos Doyenart, director de Interconsult afirmó "(las encuestadoras) dieron al Partido Colorado (PC) en el orden del 10-11 por ciento -lo que muchos se resistían a creer- y estuvo en 10,5. O sea: las encuestas siguen siendo un referente fundamental, hay que respetar más este trabajo técnico y su seriedad". Tal como muestra el Cuadro 1, no es exacto que las encuestadoras dieron al Partido Colorado en el orden del 10-11 por ciento, sino en el orden del 8-12.5 por ciento. De hecho, la propia encuestadora que Doyenart dirige, según los datos proporcionados en el informativo de Canal 10 del 28/10/04 pronosticó 9.8% para el Partido Colorado.

2.- La empresa Cifra, el último día de los pronósticos dio su resultado en 2 pasos. Esto le permitió dar su resultado definitivo con cartas vistas, conociendo todos y cada uno de los pronósticos de sus colegas. Casualmente todos sus pronósticos se ubicaron en un extremo del rango de sus competidores: para el FA el menor valor y para el PC, PN y PI el mayor valor. La picardía fue complementada con la justificación de qué se proyectaban indecisos: en el marco de la fiebre de valores de ese día cualquier dato nuevo era bienvenido. Es al menos llamativo que los pronósticos estén colocados exactamente en la frontera de los rangos de sus colegas, que Cifra por primera vez en todos sus pronósticos utilice decimales y que mueva de golpe algunos valores, como el pronóstico del FA 4 puntos, después de haberlo mantenido durante meses en un rango que oscilaba entre 46 y 48 por ciento.

3.- Grupo Radar fue quién más enérgicamente pronóstico un resultado favorable al FA en primera vuelta. Su pronóstico de 56% incluyendo indecisos era según sus palabras de "avalancha" en favor del FA. Ante la vehemencia de las exposiciones, era esperable un ético y honesto "nos equivocamos" a secas, o al menos un silencio culposo. Recibimos todo lo contrario. En una extensa nota firmada por Adolfo Garcé, Daniel Chasquetti y Alain Mizrahi disponible en el sitio Web de la empresa y publicada en Crónicas, el 5 de noviembre de 2004 concluyen que "Por todo ello creemos que el error no está en la medición y que debemos buscarlo fuera de la encuesta, más precisamente en los hechos ocurridos desde el cierre de la encuesta hasta el día de la elección."

4.- En una entrevista en radio El Espectador, el 28 de octubre de 2004, Oscar Botinelli director de Factum justifica un pronóstico desacertado para las internas del 27 de junio de 2004, que excede varias veces4 el margen de error con la siguiente explicación: "(Factum) daba 49 para el Frente y 30 para el PN,... que esa proporción de cinco a tres entre la izquierda y los blancos podía ser mucho menor, bastante menor, y que existía, aunque con menos probabilidades, la posibilidad de que el EP-FA perdiera el primer lugar." Los comentarios sobran.

No dudamos de las encuestas, nos sonrojamos con los encuestadores...

En su análisis del 5 de noviembre de 2004, también en El Espectador, el mismo Botinelli afirma: "Las encuestas han quedado aceptadas claramente, demostraron ser una herramienta científica con todas las certezas y las limitaciones de cualquier herramienta científica, y nos parece que de aquí en adelante cualquiera que salga otra vez a discutirlas va a estar discutiendo si el Sol gira alrededor de la Tierra o los astros están colgados del cielo, ya no tiene sentido"

¡Otra vez la "picardía"! El problema no son las encuestas como método científico, sino el uso que las empresas de opinión pública y los medios de comunicación hacen de ellas con fines comerciales y políticos. A saber:

Confundir las encuestas con las encuestadoras es presentar una falsa disyuntiva. En las apariciones y documentos públicos de las encuestadoras hay apenas una traza de lo que en su origen fue una encuesta basada en la ciencia estadística, para transformarse a través de la ponderación, la estimación y el análisis en una pieza político/comercial. En el informe de una encuestadora hay tanto de ciencia estadística como hay de huevo en el pollo. Para probarlo alcanzaría con que hicieran públicos los resultados en bruto de la encuesta sin procesar, nos daríamos cuenta de la distancia enorme que separa el trabajo de campo con lo que al final nos muestran en TV. Queda planteado el desafío...

 

1 Los datos están tomados de las emisiones televisivas de los informativos del 28/10/2004. Para Factum, que pronosticó en base a rangos, se tomó el promedio del rango para el estudio.

2 Justo es decir que accedimos solamente a las de las empresas Cifra y Factum, para las otras tres empresas, por lo menos para nosotros, fue imposible encontrar la ficha técnica completa.

3 Ciencias Físicas 1, (texto para primer año del Ciclo Básico) - Saravia, Szwartcfiter, Segurola, Página 50. Textos del Sur - Montevideo.

4 El resultado final fue de 42.7% para el FA y 41.5% para el PN, con una diferencia entre ambos de aproximadamente 13.200 votos.

 

mordecki.com

 

 

 

Descargas

descargar Pdf Descargar artículo
 (PDF - 245 KB)

Valoraciones

Calificacion promedio 2

36 valoraciones

Su opinión:

Excelente

Muy bueno

Bueno

Aceptable

Regular

Malo

Muy malo

¡Suscríbase!

Reciba una notificación cuando se incorpora un artículo
Más información

Usabilidad, y estrategia en Internet

white_spacer

Descargas

descargar Pdf Descargar artículo
 (PDF - 245 KB)

Comentar

Nombre:

Email:

Comentario:white_spacer

Escriba la letra E

white_spacer

Comentarios

Eduardo
27 de Marzo de 2009white_spacer
Patetico lo suyo señor. En el articulo comete un monton de atropellos hacia las empresas y las compara sin tomar en cuenta un monton de cosas.
Ud. habla de "pronosticos" y no siempre fueron pronosticos sino estados de situación.
Ademas comete una burrada enorme. El margen de error estadístico no es el mismo para todos los porcentajes. El margen máximo estadistico se maneja para el total de la muestra y para un PxQ =0,50. Cuando el PxQ=0,2 el margen de error es menor.


white_spacer


Loteria
17 de Marzo de 2009white_spacer
Muchas gracias por el estudio. Era algo muy necesario para la sociedad. Al fin entendemos -aun que sea someramente- "el misterio de las Encuestas"

white_spacer


Loteria
17 de Marzo de 2009white_spacer
Agradecería se me proporcionara información sobre en qué consiste y cómo actúa la "Desviación Standard".
Gracias y felicitaciones por el trabajo.


white_spacer


Adriana
18 de Diciembre de 2008white_spacer
Hola: No se si lo consideran o no , pero no emqueda calro finalmente cual seria el % error muestral optimo para las encuestas. 12% un maximo o el optimo 3% - 6%, para hacer valida la encuesta

white_spacer


freddy hurtado
09 de Diciembre de 2008white_spacer
me parece muy interesante el articulo expuesto en esta pagina... mi recomendacion es que...

white_spacer


fabian
03 de Julio de 2008white_spacer
El articulo me pareció excelente

white_spacer


leslie Joe Santivañez Carrizo
19 de Setiembre de 2007white_spacer
Solicito esta informacion (I y II) para un trabajo de investigación con las encuestadoras de Perú. Gracias

white_spacer


camila
14 de Marzo de 2007white_spacer
solicito esta informaciòn para un trabajo de la Universdad.

white_spacer


luis rojas
21 de Agosto de 2006white_spacer
no me gustó la página, ya que no encontré nada que me ayudara en mi trabajo a realizar

white_spacer


white_spacer

Usabilidad Estrategia Presentaciones Otros Temas Casos Otros Autores

white_spacer

     Contactar      Comentarios sobre el sitio      Valoraciones      Privacidad      Curriculum


Late Latino

calific1

  24

calific2

  2

calific3

  0

calific4

  1

calific5

  2

calific7

  2

calific8

  5

 

Articles in English