Encuestas vemos, preferencias no sabemos


 

Por: Sebastián Garrido de Sierra* (@segasi)

 

Durante los últimos días ha navegado por las redes sociales una gráfica elaborada por Reporte Índigo que compara la efectividad de diversas encuestas para anticipar el resultado de la elección presidencia. La imagen, que es parte de una nota más amplia llamada “Encuestas: del sondeo a la propaganda”, muestra que la diferencia entre el primer y segundo lugar reportada por la mayor parte de las encuestas no coincide con la distancia en votos que, de acuerdo con el PREP, hay entre Enrique Peña Nieto y Andrés Manuel López Obrador.

 

 

Las discrepancias entre varias estimaciones de las preferencias electorales y los resultados del IFE son innegables y, para muchos, motivo suficiente para dudar de la credibilidad de buena parte de las casas encuestadoras. Más allá de lo que cada quien opine respecto a estos ejercicios probabilísticos, me parece que la comparación propuesta por el gráfico de Reporte Índigo no es del todo adecuada por cuando menos tres motivos.

Primero, en todos los casos la imagen reporta la diferencia de los estimadores puntuales de preferencias efectivas (es decir, el porcentaje de votos que cada encuesta calcula que recibirán los candidatos) entre el primer y segundo lugar. Sin embargo, dado que las encuestas son ejercicios probabilísticos con diferentes márgenes de error, al evaluarlas es fundamental considerar no sólo los estimadores puntuales, sino los intervalos de confianza reportados para cada candidato. Estos intervalos se construyen sumando y restando el margen de error al estimador puntual. Por ejemplo, si una encuesta publica que 43% de los encuestados piensan votar por el candidato A (ese es el estimador puntual), y el margen de error de la estimación es de +/-3%, el intervalo de confianza para este candidato va del 40% (43% – 3%) al 46% (43% + 3%).

Entonces, para saber qué tan acertada fue una encuesta sería mucho más útil analizar si los intervalos de confianza publicados por las encuestas para EPN y AMLO contienen el porcentaje de votos que cada uno de ellos obtuvo, o bien, cuál es la diferencia entre el puntero y su más cercano competidor si se consideran el límite inferior del intervalo de confianza del primero y el límite superior del segundo. Más adelante presento los resultados de estas evaluaciones alternativas.

Segundo, la encuesta en que la diferencia entre el primer y segundo lugar fue supuestamente más cercana a la diferencia que arrojan los resultados del PREP (se adjudica a Berumen, pero los cálculos fueron realizados por el Observatorio Universitario Electoral, OUE), en realidad ofrece estimaciones puntuales bastante alejadas de los resultados del IFE (otra vez, no sabemos si se refieren a preferencias brutas o efectivas). Le da 33.4% a EPN (vs. 38.15% del PREP y 38.21 del cómputo) y 27.3% a AMLO (vs. 31.64% del PREP y 31.59% del cómputo). Vale la pena recordar que cuando los académicos presentaron esta encuesta a los medios, inicialmente declararon que AMLO tenía una ventaja de 0.9% sobre EPN. A las pocas horas fue evidente que esto se debía a que las cifras difundidas por el OUE reportaban, de forma atípica y sin explicación alguna, el límite superior del intervalo de confianza de AMLO (31.8%) y el inferior de EPN (30.9%) como si fueran los estimadores puntuales. Ante diversos cuestionamientos, los académicos cambiaron el spin y declararon que su encuesta mostraba un empate técnico entre ambos candidatos. Un poco después, Berumen terminaría aclarando que la encuesta daba una ventaja de 6.1% a EPN.

Tercero, de acuerdo con la gráfica de Reporte Índigo las dos encuestas en las que la distancia entre el primer y segundo lugar es más parecida a la diferencia reportada por el PREP son Ipsos Bimsa y OUE. Sin embargo, estas encuestas fueron levantadas al menos 12 y 25 días antes de la elección, respectivamente. Para aceptar que los resultados de estas dos encuestas son los que mejor reflejan las preferencias electorales, tendríamos que asumir que nadie cambió sus preferencias después de que las encuestas fueron levantadas, o que los cambios de preferencias de un partido hacia a otro fueron de la misma proporción y se contrarrestaron. Cada uno decidirá si éste es un supuesto creíble.

 

Dos alternativas para evaluar las encuestas

Existen al menos otras dos opciones para evaluar qué tan acertadas fueron las estimaciones hechas por las 11 empresas encuestadoras consideradas. La primera de ellas, más cercana a la idea original de Reporte Índigo, consisten en comparar la diferencia en el porcentaje de votos obtenidos por EPN y AMLO de acuerdo con el PREP (o los cómputos distritales, la diferencia es muy pequeña), respecto a la distancia mínima que de acuerdo con cada encuesta podría existir entre las preferencias del candidato puntero y su más cercano competidor (es decir, la diferencia entre el límite inferior del intervalo de confianza de EPN y el límite superior de AMLO).

Mientras que la distancia entre Peña Nieto y López Obrador es de 6.51% de acuerdo con el PREP (y de 6.62% según los cómputos distritales), cinco de las 11 encuestas –UNO TV/María de las Heras, Reforma, Covarrubias, OUE e Ipsos Bimsa– estimaron que la diferencia entre EPN y AMLO podía ser de 6% o menos. Es decir, el 45.5% de las encuestas consideradas por Reporte Índigo contemplaban la posibilidad de que la distancia entre los dos candidatos punteros fuera similar o menor a la que finalmente se produjo. Por otro lado, Consulta Mitofsky y El Sol de México/Parametría estimaron que la diferencia mínima entre ambos candidatos era de 8.9% y 9%, respectivamente, y las cuatro encuestas restantes reportaron diferencias mínimas de entre 10 y 12.5%.

Una segunda alternativa para evaluar estas encuestas consiste en analizar si los intervalos de confianza estimados para cada candidato incluyen el porcentaje de votos que finalmente éstos obtuvieron. Esta opción es más útil, me parece, no sólo porque es consistente con la idea de que las encuestas nos proporcionan estimaciones con inevitables márgenes de error, sino también porque nos permite evaluar las estimaciones de cada candidato por separado, así como detectar matices interesantes.

La siguiente gráfica, elaborada con las últimas estimaciones puntuales y los márgenes de error publicados por cada encuesta antes del 1 de julio, ilustra esta comparación. El eje vertical enlista cada una de las casas encuestadoras y el eje horizontal mide el porcentaje de votos estimado o recibido por cada candidato. Los intervalos de confianza de color amarillo representan los cálculos que cada encuesta hizo de las preferencias a favor de López Obrador y los verdes las estimaciones que corresponden a Peña Nieto. Mientras que la bolita que está justo en medio de los intervalos corresponde a la estimación puntual hecha para cada candidato (este es el dato que generalmente enfatizan las encuestas), las líneas verticales al final de los intervalos representan el límite inferior y el límite superior de cada estimación. Las dos líneas punteadas de color rojo que recorren la gráfica de arriba a abajo representan el porcentaje de votos obtenidos por AMLO (izquierda, con 31.59%) y EPN (derecha, con 38.21%) en los cómputos distritales.

 

La idea es que si la línea roja punteada que corresponde a cada candidato “cae” dentro del intervalo de confianza estimado por una encuesta, podemos concluir que dicha empresa hizo un cálculo acertado de las preferencias electorales a favor de ese candidato, aun cuando el estimador puntual (la bolita) se aparte del resultado final.

Siguiendo esta lógica, la gráfica revela que sólo dos encuestas –UNO TV/María de las Heras e Ipsos Bimsa– reportaron intervalos de confianza que incluyen los porcentajes de votos obtenidos por ambos candidatos. Los intervalos que Reforma y Covarrubias estimaron para el candidato de las izquierdas también contienen el porcentaje de votos obtenido por AMLO, y están muy cerca de incluir el porcentaje de votos de EPN. Es decir, cuatro de las 11 encuestas (36.3%) acertaron o estuvieron muy cerca de acertar el porcentaje de votos obtenidos por los dos candidatos punteros.

Tres encuestas más –OUE, Consulta Mitofksy y Parametría– reportaron un intervalo de confianza que incluye el resultado de AMLO, pero equivocaron la estimación del resultado de EPN por hasta +/- 3.2%. Por su parte, las estimaciones de las cuatro encuestas restantes –GEA ISA, BGC, Buendía y Laredo y Con Estadística– no fueron acertadas. Los intervalos de confianza reportados por estas empresas para AMLO y EPN no incluyen el porcentaje de votos obtenidos por dichos candidatos. Las cuatro encuestas subestimaron las preferencias a favor de López Obrador al menos entre 0.1 y 1.9% (esto considerando la diferencia entre 31.59% y el margen superior del tabasqueño en las encuestas), y sobreestimaron la intención de voto a favor de Peña Nieto al menos entre 2.9 y 5.7% (considerando la distancia entre 38.12%  y el margen inferior del priísta). Este tema ya ha sido destacado por Diego Valles-Jones.

La gráfica también ilustra importantes claroscuros. Mientras que siete de las 11 encuestas estimaron correctamente el intervalo de confianza de las preferencias a favor de AMLO, y todas acertaron en los cálculos para Josefina Vázquez Mota y Gabriel Quadri (los datos de estos dos candidatos no se incluyen en la gráfica), sólo dos encuestas estimaron correctamente las intenciones de voto a favor de EPN y dos más estuvieron muy cerca de hacerlo. Puesto de otra forma, la mayor parte de las encuestas calcularon correctamente las preferencias de voto de tres de los cuatro candidatos. El problema más serio tiene que ver con las estimaciones de las preferencias electorales a favor de Peña Nieto, tema que Jorge Buendía, Director de Buendía y Laredo, discutió hace unos días.

Es posible, como varios proponen, que estas diferencias se deban a que las encuestas fueron “cuchareadas”. Pero hay, cuando menos, cuatro otras posibles explicaciones. Primero, puede ser que las encuestas estuvieron mal hechas, pero no hubo dolo. Segundo, puede ser que las encuestas estuvieron bien hechas y un sector importante de la población cambió sus decisión en los últimos días de la elección. Este no es un fenómeno nuevo, como Alejandro Moreno ha documentado ya. Tercero, puede ser que las encuestas estuvieron bien hechas y un amplio sector de los indecisos decidió apoyar a AMLO. Cuarto, una combinación de las dos últimas opciones. Tendremos que esperar varios meses para que los primeros estudios cuidadosos y detallados nos ayuden a entender qué fue lo que pasó.

 

 

* Sebastián Garrido de Sierra es candidato a Doctor en Ciencia Política por la Universidad de California, Los Ángeles.

Close
Comentarios