En temas de encuestas, es tiempo de reflexionar

El balance del trabajo realizado por las encuestadoras durante las campañas 2018 fue positivo, sin embargo para Defoe hay aspectos que trabajar con relación a la metodología para ser aún más precisos en las mediciones.

Después de la elección presidencial, la industria de las encuestas en nuestro país ha aprovechado la oportunidad para dar a conocer los saldos positivos de las múltiples mediciones preelectorales. La discusión se ha centrado principalmente en dar a conocer cuáles fueron las empresas más precisas en las estimaciones previas al día de la elección o en las distintas encuestas de salida. Sin embargo, poco se ha dicho sobre lo que las empresas de encuestas aprendimos en el pasado proceso electoral relacionado con aspectos principalmente metodológicos. Así que quiero aprovechar esta coyuntura para platicar cómo es que con El Tercer Panel Rotativo de Defoe tratamos de sacudirle el polvo a las viejas metodologías de hacer encuestas en nuestro país.

Los objetivos de nuestro tercer panel

El principal objetivo del panel rotativo Defoe 2018 fue continuar con experimentos relacionados con opinión pública y aspectos metodológicos de encuestas para generar una herramienta innovadora de bajo costo para tener diversas alternativas en la industria de encuestas en nuestro país. Este panel se centró en dos esfuerzos:

1) Evaluar aspectos metodológicos como el estudio de la no respuesta; conocer la edad, el género o la experiencia previa en encuestas de salida de los entrevistadores impactan en la recolección de información; así como la evaluación de diversos experimentos.

2) Analizar aspectos específicos de opinión pública como las tendencias en la preferencia electoral de los candidatos a la presidencia de la República durante la contienda electoral 2018; analizar el impacto que tuvieron eventos coyunturales durante la campaña; generar una serie para medir temas de política pública e identificar la trascendencia de las “fake news”, entre otros.

¿Qué pasó con la preferencia electoral?

A diferencia de otras series o encuestas preelectorales, en nuestro panel la preferencia electoral no es el dato central. La intención de voto de los datos mostrados por Defoe debe ser analizada bajo la óptica de las limitaciones del tamaño de nuestra muestra: cada encuesta semanal fue de 400 casos. A pesar de esta limitante, se identificaron de manera eficiente dos conclusiones generales: el claro primer lugar de Andrés Manuel López Obrador y; fluctuaciones en la intención de voto por Ricardo Anaya y José Antonio Meade que los engarzó en una lucha por el segundo y tercer lugar.

Al considerar que el margen de error de nuestra encuesta es el 5%, es posible observar que los resultados de la elección estuvieron dentro de los márgenes de error previstos en nuestra serie. En la última medición del 8 al 10 de junio, se registró un 20% de preferencia al candidato Ricardo Anaya, 24% para José Antonio Meade, 52% para Andrés Manuel López Obrador y un 3% para Jaime Rodríguez Calderón “El Bronco”. El conteo rápido del INE posicionó a Ricardo Anaya apenas a dos/tres puntos de nuestro último resultado; en el caso de Meade, cuenta con una diferencia de 4 puntos (haciendo uso del margen inferior de nuestro dato); la diferencia para AMLO es entre uno y dos puntos y finalmente para El Bronco es de 2 puntos (ver resultados en tabla).

Para finalizar el Tercer Panel Rotativo, Defoe realizó una encuesta de salida. Esta encuesta, igual que las mediciones semanales contó con la limitante del tamaño de la muestra pequeña (50 puntos muestrales) y un total de 1,783 entrevistas. Sin embargo, los resultados fueron acertados (ver resultados en tabla). Esta encuesta de salida permite conocer otras motivaciones del votante mexicano que acudió a las urnas en julio del 2018; lo anterior, debido a que incluye temas como ¿Votando en busca de democracia o de cambio?, votar por el cambio: una explicación multifactorial y ¿Quién votó por AMLO?. Adicionalmente, la encuesta de salida de Defoe contó con un cuestionario único que contiene preguntas no solo del tipo electoral, sino también ayuda a conocer la percepción de los mexicanos frente a la nueva conformación del Congreso y la democracia mexicana.

¿Qué pasó con la coyuntura?

Con esta serie medimos temas de coyuntura que impactaron durante la campaña. Encontramos que, durante todo el proceso las noticias que tuvieron mayor audiencia fueron: los ataques a Siria (65%), el primer debate presidencial (61%), la renuncia de Margarita Zavala a su candidatura (61%), la acusación de Meade sobre Nestora Salgado de secuestradora (62%), la división de familias migrantes en Estados Unidos (79%) y el triunfo de la selección mexicana sobre Alemania (73%).

De la misma forma, esta serie registró, por primera vez, el impacto que tiene el conocimiento sobre las “fake news” durante una campaña presidencial y fue posible identificar que las “fake news” tuvieron un bajo impacto entre la población mexicana. En general, estas noticias no pasaron del 15% del conocimiento en la población, siendo la de mayor conocimiento (17%) donde se decía que al Estado de México habían llegado boletas electorales incompletas y con sellos violados.

También evaluamos políticas públicas

El Panel Rotativo Defoe 2018 contó con una sección de preguntas sobre política pública que busca iniciar una serie que permita conocer cómo irá cambiando opinión pública durante los siguientes años. Se generó información sobre distintos temas que van desde temas de educación, seguridad, migración, corrupción, jóvenes hasta aspectos relacionados con el medio ambiente y biodiversidad.

Lo innovador de medir en tiempo real los debates

En el panel rotativo realizamos una metodología experimental donde por primera vez en México se realizaron mediciones durante los debates que permitieron evaluar aspectos específicos de estos eventos. Lo anterior, implicó generar una estrategia de recolección y transmisión de datos por parte de los encuestadores durante el tiempo en el que se desarrolló el debate.

La principal diferencia es que en los datos recolectados no se preguntó por quién ganaría o quién ganó el debate. El interés de este levantamiento fue desarrollar una metodología para que los encuestadores visitaran hogares del país y que de manera eficiente recolectarán información sobre los debates en tiempo real; así como conocer quién esta atento a los debates y cuál era su posición frente a lo que se estaba comentando en ese momento. Encontramos que, en los tres debates, alrededor del 75% los estaba viendo y mayormente seguían la transmisión a través de la televisión. En las tres mediciones se coincidió en que era el INE quien debía organizar los debates y que debía ser un periodista el responsable de moderar el debate bajo una participación obligatoria de los candidatos.

¿Y la metodología?

Más allá de las ventajas metodológicas del Panel para explorar la opinión pública mexicana y de experimentar metodologías nuevas para medir los debates presidenciales, el panel también sirvió para mejorar la manera en la que hacemos encuestas en México. Dentro de cada medición se realizaron experimentos para identificar posibles explicaciones a la no respuesta y experimentos para conocer las percepciones de entrevistadores que participan en una exit poll y ver cómo afectan las mediciones.

A pesar de que la industria de las encuestas salió bien librada esta pasada elección presidencial vale la pena reflexionar sobre lo que aprendimos y cómo es que queremos mejorar la manera en la que hacemos encuestas.

 

@defoemx

 

Close
Comentarios