­¿La crisis de las encuestas? (segundo acto)

Por: René Bautista (@rene_bautista) y Marco A. Morales (@marco_morales)

La tesis central de este texto – en dos actos (aquí el primero) – es que la supuesta “crisis de las encuestas” no es tal. Ciertamente existen diversos temas o “problemas” alrededor de las encuestas, pero es necesario dimensionar la complejidad de los mismos para entenderlos, cosa que ha sido difícil en la Fuenteovejuna que hemos presenciado en las últimas semanas.

La necesidad de contar con un diagnóstico integral de la contribución de diferentes actores a este “problema” nos motivó a redactar este texto. En la entrega anterior abordamos las causas de la presunta “crisis” vinculadas con políticos, ciudadanos y medios de comunicación. En esta entrega, hablaremos de las causas vinculadas con los propios encuestadores y presentamos una agenda más realista para enfrentar estos problemas.

Comencemos pues señalando lo evidente: en estricto sentido estadístico, una encuesta no puede juzgarse en función de haberle “atinado” o no al resultado de la elección, simplemente porque “atinarle” pudo haber sido producto de la casualidad. En metodología de investigación por encuestas, se parte del principio básico de que un cierto método, tras una serie repetida, infinita e independiente de mediciones, puede recuperar el verdadero valor poblacional de un parámetro (intención de voto por un partido, por ejemplo). Por esta simple razón, analizar la materialización de sólo una entre “n” potenciales materializaciones es, a todas luces, incorrecto y contribuye a oscurecer el debate, en lugar de dirigirlo a su mejora.

Dejando de lado que determinar quién “le atinó” al resultado durante la campaña es una discusión estéril, es probable que todas las encuestadoras hayan registrado – en alguna medida – los movimientos naturales en intención de voto durante la campaña en sus mediciones preelectorales – aun con sus sesgos metodológicos. En estricto sentido, las únicas mediciones que nos dirían algo sobre estimaciones acertadas son las encuestas de salida.

Una encuesta, por el contrario, puede juzgarse evaluando su metodología y si ella contribuye a minimizar el error estadístico y de muestreo. Por esa razón, de poco nos sirve tener encuestadores aprobados y reprobados, si esta calificación no motiva el aprendizaje colectivo de lecciones que mejoren el uso de encuestas electorales.

 

I.               Los encuestadores

Otra causa fundamental del “problema” de las encuestas se encuentra en los propios encuestadores. Es lugar común entre investigadores que emplean encuestas que la metodología siempre está en construcción, pues constantemente enfrenta nuevos retos, cambios en el entorno, o tecnologías a las cuales debe adecuarse. Por esa razón, los diferentes modos de realizar mediciones son (o deben ser) siempre sujetos de debate. Entender sus limitantes es (o debe ser) un ejercicio de reflexión constante. Los encuestadores siguen aprendiendo sobre su oficio (o deben hacerlo). El cuestionamiento de los supuestos sobre los que han trabajado es fundamental. Los encuestadores mexicanos, entre otras tantas cosas, están hoy aprendiendo el valor de la cautela.

Al pensar en encuestas, es importante recordar que para encuestar se necesita la interacción de una persona (el entrevistador) con otra persona (el encuestado), y que en una interacción humana, no siempre es posible estandarizar comportamientos. En las ciencias sociales como en las ciencias naturales, la mayor parte de las veces el simple hecho de tomar una medición, afecta el objeto que se mide. Las encuestas son ejercicios de medición y, por esta razón, importa el método que se emplea para realizar la medición. De ahí que sea importante desglosar aspectos poco recordados del método empleado en encuestas de opinión.

No resulta extraño escuchar a encuestadores discutir suponiendo que una encuesta con un gran número de casos y con datos recolectados mediante entrevistas estandarizadas es muy resistente a diversos tipos de errores. Aunque este supuesto pudiera aceptarse en la teoría, en la práctica requiere un gran esfuerzo lograrlo.

La idea acuñada en la estadística matemática que sugiere que un estudio tiende a ser más confiable conforme aumente el número de casos en una muestra, no aplica en su totalidad en las ciencias sociales. Estudios académicos realizados en el área de metodología de investigación desarrollada para encuestas por muestreo, muestran que tener un gran número de entrevistas no siempre se traduce en una mejor medición. Recabar más entrevistas requiere contratar, capacitar, supervisar y manejar a un importante número de personas que realizan el trabajo de campo. Como dicta el sentido común, es mucho más difícil mantener una supervisión estricta de 4,000 personas en campo que de 400. La diferencia entre ambos niveles de efectividad puede traducirse en sesgos.

La medición por encuestas usualmente busca que las personas que hacen la medición (los entrevistadores) se comporten exactamente de la misma forma en todas las entrevistas para evitar sesgos. Algunos investigadores de opinión han argumentado que las variaciones que pudieran ocurrir en el comportamiento de los entrevistadores, suceden aleatoriamente y se cancelan en el agregado.

No obstante, estudios académicos han demostrado que los entrevistadores —de manera advertida o inadvertida— modifican sus comportamientos durante la recolección de datos, y que no todos los errores ocurren de manera aleatoria. Cuando los errores ocurren en una dirección, la calidad de los resultados disminuye notoriamente produciendo sobreestimaciones o subestimaciones. De este modo, aspectos aparentemente menores —como el comportamiento de los entrevistadores— pueden llegar a causar serios problemas en la obtención de datos.

La forma en que los entrevistadores seleccionan a los participantes, los argumentos que se usan para convencer a los seleccionados para que reporten preferencias sin sesgos, la apariencia del entrevistador, la experiencia previa que tengan haciendo entrevistas, sus propias creencias e ideologías, aunado a otros elementos como el cuestionario, el día de la semana en que se recaba la información, la percepción pública del patrocinador de la encuesta, entre muchos otros, tiene una incidencia trascendental en la calidad de los resultados.

Cuando las casas encuestadoras, intentan llevar a cabo un número considerable de encuestas en periodos cortos de tiempo (sea una medición mensual, semanal o incluso diaria) enfrentan un reto de grandes proporciones. En una encuesta científica, idealmente se selecciona una persona al azar en una vivienda y se le hace una entrevista. Si esta persona no se encuentra, se regresa en repetidas ocasiones a la vivienda hasta encontrarla —lo cual puede tomar varias semanas—, o bien, tras muchos intentos se declara el caso como perdido y no se sustituye.

En las encuestas electorales, la presión del tiempo obliga a que los esquemas de medición científica no siempre sean los ideales. En ocasiones los ciudadanos que resultan seleccionados al azar de entre los habitantes de una vivienda, no están presentes al momento en que se intentó realizar la entrevista, o simplemente se rehúsan a participar. Algunas empresas encuestadoras permiten en sus protocolos el remplazo de los que fueron seleccionados originalmente por otros miembros del hogar que se encuentran presentes, o incluso por habitantes de viviendas aledañas.

Cuando los mecanismos de selección aleatoria tienen modificaciones, la calidad de la muestra puede debilitarse. Asimismo, el día de la semana en que se realiza el operativo de campo tiene un impacto importante. Por ejemplo, si una medición se hace principalmente entre semana, las personas más probables de estar en las viviendas son amas de casa, lo cual generaría una medición con opinión mayoritariamente de amas de casa, que es difícilmente representativa de la opinión nacional.

Algunos métodos son más proclives al error que otros. Por ejemplo, algunas empresas de opinión usan muestreo por cuotas como parte de su estrategia de recolección de datos, lo cual produce una muestra semi-probabilística, lo que puede poner en riesgo su representatividad. En esquemas de cuotas, se instruye al personal de campo a recabar entrevistas hasta llenar una cuota de personas de acuerdo con edad y género.

Aunque el uso de cuotas permite reproducir (de manera artificial) la distribución de la población objetivo, se deja que el entrevistador en el operativo de campo escoja de manera subjetiva al entrevistado; es decir, no se utiliza un mecanismo de selección aleatoria. En un esquema de cuotas usualmente solo importa que se cumplan los perfiles solicitados, no que la selección haya sido estrictamente aleatoria, con los consecuentes sesgos que ello implica.

Las metodologías se vuelven más vulnerables si se considera que no todas las empresas cuentan con una plantilla permanente de encuestadores. Dado que el trabajo de las casas encuestadoras es fluctuante a lo largo del año a través de todo el territorio nacional, en ocasiones se tienen que auxiliar de los servicios de campo prestados por empresas regionales para la recolección de datos en diferentes zonas. Supervisar las actividades de campo es particularmente importante, especialmente si han subcontratado.

Cada uno de los encuestadores mexicanos se reconocerá en estas metodologías, y en sus limitaciones. En tanto que este texto no se ocupa de consecuencias, sino de causas, seguimos creyendo que nos sirve de muy poco, como país, tener encuestadores con taches y palomitas si, en el fondo, continúan utilizando los mismos métodos sin actualizarlos constantemente.

Sin embargo, estos aspectos decisivos – en su mayoría – no aparecen en las notas metodológicas que se publican, sino en los protocolos internos de cada encuestador que rara vez se publican. En lugar de tener apariciones públicas de encuestadores explicando los aspectos externos a su método que explican los resultados que observamos durante el periodo electoral, deberíamos haber tenido a encuestadores explicando las potenciales limitaciones de los métodos que emplean. Aquí es donde debemos plantear la pregunta más relevante sobre los encuestadores mexicanos: si conocen estas limitaciones en sus métodos ¿por qué continúan utilizándolos? Por el contrario, si no las conocen ¿por qué no se preocupan por utilizar mejores metodologías?

Otro de los retos que enfrentan los encuestadores es comunicar de manera eficiente aspectos técnicos, metodológicos y obviamente sus resultados para que su información no sea distorsionada. Esto se vuelve fundamental cuando existe divergencia en los resultados de varias encuestas presentadas alrededor de las mismas fechas. Como es altamente probable que las diferencias (o semejanzas) en resultados se deban a diferencias (o semejanzas) en protocolos de investigación (los cuales pueden ser más o menos estrictos), en lugar de una ordinaria manipulación, es vital comunicar que tales diferencias (o semejanzas) existen.

La forma en que las casas encuestadoras reportan sus datos también pueden contribuir a la confusión en la interpretación de los resultados. Algunas reportan datos puntuales o porcentajes específicos, mientras que otras reportan intervalos de confianza o rangos numéricos dentro de los cuales se encuentra el resultado “más probable”.

Dada la variedad de reportes, la lectura que se hace de ellos es muy diversa. Por ejemplo, explicaciones inadecuadas de los “intervalos” de una estimación pueden generar la creencia – como sucedió – que algún candidato lleva la delantera, mientras que otras interpretaciones llevarían a concluir que hay un empate técnico.

En este aspecto, también, hay algo que señalar sobre el comportamiento de muchos encuestadores. Comunicar implica transmitir información – en este caso – con la menor distorsión posible. Sin embargo, muchos encuestadores han terminado por confundir “comunicar” con “dar nota”, cuando evidentemente son procesos distintos. Si un encuestador decide cruzar la delgada línea que le separa del medio de comunicación, debe también asumir su responsabilidad y ser juzgado por ello.

Los encuestadores comienzan a comprender —aunque no siempre a reconocer en público— que algunos aspectos de las metodologías y del reporte de resultados empleados en el pasado no son tan adecuados como se pensaba. Comienzan a darse cuenta que elementos aparentemente menores en años anteriores, son críticos ahora.

En la medida en que las encuestadoras tengan un mejor entendimiento de los mecanismos que impactan en la calidad de las mediciones y mejoren la comunicación de su trabajo, estarán mejor posicionados para realizarlo. Es de esperarse entonces que continúen los debates entre la comunidad de encuestadores como parte de su propia curva de aprendizaje. Es de esperarse también, que continúen experimentando con mejores formas de realizar mediciones. Ese debate y el aprendizaje —sin duda sano— que genera, paradójicamente se tiende a interpretar como el reflejo de un “problema” con las encuestas.

 

II.             Conclusiones

Es claro que la supuesta “crisis de las encuestas” en México es el resultado una curva de aprendizaje de varios actores. En materia de encuestas, importa cómo se hacen, cómo se comunican, cómo se utilizan y cómo se consumen. Para este momento queda claro que ni percibimos que exista (o haya existido) un complot de los encuestadores para manipular las encuestas, ni vemos un regreso a la edad de piedra. Por el contrario, hemos descrito la confluencia de factores que interactúan en la investigación de opinión pública durante las elecciones y que causan estas interpretaciones.

Es importante entender también que el aprendizaje que estamos viviendo no es parte de la “excepcionalidad mexicana”. El aprendizaje constante de las experiencias electorales es parte de una normalidad democrática, tal como sucedió, por ejemplo, en Estados Unidos en el año 2000 luego del llamado “fiasco” en el que las cadenas televisivas —utilizando encuestas de salida— fueron incapaces de dar certeza al resultado en Florida en la elección presidencial.

Sin embargo, es importante tener en mente que uno de los elementos centrales para mantener la cadena de aprendizaje es la autocrítica constante de todos los actores. Sin ella, es imposible que la investigación por medio de encuestas en México genere lecciones útiles. En otras democracias, por ejemplo la estadounidense, es emblemático que los encuestadores realicen encuentros constantes de manera crítica y abierta a través de la Asociación Americana de Investigación de Opinión Pública (AAPOR).

Ese esfuerzo ha logrado que en varias décadas, la reflexión y la crítica constante entre colegas sea ya parte del proceso de aprendizaje. En el caso estadunidense, es a través de reuniones nacionales y regionales, además de foros virtuales y trabajos en comités, que se ha logrado formar un espacio de reflexión y análisis sobre las experiencias que cada uno de sus agremiados ha tenido. AAPOR incluso promueve seminarios dirigidos a periodistas para mejorar su entendimiento sobre las encuestas.

Si bien en México contamos con asociaciones que agrupan a encuestadores y se preocupan por mejorar el posicionamiento de los investigadores de opinión, aún tienen mucho trabajo por realizar para ayudar generar estos espacios de reflexión y análisis constante. Si algo queda claro de la discusión que presentamos, es que la solución al “problema” —por su complejidad y multifactorialidad— provendrá de todos los actores involucrados.

La solución difícilmente vendrá de una mayor regulación a través del IFE. Más leyes no son sinónimo de mejores metodologías de investigación y, mucho menos, de una mejor aplicación en campo. Tampoco conducirían necesariamente a espacios de reflexión de los distintos actores involucrados. Sería un despropósito que el IFE utilizara recursos para supervisar operativos de recolección de datos en campo de empresas particulares. La fortaleza del IFE no se encuentra ahí, pues carece de la capacidad técnica y humana para hacerlo.

Por supuesto, el IFE podría contribuir desde un ángulo distinto a mejorar la calidad de los ejercicios electorales. Por ejemplo, la Dirección Ejecutiva de Capacitación Electoral y Educación Cívica, en conjunto con las asociaciones profesionales de encuestadores, e incluso universidades, podría desarrollar materiales de información para explicar al público la naturaleza y alcances de las encuestas, a los medios de comunicación la manera de comunicarlas éticamente y a los políticos a reconsiderar la manipulación en la interpretación de las encuestas como un ataque negativo a otros candidatos.

Una solución tampoco vendrá del retiro de los medios de comunicación de la discusión sobre las encuestas, o de “despedir” investigadores de opinión serios en el país. Por el contrario, la profesionalización de los medios de comunicación en estos temas es indispensable para mejorar el uso público que le dan a las encuestas electorales en México.

La solución al “problema” de las encuestas esta en todos los actores, comenzando por los que hemos señalado. Es mediante una participación más activa de los medios de comunicación para procurar conocer de mejor manera los temas que comunican. Es mediante una discusión más activa y más recurrente de las asociaciones profesionales de investigación en México (como por ejemplo la AMAI o el Consejo de Investigadores de Opinión Pública) para generar la crítica constructiva entre investigadores de opinión. Es mediante la seria discusión teórica y experimental de metodologías de investigación y recolección de datos en las universidades. En fin, la tan mal llamada “crisis de las encuestas” es en realidad la curva de aprendizaje que comenzamos a tener en nuestra democracia mexicana.

 

*Rene Bautista es consultor en metodologías de investigación por encuestas en NORC at the University of Chicago. Marco A. Morales es profesor asociado en el Instituto Tecnológico Autónomo de México (ITAM).

 

Las opiniones vertidas por los autores se hacen a título personal, y no reflejan necesariamente la posición de las instituciones con las cuales están afiliados.

 

Close
Comentarios