Problemas de medición en el incremento de conversiones en Facebook, al menos durante 12 meses

Durante casi un año, los anunciantes que han utilizado la herramienta de estudios de incremento de conversiones de Facebook, sin saberlo, han estado recibiendo datos erróneos.

Un error de código provocó que la métrica de conversiones alcanzadas no se contabilizara en las pruebas de incremento de conversiones realizadas en Facebook por varios miles de anunciantes entre el 15 de agosto de 2019 y el 31 de agosto de este año… Los anunciantes utilizan los estudios de aumento de conversiones, una herramienta gratuita proporcionada por Facebook, para medir el incremento de sus anuncios de Facebook y tomar decisiones sobre su gasto en Facebook. Para los anunciantes afectados, esta información era errónea.

Facebook solucionó el error el 1 de septiembre y está "trabajando con los anunciantes afectados", según ha dicho un portavoz de Facebook a AdExchanger, pero Facebook no alertó a los compradores sobre el problema hasta la semana pasada.

Esto está lejos del primer paso en falso relacionado con la medición de Facebook, que incluye un caso de alto perfil de métricas de video mal calculadas en 2016 y una sobreestimación de su alcance el año siguiente.

¿Qué ha pasado?

Específicamente, el error fue causado por una migración de la canalización de datos en agosto del año pasado que afectó la forma en que ciertas impresiones se registraron en los sistemas de incremento de conversiones de Facebook. Como resultado, Facebook subestimó el número de conversiones de personas que estuvieron expuestas a impresiones en aplicaciones de Facebook.

En otras palabras, Facebook calculó mal la cantidad de ventas provenientes de personas que vieron un anuncio, que es una proporción clave necesaria para medir la incrementalidad, porque se usa para calcular otras métricas, incluido el porcentaje de incremento de conversión, que es la diferencia en conversiones entre personas que vieron y no vieron anuncios durante una prueba.

Un token

Facebook ofrece beneficios en forma de créditos publicitarios, o, en el lenguaje de Facebook, un "cupón único", que debe utilizarse antes del 31 de marzo de 2021, pero solo para los anunciantes que se vieron "afectados significativamente" por la migración de la canalización de datos, gran problema.

Los cupones se entregan caso por caso según el uso que haga el anunciante del producto de aumento de conversiones y cuánto afectó el error a los resultados de sus pruebas de conversión, pero aquellos anunciantes que Facebook determinó que no se han visto afectados de manera significativa por el error no obtienen nada.

De acuerdo con las preguntas frecuentes que los representantes de medición de Facebook enviaron a los anunciantes afectados la semana pasada, Facebook llegó a la cantidad específica para cada cupón al "evaluar el gasto incremental potencial después de los resultados del estudio", teniendo en cuenta cómo de "incremental las conversiones pueden haber cambiado como resultado de estos problemas ”y cómo esto puede haber afectado los esfuerzos de marketing en Facebook.

Pero sin hablar realmente con los anunciantes para comprender sus estrategias de marketing, y no parece que Facebook lo supiera, "no estoy realmente seguro de cómo su equipo de ciencia de datos lo sabría realmente", dijo una agencia que representa a un anunciante afectado.

Esta falta de transparencia es parte del curso de la herramienta de conversión de Facebook, que tiene la reputación de ser un poco una caja negra, dijo el ejecutivo, y que en realidad estaba más desconcertado por la cantidad "simbólica" del cupón recibido por uno de los clientes de la agencia: decenas de miles de dólares para un anunciante que había realizado múltiples pruebas de incremento de conversiones y gastó millones de dólares en los medios de Facebook entre agosto de 2019 y agosto de 2020.

Aunque la herramienta de estudios de aumento de conversiones de Facebook es gratuita, el resultado de estos estudios a menudo influye directamente en la cantidad de dinero que gasta un anunciante en Facebook.

"Si proporciona una herramienta de forma gratuita como empresa de medios y sus datos se utilizan para comprar anuncios, entonces su responsabilidad debería ser el costo de los medios, no lo que decide que valen los errores de medición", dijo el ejecutivo. "En este caso, la herramienta es gratuita y supongo que obtuviste lo que pagaste".

Lo siento mucho, no volverá a pasar

Según el correo electrónico que Facebook envió a los titulares de las cuentas afectadas la semana pasada, la demora entre el descubrimiento del problema del aumento de conversiones a fines de agosto y mediados de noviembre, que es cuando avisó a los anunciantes, se debió a que Facebook quería hacer su "debida diligencia para mejorar comprender el alcance del problema ”y evaluar el impacto en los estudios y métricas individuales. Pero ese argumento no funciona con algunos compradores, a pesar de que el error no se relaciona directamente con una métrica facturable.

"La gente siguió gastando dinero después de que Facebook supo que había un error, porque no se les informó", dijo un titular de cuenta que recibió el correo electrónico de disculpa de Facebook y estaba profundamente frustrado por su "tono vago y corporativo", pero pidió permanecer en el anonimato. "La línea de asunto del correo electrónico era muy de Facebook", dijo el titular de la cuenta. "No fue, '¡Dios mío, nos enojamos y lo sentimos!', Fue 'Próxima actualización de los estudios de aumento de conversiones de Facebook'".

Durante la investigación de Facebook sobre el error original, también se encontró y reparó dos problemas técnicos adicionales, separados y, dice, "más pequeños" que afectaron las métricas basadas en conversiones para algunas pruebas de efectividad. El primero tenía que ver con la probabilidad de ganar entre el 21 de septiembre y el 13 de noviembre para los estudios multicelulares, que es cuando una audiencia objetivo se divide en varias células, cada una con sus propios grupos de prueba y control. Un segundo fallo causó el conteo deficiente de los datos que informan los modelos estadísticos de Facebook, lo que llevó a Facebook a subestimar las conversiones web para algunos estudios que comenzaron el 15 de junio y terminaron el 26 de julio.

Facebook dice que desde que descubrió los errores, ha implementado "medidas adicionales" para monitorear y detectar mejor los problemas con sus sistemas de medición de elevación en el futuro.