Guía de pruebas de medición

El objetivo de esta guía es brindar orientación para ejecutar una prueba independiente de la API de Attribution Reporting de Privacy Sandbox. Para obtener más detalles, consulta el Artículo 12.

  • La medición de los resultados de los grupos de control y tratamiento en los diseños experimentales 1 y 2 de la CMA se aborda en la guía de pruebas de las APIs de Relevance, ya que el objetivo de esos experimentos es probar la eficacia del uso de Protected Audience y Topics. Para obtener más detalles, consulta el Artículo 11.

Antes de comenzar

Objetivos de evaluación y configuración del experimento propuesta

Objetivo 1: Determinar la eficacia de la API de Attribution Reporting para la generación de informes

Proponemos una configuración A/A para medir el impacto en los informes

  • Esta propuesta se alinea con la orientación de la CMA sobre la evaluación de las métricas basadas en conversiones. Para obtener más detalles, consulta el Artículo 21 y el Artículo 12.
  • Preferimos este método en lugar del modo A/B porque las pruebas de la API de Attribution Reporting (ARA) se pueden realizar midiendo simultáneamente las conversiones en el mismo conjunto de impresiones con dos metodologías de medición diferentes (cookies de terceros + datos de cookies de terceros y ARA + datos de cookies de terceros).
  • Un experimento A/A también aísla el impacto de la API de Attribution Reporting en la medición de conversiones (por ejemplo, evita cualquier cambio en los porcentajes de conversiones debido a la falta de cookies de terceros).

Puntos de análisis sugeridos

  • Elige un segmento de tráfico lo suficientemente grande como para obtener resultados significativos a nivel estadístico y que tenga cookies de terceros y APIs de Privacy Sandbox. Lo ideal es que sea todo el tráfico, excepto el modo B (que inhabilita las cookies de terceros).
    • Te recomendamos que excluyas el modo B del experimento A/A, ya que las cookies de terceros no estarán disponibles y no podrás comparar los resultados de la ARA con los resultados de la atribución basada en cookies de terceros.
    • Si deseas incluir el modo B, considera habilitar los informes de depuración para la porción de tráfico del modo B. Los informes de depuración te ayudarán a solucionar cualquier problema de configuración o implementación.
  • Si planeas realizar pruebas en un segmento más pequeño de tráfico, es probable que los resultados de las mediciones sean más ruidosos de lo esperado. Te recomendamos que, en tu análisis, notes qué fracción de tráfico se usó y si los resultados se basan en informes con ruido o sin ruido.
    • En el caso de los informes de resumen, es probable que los valores de resumen sean más bajos, y el servicio de agregación agregará ruido de la misma distribución independientemente del valor del resumen.
  • Prueba diferentes metodologías de medición en ese segmento de tráfico.
    • Control 1: Usar las metodologías de medición actuales (cookies de terceros y datos de cookies que no son de terceros)
    • Control 2 (opcional): Sin Privacy Sandbox ni cookies de terceros, es decir, solo datos de cookies que no son de terceros
      • Ten en cuenta que es posible que algunas cookies de terceros aún estén disponibles para algunos sitios. Para obtener resultados más precisos, no uses esas cookies de terceros para la medición en las metodologías de control 2 o de tratamiento.
    • Tratamiento: APIs de Privacy Sandbox y datos de cookies que no son de terceros
      • Ten en cuenta que es posible que algunas cookies de terceros aún estén disponibles para algunos sitios. Para obtener resultados más precisos, no uses esas cookies de terceros para la medición en las metodologías de control 2 o de tratamiento.

Métricas

  • Define qué métricas son adecuadas para que tu empresa mida los resultados y, luego, incluye una descripción de lo que significa la métrica y cómo se mide.
    • Te sugerimos que te enfoques en las dimensiones y métricas que son importantes para tus anunciantes. Por ejemplo, si tus anunciantes se enfocan en las conversiones por compras, mide los registros de conversiones para esas conversiones y el valor de compra.
  • Las métricas basadas en el recuento o la suma (por ejemplo, el porcentaje de conversiones) son más ideales para trabajar en comparación con el costo por (por ejemplo, el costo por conversión). En el caso del análisis A/A, las métricas de costo se pueden obtener por completo del recuento o la suma de los valores de conversión.
  • Especifica si las métricas se basan en informes a nivel del evento, informes de resumen o una combinación de ambos (y si se utilizaron informes de depuración).
  • Consulta las tablas de plantillas sugeridas para obtener orientación sobre cómo dar formato a los comentarios cuantitativos.

Análisis

  • Cobertura:
    • ¿Puedes realizar mediciones en un conjunto similar de usuarios en comparación con las cookies de terceros? ¿Observas una cobertura más alta (por ejemplo, con la app a la Web)?
    • ¿Puedes medir las conversiones (y las dimensiones o métricas) que más te interesan a ti o a tus anunciantes?
  • Comentarios cuantitativos
    • En los informes de anunciantes, por ejemplo, ¿qué porcentaje de conversiones clave podrías informar para ese anunciante o qué porcentaje de campañas cumple con una barra de calidad de los informes? (obtener una barra de calidad ayuda a ajustar las campañas con recuentos de conversiones pequeños).
    • Por ejemplo, ¿hay algunos anunciantes que dependen más o menos de las cookies de terceros para generar informes en la actualidad?
  • Otros comentarios cualitativos:
    • ¿Cómo afecta la ARA a la complejidad de la configuración de medición o atribución de los anunciantes?
    • ¿La ARA ayuda o dificulta a los anunciantes enfocarse en las métricas y los objetivos que les interesan?

Tablas de plantillas sugeridas para informar el impacto

Tabla 1:

Ejemplo de tabla de plantilla para informar los resultados experimentales a la CMA (tomado de la página 18, pero los verificadores deben considerar qué métricas son más significativas o factibles para proporcionar y adaptar la tabla según sea necesario).

Tratamiento en comparación con el control 1
Compara el estado final propuesto con el estado actual 		Tratamiento en comparación con el control 2
Compara el estado final propuesto sin ninguna API de PS. 		Control 2 en comparación con el control 1
Se compara la medición de conversiones con y sin cookies de terceros, sin ninguna API de PS.
Metodología de medición Comparar la medición de conversiones del tratamiento (ARA con datos de cookies propias) con el control 1 (cookies propias y de terceros) Comparar la medición de conversiones del tratamiento (ARA con datos de cookies que no son de terceros) con el control 2 (solo datos de cookies que no son de terceros) Comparar la medición de conversiones del control 2 (solo datos de cookies propias) con el control 1 (datos de cookies propias y de terceros)
Conversiones por dólar Efecto Efecto Efecto
Error estándar Error estándar Error estándar
Intervalo de confianza del 95% Intervalo de confianza del 95% Intervalo de confianza del 95%
Conversiones totales Efecto Efecto Efecto
Error estándar Error estándar Error estándar
Intervalo de confianza del 95% Intervalo de confianza del 95% Intervalo de confianza del 95%
Porcentaje de conversiones Efecto Efecto Efecto
Error estándar Error estándar Error estándar
Intervalo de confianza del 95% Intervalo de confianza del 95% Intervalo de confianza del 95%
(agrega tus propias métricas)
Tabla 2 (informes):

Ejemplo de tabla de plantilla para informar estadísticas descriptivas de las métricas en los grupos de tratamiento y control (tomado de la página 20, pero los verificadores deben considerar qué métricas son más significativas o factibles para proporcionar y adaptar la tabla según sea necesario).

Métrica Tratamiento
Medición de conversiones con la ARA y cualquier dato de cookies que no sean de terceros que uses 		Control 1
Medición de conversiones con cookies de terceros y cualquier dato de cookie que no sea de terceros que uses 		Control 2
Medición de conversiones solo con datos de cookies de terceros
Conversiones por dólar Media Media Media
Desviación estándar Desviación estándar Desviación estándar
Percentiles 25 y 75 Percentiles 25 y 75 Percentiles 25 y 75
Conversiones totales Media Media Media
Desviación estándar Desviación estándar Desviación estándar
Percentiles 25 y 75 Percentiles 25 y 75 Percentiles 25 y 75
Porcentaje de conversiones Media Media Media
Desviación estándar Desviación estándar Desviación estándar
Percentiles 25 y 75 Percentiles 25 y 75 Percentiles 25 y 75
(agrega tus propias métricas)

Objetivo 2: Determinar la eficacia de la API de Attribution Reporting para la optimización de ofertas

Te proponemos una configuración A/B para medir el impacto en la optimización de las ofertas.

  • Para medir el impacto en la optimización de ofertas, deberás entrenar dos modelos de aprendizaje automático diferentes y usarlos en dos segmentos de tráfico: un modelo entrenado en las metodologías de medición actuales (cookies de terceros + datos sin cookies de terceros) que se aplicará al grupo de control y un modelo entrenado en la API de Attribution Reporting + datos sin cookies de terceros que se aplicará al grupo de tratamiento.
  • El entrenamiento del modelo debe basarse en la mayor cantidad de tráfico que el verificador considere necesario para maximizar el rendimiento, incluso si el grupo de tratamiento es una porción más pequeña del tráfico y hay una superposición entre las poblaciones de entrenamiento (por ejemplo, usa el modelo de cookies de terceros existente que se entrena en todo el tráfico y entrena el modelo de ARA en todo el tráfico de ARA habilitado para el Objetivo 1).
    • Si envías resultados a la CMA, ten en cuenta si hay una diferencia significativa entre los segmentos de tráfico que se usan para entrenar diferentes modelos (por ejemplo, si los modelos basados en cookies de terceros se entrenan en el 100% del tráfico, pero los modelos basados en ARA solo se entrenan en el 1% del tráfico).
  • Si es posible, el entrenamiento de los modelos de ofertas de control y de tratamiento debe realizarse durante el mismo período.
  • Considera si debes entrenar y actualizar los modelos de ofertas de forma continua durante el experimento y, de ser así, si debes entrenar con la mayor cantidad de tráfico posible o solo con el tráfico de los grupos de tratamiento y control.
  • Los diferentes modelos deben usarse en segmentos de tráfico disjuntos como un experimento A/B. Para la asignación y aleatorización de usuarios en los grupos de tratamiento y control, te recomendamos que uses grupos de navegadores etiquetados facilitados por Chrome (Modo A) o que ejecutes tu propio experimento con conjuntos aleatorios de navegadores. No recomendamos usar el modo B, ya que la falta de cookies de terceros dificultará la generación de informes sobre las métricas basadas en conversiones.
    • Los grupos de navegadores facilitados por Chrome excluirán algunas instancias de Chrome, como los usuarios de Chrome Enterprise, en las que tus propios conjuntos aleatorios de navegadores podrían no excluir estas instancias de Chrome. Por lo tanto, debes ejecutar el experimento solo en grupos del modo A o solo en grupos que no sean del modo A o B para evitar comparar las métricas obtenidas en los grupos facilitados por Chrome con las métricas obtenidas fuera de ellos.
    • Si no usas grupos de navegadores etiquetados facilitados por Chrome (por ejemplo, si ejecutas el experimento en otro tráfico), haz lo siguiente:
      • Verifica que la división de usuarios en grupos de tratamiento y control sea aleatoria y no sesgada. Independientemente de la configuración del grupo de experimentos, evalúa las características de los grupos de tratamiento y control para verificar que sean comparables. (consulta la Sección 15)
      • Verifica que las características de los usuarios y la configuración de las campañas de los grupos de tratamiento y control sean las mismas (por ejemplo, usa ubicaciones geográficas similares en ambos grupos). (consulta el artículo 28).
        • Entre los ejemplos específicos, se incluyen los siguientes: verificar que se midan tipos de conversiones similares con el mismo período de atribución y la misma lógica de atribución, que las campañas se segmenten para públicos, grupos de intereses y ubicaciones geográficas similares, y que se usen textos de anuncios y formatos de anuncios similares.
      • √ que los tamaños de la población inicial para los grupos de tratamiento y de control sean lo suficientemente grandes como para tener flexibilidad en las ofertas y la experimentación.
    • Si usas grupos de navegadores etiquetados facilitados por Chrome (Modo A), Chrome se encarga de la asignación aleatoria de instancias del navegador Chrome a los grupos. Te recomendamos que, como antes, verifiques que la asignación aleatoria genere grupos imparciales o comparables para tus fines.

Puntos de análisis sugeridos

  • Te recomendamos definir los grupos de control y de tratamiento, y utilizar un modelo de aprendizaje automático diferente para la optimización de las ofertas de cada grupo:
    • Control 1: Usa el modelo de optimización de ofertas entrenado con las metodologías de medición actuales (cookies de terceros y datos de cookies que no son de terceros)
    • Control 2 (opcional): Usa el modelo de optimización de ofertas entrenado sin Privacy Sandbox ni cookies de terceros, es decir, solo datos de cookies que no son de terceros.
      • Ten en cuenta que es posible que algunas cookies de terceros aún estén disponibles para algunos sitios. Para obtener resultados más precisos, no uses esas cookies de terceros para la medición en las metodologías de control 2 o de tratamiento.
    • Tratamiento: Usa el modelo de optimización de ofertas entrenado en la API de Attribution Reporting y los datos de cookies que no son de terceros.
      • Ten en cuenta que es posible que algunas cookies de terceros aún estén disponibles para algunos sitios. Para obtener resultados más precisos, no uses esas cookies de terceros para la medición en las metodologías de control 2 o de tratamiento.

Métricas

  • Define qué métricas son adecuadas para que tu empresa mida los resultados y, luego, incluye una descripción de lo que significa la métrica y cómo se mide.
    • Por ejemplo, la métrica significativa podría ser la inversión (ingresos del publicador), que se alinea con la guía de la CMA para comprender el impacto de la baja de las cookies de terceros en los "Ingresos por impresión". Consulta el Artículo 19 para obtener más información.
  • Si generas informes sobre métricas basadas en conversiones, debes usar la misma metodología de medición para cada grupo para evitar las pruebas multivariablees (pruebas del impacto en la optimización y los informes en un experimento). Consulta las tablas de plantillas sugeridas para obtener orientación sobre cómo dar formato a los comentarios cuantitativos.
  • Considera otras formas de recopilar métricas sobre el impacto de la optimización de ofertas, por ejemplo, con la simulación de ofertas. ¿Hay alguna métrica simulada que sea útil para comprender el impacto de las cookies de terceros y la ARA en tus modelos de ofertas?
  • Especifica si las métricas se basan en informes a nivel del evento, informes de resumen o una combinación de ambos (y si se utilizaron informes de depuración).

Análisis

  • Cobertura:
    • ¿Puedes realizar mediciones en un conjunto similar de usuarios en comparación con las cookies de terceros? ¿Observas algún cambio en la cobertura (por ejemplo, con la aplicación a la Web)?
    • ¿Puedes medir las conversiones (y las dimensiones o métricas) que más te interesan a ti o a tus anunciantes?
  • ¿Cómo afectarían las diferencias entre los grupos lo siguiente?
    • Informes del anunciante, por ejemplo, qué porcentaje de conversiones clave podrías registrar.
    • Por ejemplo, el entrenamiento y la optimización simulan el impacto de diferentes datos de conversiones en el rendimiento del modelo.
  • Otros comentarios cualitativos:
    • ¿Cómo afecta la ARA a la complejidad de la configuración de optimización de ofertas de los anunciantes?
    • ¿La ARA ayuda o dificulta que los anunciantes se enfoquen en las métricas y los objetivos que les interesan?

Tablas de plantillas sugeridas para el impacto de las ofertas

Tabla 1: (ofertas)

Ejemplo de tabla de plantilla de resultados experimentales que los participantes del mercado deben enviar a la CMA (tomado de la página 18, pero los verificadores deben considerar qué métricas son más significativas o factibles para proporcionar y adaptar la tabla según sea necesario).

Tratamiento en comparación con el control 1
Compara el estado final propuesto con el estado actual 		Tratamiento en comparación con el control 2
Compara el estado final propuesto sin ninguna API de PS. 		Control 2 en comparación con el control 1
Se compara la optimización de ofertas con y sin cookies de terceros, sin ninguna API de PS.
Metodología de medición Para evitar las pruebas multivariablees, usa datos de cookies propias y de terceros para medir las métricas basadas en conversiones para ambos grupos de cada experimento.
Ingresos por impresión Efecto Efecto Efecto
Error estándar Error estándar Error estándar
Intervalo de confianza del 95% Intervalo de confianza del 95% Intervalo de confianza del 95%
(Agrega tus propias métricas)
Tabla 2 (ofertas):

Ejemplo de tabla de plantilla para informar estadísticas descriptivas de las métricas en los grupos de tratamiento y control (tomado de la página 20, pero los verificadores deben considerar qué métricas son más significativas o factibles para proporcionar y adaptar la tabla según sea necesario).

Tratamiento
Optimización de ofertas con la ARA y cualquier dato de cookies que no sean de terceros que uses 		Control 1
Optimización de ofertas con cookies de terceros y cualquier dato de cookies que no sean de terceros que uses 		Control 2
Optimización de ofertas solo con datos de cookies que no son de terceros
Metodología de medición Para evitar las pruebas multivariablees, usa datos de cookies de terceros y de cookies propias para medir las métricas basadas en conversiones en todos los grupos.
Ingresos por impresión Media Media Media
Desviación estándar Desviación estándar Desviación estándar
Percentiles 25 y 75 Percentiles 25 y 75 Percentiles 25 y 75
(agrega tus propias métricas)

Objetivo 3: Realizar pruebas de carga del servicio de agregación

Consulta Marco de trabajo de pruebas de carga del servicio de agregación.