Guía de pruebas de medición

El objetivo de esta guía es brindar orientación para ejecutar una prueba independiente de la API de Attribution Reporting de Privacy Sandbox. Para obtener más detalles, consulta la Sección 12.

• La medición de los resultados de los grupos de control y de tratamiento en los diseños experimentales 1 y 2 de la CMA se aborda en la guía de pruebas de las APIs de relevancia, ya que el objetivo de esos experimentos es probar la eficacia del uso de Protected Audience y Topics. Para obtener más detalles, consulta la Sección 11.

Antes de comenzar

• Revisa la guía para obtener orientación sobre cómo configurar la API de Attribution Reporting.
• Revisa la guía de pruebas de la CMA: Nota sobre experimentos (noviembre de 2022), Guía de pruebas (junio de 2023) y Guía de pruebas adicional (octubre de 2023).

Objetivos de evaluación y configuración del experimento propuesto

Objetivo 1: Determinar la eficacia de la API de Attribution Reporting para la generación de informes

Proponemos una configuración de A/A para medir el impacto en los informes

• Esta propuesta se alinea con la orientación de la CMA sobre la evaluación de las métricas basadas en conversiones. Para obtener más detalles, consulta el Artículo 21 y el Artículo 12.
• Preferimos este método al Modo A/B porque la prueba de la API de Attribution Reporting (ARA) se puede realizar midiendo simultáneamente las conversiones en el mismo conjunto de impresiones con dos metodologías de medición diferentes (cookies de terceros y datos sin cookies de terceros, y ARA y datos sin cookies de terceros).
• Un experimento A/A también aísla el impacto de la API de Attribution Reporting en la medición de conversiones (por ejemplo, evita cualquier cambio en los porcentajes de conversiones debido a la falta de cookies de terceros).

Puntos de análisis sugeridos

• Elige una porción del tráfico que sea lo suficientemente grande como para obtener resultados estadísticamente significativos y que tenga cookies de terceros y APIs de Privacy Sandbox. Lo ideal es que se incluya todo el tráfico, excepto el del modo B (que inhabilita las cookies de terceros).
  • Te recomendamos que excluyas el modo B del experimento A/A, ya que las cookies de terceros no estarán disponibles y no podrás comparar los resultados del ARA con los resultados de la atribución basada en cookies de terceros.
  • Si deseas incluir el modo B, considera habilitar los informes de depuración para la división del tráfico del modo B. Los informes de depuración te ayudarán a solucionar cualquier problema de configuración o implementación.
• Si planeas realizar pruebas en una porción más pequeña del tráfico, es probable que recibas resultados de medición más ruidosos de lo esperado. Te recomendamos que indiques en tu análisis qué fracción del tráfico se usó y si informas los resultados en función de informes con ruido o informes de depuración sin ruido.
  • En el caso de los informes de resumen, es probable que los valores de resumen sean más bajos, y el Servicio de agregación agregará ruido de la misma distribución, independientemente del valor de resumen.
• Probar diferentes metodologías de medición en esa porción del tráfico
  • Control 1: Usa las metodologías de medición actuales (datos de cookies de terceros y de cookies que no son de terceros)
  • (Opcional) Control 2: Sin Privacy Sandbox y sin cookies de terceros, es decir, solo datos que no sean de cookies de terceros
    • Ten en cuenta que es posible que algunos sitios aún tengan disponibles cookies de terceros. Para obtener los resultados más precisos, no uses esas cookies de terceros para la medición en las metodologías de Control 2 o Tratamiento.
  • Tratamiento: APIs de Privacy Sandbox y datos de cookies que no son de terceros
    • Ten en cuenta que es posible que algunos sitios aún tengan disponibles cookies de terceros. Para obtener los resultados más precisos, no uses esas cookies de terceros para la medición en las metodologías de Control 2 o Tratamiento.

Métricas

• Define qué métricas son adecuadas para que tu empresa mida los resultados y, luego, incluye una descripción de lo que significa cada métrica y cómo se mide.
  • Te sugerimos que te enfoques en las dimensiones y métricas que son importantes para tus anunciantes. Por ejemplo, si tus anunciantes se enfocan en las conversiones por compras, mide los recuentos de conversiones para esas conversiones y el valor de compra.
• Las métricas basadas en el recuento o la suma (por ejemplo, el porcentaje de conversiones) son más adecuadas para trabajar que las métricas de costo por (por ejemplo, el costo por conversión). Para el análisis A/A, las métricas de costos se pueden derivar por completo de los valores de conversión de recuento o suma.
• Especifica si las métricas se basan en informes a nivel del evento, informes de resumen o una combinación de ambos informes (y si se usaron informes de depuración).
• Consulta las tablas de plantillas sugeridas para obtener orientación sobre cómo dar formato a los comentarios cuantitativos.

Análisis

• Cobertura:
  • ¿Puedes realizar mediciones en un conjunto de usuarios similar al de las cookies de terceros? ¿Observas una mayor cobertura (por ejemplo, con la vinculación de la app al sitio web)?
  • ¿Puedes medir las conversiones (y las dimensiones o métricas) que más les interesan a ti o a tus anunciantes?
• Comentarios cuantitativos
  • En los informes de los anunciantes, por ejemplo, ¿qué porcentaje de las conversiones clave podrías informar para ese anunciante o qué porcentaje de las campañas cumplen con un estándar de calidad de los informes (obtener un estándar de calidad ayuda a ajustar las campañas con recuentos de conversiones pequeños)?
  • Por ejemplo, si se segmentan por anunciante, ¿hay algunos que dependen más o menos de las cookies de terceros para generar informes hoy en día?
• Otros comentarios cualitativos:
  • ¿Cómo afecta el ARA la complejidad de la configuración de medición o atribución de los anunciantes?
  • ¿El ARA ayuda o dificulta a los anunciantes a enfocarse en las métricas y los objetivos que les interesan?

Tablas de plantillas sugeridas para informar el impacto

Tabla 1 (informes):

Ejemplo de tabla de plantilla para informar los resultados experimentales a la CMA (tomado de la página 18, pero los evaluadores deben considerar qué métricas son más significativas o factibles de proporcionar y adaptar la tabla según sea necesario).

Tabla 2 (informes):

Tabla de plantilla de ejemplo para informar estadísticas descriptivas de las métricas en los grupos de tratamiento y de control (tomada de la página 20, pero los verificadores deben considerar qué métricas son más significativas o factibles de proporcionar y adaptar la tabla según sea necesario).

Objetivo 2: Determinar la eficacia de la API de Attribution Reporting para la optimización de ofertas

Proponemos una configuración de prueba A/B para medir el impacto en la optimización de las ofertas.

• Para medir el impacto en la optimización de ofertas, deberás entrenar dos modelos de aprendizaje automático diferentes y usarlos en dos segmentos del tráfico: un modelo entrenado con las metodologías de medición actuales (cookies de terceros y datos que no son de cookies de terceros) para aplicarlo al grupo de control, y un modelo entrenado con la API de Attribution Reporting y datos que no son de cookies de terceros para aplicarlo al grupo de tratamiento.
• El entrenamiento del modelo debe basarse en la mayor cantidad de tráfico que el verificador considere necesaria para maximizar el rendimiento, incluso si el grupo de tratamiento es una porción más pequeña del tráfico y hay superposición entre las poblaciones de entrenamiento (por ejemplo, usa el modelo de cookies de terceros existente que se entrena con todo el tráfico y entrena el modelo de ARA con todo el tráfico de ARA habilitado para el objetivo 1).
  • Si envías resultados a la CMA, ten en cuenta si hay una diferencia significativa entre las segmentaciones de tráfico que se usan para entrenar diferentes modelos (por ejemplo, si los modelos basados en cookies de terceros se entrenan con el 100% del tráfico, pero los modelos basados en ARA solo se entrenan con el 1% del tráfico).
• Si es posible, el entrenamiento de los modelos de ofertas de tratamiento y de control debe realizarse durante el mismo período.
• Considera si debes entrenar y actualizar continuamente los modelos de ofertas durante el experimento y, si lo haces, si debes entrenar con la mayor cantidad de tráfico posible o solo con el tráfico de los grupos de tratamiento y de control.
• Los diferentes modelos se deben usar en segmentos de tráfico disjuntos como un experimento A/B. Para la aleatorización y la asignación de usuarios en los grupos de tratamiento y de control, te recomendamos que uses grupos de navegadores etiquetados facilitados por Chrome (Modo A) o que ejecutes tu propio experimento con conjuntos aleatorios de navegadores. No recomendamos usar el modo B, ya que la falta de cookies de terceros dificultará la generación de informes sobre las métricas basadas en conversiones.
  • Los grupos de navegadores facilitados por Chrome excluirán algunas instancias de Chrome, como los usuarios de Chrome Enterprise, en los que tus propios conjuntos aleatorios de navegadores no excluyan estas instancias de Chrome. Por lo tanto, debes ejecutar tu experimento solo en grupos del modo A o solo en grupos que no sean del modo A ni del modo B para evitar comparar métricas obtenidas en grupos facilitados por Chrome con métricas obtenidas fuera de los grupos facilitados por Chrome.
  • Si no usas grupos de navegadores etiquetados facilitados por Chrome (por ejemplo, si ejecutas el experimento en otro tráfico), haz lo siguiente:
    • Verifica que la división de usuarios en grupos de tratamiento y de control sea aleatoria y no esté sesgada. Independientemente de la configuración del grupo experimental, evalúa las características de las ramas de tratamiento y de control para verificar que los grupos de tratamiento y de control sean comparables. (Consulta la Sección 15).
    • Verifica que las características del usuario y la configuración de la campaña de los grupos de tratamiento y control sean las mismas (por ejemplo, usa ubicaciones geográficas similares en ambos grupos). (Consulta la Sección 28).
      • Entre los ejemplos específicos, se incluyen los siguientes: verificar que se midan tipos de conversiones similares con la misma ventana de atribución y la misma lógica de atribución, que las campañas se segmenten para públicos, grupos de intereses y ubicaciones geográficas similares, y que se utilicen textos y formatos de anuncios similares.
    • √ Los tamaños de la población inicial de los grupos de tratamiento y de control son lo suficientemente grandes como para tener flexibilidad en las ofertas y la experimentación.
  • Si se usan grupos de navegadores etiquetados facilitados por Chrome (Modo A), Chrome se encarga de la aleatorización de las instancias del navegador Chrome en los grupos. Como antes, te recomendamos que verifiques que la aleatorización genere grupos comparables y sin sesgos para tus fines.

Puntos de análisis sugeridos

• Te recomendamos que definas grupos de control y de tratamiento, y que uses un modelo de aprendizaje automático diferente para la optimización de las ofertas en cada grupo:
  • Control 1: Usa el modelo de optimización de ofertas entrenado con las metodologías de medición actuales (datos de cookies de terceros y de cookies que no son de terceros).
  • (Opcional) Control 2: Usa el modelo de optimización de ofertas entrenado sin Privacy Sandbox ni cookies de terceros, es decir, solo con datos que no provengan de cookies de terceros.
    • Ten en cuenta que es posible que algunos sitios aún tengan disponibles cookies de terceros. Para obtener los resultados más precisos, no uses esas cookies de terceros para la medición en las metodologías de Control 2 o Tratamiento.
  • Tratamiento: Usa el modelo de optimización de ofertas entrenado con datos de la API de Attribution Reporting y sin cookies de terceros.
    • Ten en cuenta que es posible que algunos sitios aún tengan disponibles cookies de terceros. Para obtener los resultados más precisos, no uses esas cookies de terceros para la medición en las metodologías de Control 2 o Tratamiento.

Métricas

• Define qué métricas son adecuadas para que tu empresa mida los resultados y, luego, incluye una descripción de lo que significa cada métrica y cómo se mide.
  • Por ejemplo, la métrica significativa podría ser la inversión (ingresos del publicador), que se alinea con la orientación de la CMA para comprender el impacto de la baja de las cookies de terceros en los "Ingresos por impresión". Consulta la Sección 19 para obtener más detalles.
• Si generas informes sobre alguna métrica basada en conversiones, debes usar la misma metodología de medición para cada grupo, de modo que no se realicen pruebas multivariadas (es decir, que no se pruebe el impacto en la optimización y los informes en un mismo experimento). Consulta las tablas de plantillas sugeridas para obtener orientación sobre cómo dar formato a los comentarios cuantitativos.
• Considera otras formas de recopilar métricas sobre el impacto de la optimización de ofertas, por ejemplo, mediante la simulación de ofertas. ¿Hay alguna métrica simulada que sería útil para comprender el impacto de las cookies de terceros y el ARA en tus modelos de ofertas?
• Especifica si las métricas se basan en informes a nivel del evento, informes de resumen o una combinación de ambos informes (y si se usaron informes de depuración).

Análisis

• Cobertura:
  • ¿Puedes realizar mediciones en un conjunto de usuarios similar al de las cookies de terceros? ¿Observas algún cambio en la cobertura (por ejemplo, con la vinculación de la app al sitio web)?
  • ¿Puedes medir las conversiones (y las dimensiones o métricas) que más les interesan a ti o a tus anunciantes?
• ¿Cómo afectarían las diferencias entre los grupos a lo siguiente?:
  • Informes para anunciantes, por ejemplo, qué porcentaje de las conversiones clave podrías registrar en los informes
  • El entrenamiento y la optimización, por ejemplo, simulan el impacto de los diferentes datos de conversiones en el rendimiento del modelo.
• Otros comentarios cualitativos:
  • ¿Cómo afecta el ARA la complejidad de la configuración de la optimización de ofertas de los anunciantes?
  • ¿La ARA ayuda a los anunciantes a enfocarse en las métricas y los objetivos que les interesan o los dificulta?

Tablas de plantillas sugeridas para el impacto de las ofertas

Tabla 1 (ofertas):

Ejemplo de tabla de plantilla de resultados experimentales que los participantes del mercado deben enviar a la CMA (tomado de la página 18, pero los evaluadores deben considerar qué métricas son más significativas o factibles de proporcionar y adaptar la tabla según sea necesario).

Tabla 2 (Bidding):

Tabla de plantilla de ejemplo para informar estadísticas descriptivas de las métricas en los grupos de tratamiento y de control (tomada de la página 20, pero los verificadores deben considerar qué métricas son más significativas o factibles de proporcionar y adaptar la tabla según sea necesario).

Objetivo 3: Realizar pruebas de carga del servicio de agregación

Consulta Aggregation Service Load Testing Framework.