Guide de test des mesures

L'objectif de ce guide est de vous aider à effectuer un test autonome de l'API Attribution Reporting de la Privacy Sandbox. Pour en savoir plus, consultez la section 12.

• La mesure des résultats des bras de contrôle et de traitement dans les conceptions expérimentales 1 et 2 de la CMA est abordée dans les Consignes de test des API Relevance, car l'objectif de ces tests est d'évaluer l'efficacité de l'utilisation de Protected Audience et Topics. Pour en savoir plus, consultez la section 11.

Avant de commencer

• Consultez-le pour obtenir des conseils sur la configuration de l'API Attribution Reporting.
• Consultez les consignes de test de la CMA : Remarque sur les tests (novembre 2022), Consignes de test (juin 2023) et Consignes de test supplémentaires (octobre 2023).

Objectifs d'évaluation et configuration de test proposée

Objectif 1 : Déterminer l'efficacité de l'API Attribution Reporting pour le reporting

Nous proposons une configuration A/A pour mesurer l'impact sur les rapports.

• Cette proposition est conforme aux consignes de la CMA concernant l'évaluation des métriques basées sur les conversions. Pour en savoir plus, consultez les sections 21 et 12.
• Nous préférons cette méthode au mode A/B, car elle permet de tester l'API Attribution Reporting (ARA) en mesurant simultanément les conversions sur le même ensemble d'impressions à l'aide de deux méthodologies de mesure différentes (cookies tiers + données sans cookies tiers et ARA + données sans cookies tiers).
• Un test A/A permet également d'isoler l'impact de l'API Attribution Reporting sur la mesure des conversions (par exemple, il évite toute modification des taux de conversion due à l'absence de cookies tiers).

Points d'analyse suggérés

• Choisissez un segment de trafic suffisamment important pour obtenir des résultats statistiquement significatifs et qui utilise à la fois des cookies tiers et des API Privacy Sandbox. Idéalement, il s'agit de tout le trafic, à l'exception du mode B (qui désactive les cookies tiers).
  • Nous vous recommandons d'exclure le mode B du test A/A, car les cookies tiers ne seront pas disponibles et vous ne pourrez pas comparer les résultats de l'analyse des résultats agrégés aux résultats de l'attribution basée sur les cookies tiers.
  • Si vous souhaitez inclure le mode B, vous devez activer les rapports de débogage pour la tranche de trafic du mode B. Les rapports de débogage vous aideront à résoudre les problèmes de configuration ou d'implémentation.
• Si vous prévoyez de tester une plus petite part du trafic, attendez-vous à obtenir des résultats de mesure plus bruités que prévu. Nous vous recommandons d'indiquer dans votre analyse la fraction du trafic utilisée et si vous présentez des résultats basés sur des rapports bruités ou des rapports de débogage non bruités.
  • Pour les rapports récapitulatifs, vos valeurs récapitulatives seront probablement plus faibles. Le service d'agrégation ajoutera du bruit à partir de la même distribution, quelle que soit la valeur récapitulative.
• Testez différentes méthodologies de mesure sur cette tranche de trafic.
  • Contrôle 1 : utiliser les méthodologies de mesure actuelles (cookies tiers + données de cookies non tiers)
  • (facultatif) Contrôle 2 : sans Privacy Sandbox ni cookies tiers, c'est-à-dire uniquement les données de cookies non tiers
    • Notez que certains sites peuvent encore avoir accès à des cookies tiers. Pour obtenir les résultats les plus précis possible, n'utilisez pas ces cookies tiers pour la mesure dans les méthodologies "Contrôle 2" ou "Traitement".
  • Traitement : données des API Privacy Sandbox et des cookies non tiers
    • Notez que certains sites peuvent encore avoir accès à des cookies tiers. Pour obtenir les résultats les plus précis possible, n'utilisez pas ces cookies tiers pour la mesure dans les méthodologies "Contrôle 2" ou "Traitement".

Métriques

• Définissez les métriques qui ont du sens pour votre entreprise afin de mesurer les résultats. Incluez une description de ce que signifie la métrique et de la façon dont elle est mesurée.
  • Nous vous suggérons de vous concentrer sur les dimensions et les métriques qui sont importantes pour vos annonceurs. Par exemple, si vos annonceurs se concentrent sur les conversions d'achat, mesurez le nombre de conversions et la valeur des achats.
• Les métriques basées sur un nombre ou une somme (par exemple, le taux de conversion) sont plus adaptées que celles basées sur un coût par (par exemple, le coût par conversion). Pour l'analyse A/A, les métriques de coût peuvent être entièrement dérivées des valeurs de conversion (nombre ou somme).
• Indiquez si les métriques sont basées sur des rapports au niveau des événements, des rapports récapitulatifs ou une combinaison des deux (et si des rapports de débogage ont été utilisés).
• Consultez les tableaux de modèles suggérés pour savoir comment mettre en forme les commentaires quantitatifs.

Analyse

• Couverture :
  • Êtes-vous en mesure de mesurer un ensemble d'utilisateurs similaire à celui des cookies tiers ? Avez-vous constaté une couverture plus élevée (par exemple, avec l'application vers le Web) ?
  • Êtes-vous en mesure de mesurer les conversions (et les dimensions ou métriques) qui comptent le plus pour vous ou vos annonceurs ?
• Commentaires quantitatifs
  • Par exemple, dans les rapports sur les annonceurs, quel pourcentage de conversions clés pourriez-vous indiquer pour cet annonceur ? Ou quel pourcentage de campagnes répondent à un seuil de qualité des rapports (définir un seuil de qualité permet de s'adapter aux campagnes avec un faible nombre de conversions) ?
  • Par exemple, certains annonceurs sont-ils plus ou moins dépendants des cookies tiers pour le reporting aujourd'hui ?
• Autres commentaires qualitatifs :
  • Quel est l'impact de l'ARA sur la complexité de la configuration de la mesure/attribution des annonceurs ?
  • L'ARA aide-t-elle les annonceurs à se concentrer sur les métriques et les objectifs qui comptent pour eux, ou les en empêche-t-elle ?

Tableaux de modèles suggérés pour rendre compte de l'impact

(Reporting) Tableau 1 :

Exemple de tableau à utiliser pour communiquer les résultats des tests à la CMA (extrait de la page 18, mais les testeurs doivent réfléchir aux métriques les plus pertinentes / les plus faciles à fournir et adapter le tableau en conséquence).

(Reporting) Tableau 2 :

Exemple de tableau de modèle pour générer des statistiques descriptives pour les métriques des groupes de traitement et de contrôle (extrait de la page 20, mais les testeurs doivent déterminer les métriques les plus pertinentes / réalisables à fournir et adapter le tableau en conséquence).

Objectif 2 : Déterminer l'efficacité de l'API Attribution Reporting pour l'optimisation des enchères

Nous proposons une configuration de test A/B pour mesurer l'impact sur l'optimisation des enchères.

• Pour mesurer l'impact sur l'optimisation des enchères, vous devrez entraîner deux modèles de machine learning différents et les utiliser sur deux segments de trafic : un modèle entraîné sur les méthodologies de mesure actuelles (cookies tiers + données non issues de cookies tiers) à appliquer au bras de contrôle, et un modèle entraîné sur l'API Attribution Reporting + les données non issues de cookies tiers à appliquer au bras de traitement.
• L'entraînement du modèle doit être basé sur autant de trafic que le testeur le juge nécessaire pour maximiser les performances, même si le bras de traitement représente une plus petite part du trafic et qu'il existe un chevauchement entre les populations d'entraînement (par exemple, utilisez le modèle de cookies tiers existant qui s'entraîne sur l'ensemble du trafic et entraînez le modèle ARA sur l'ensemble du trafic ARA activé pour l'objectif 1).
  • Si vous envoyez des résultats à la CMA, indiquez s'il existe une différence significative entre les segments de trafic utilisés pour entraîner différents modèles (par exemple, si les modèles basés sur les cookies tiers sont entraînés sur 100 % du trafic, mais que les modèles basés sur l'ARA ne sont entraînés que sur 1 % du trafic).
• Si possible, l'entraînement des modèles d'enchères de traitement et de contrôle doit durer la même période.
• Déterminez si vous devez entraîner et mettre à jour en continu les modèles d'enchères pendant le test. Si c'est le cas, déterminez si vous devez les entraîner sur le trafic le plus important possible ou uniquement sur le trafic des bras de traitement et de contrôle.
• Les différents modèles doivent être utilisés sur des segments de trafic disjoints sous forme de test A/B. Pour la randomisation et l'attribution des utilisateurs aux bras de traitement et de contrôle, nous vous recommandons d'utiliser des groupes de navigateurs libellés facilités par Chrome (mode A) ou d'exécuter votre propre test avec des ensembles de navigateurs randomisés. Nous vous déconseillons d'utiliser le mode B, car l'absence de cookies tiers rendra difficile la création de rapports sur les métriques basées sur les conversions.
  • Les groupes de navigateurs facilités par Chrome excluront certaines instances Chrome, comme les utilisateurs de Chrome Enterprise, alors que vos propres ensembles aléatoires de navigateurs n'excluront peut-être pas ces instances Chrome. Par conséquent, vous devez exécuter votre test uniquement sur les groupes du mode A ou uniquement sur les groupes non-mode A/mode B pour éviter de comparer les métriques obtenues sur les groupes facilités par Chrome avec celles obtenues en dehors de ces groupes.
  • Si vous n'utilisez pas les groupes de navigateurs libellés facilités par Chrome (par exemple, si vous exécutez un test sur un autre trafic) :
    • Vérifiez que la répartition des utilisateurs dans les groupes de traitement et de contrôle est aléatoire et non biaisée. Quelle que soit la configuration du groupe de test, évaluez les caractéristiques des bras de traitement et de contrôle pour vérifier que les groupes de traitement et de contrôle sont comparables. (Voir section 15)
    • Vérifiez que les caractéristiques des utilisateurs et les configurations des campagnes des groupes de traitement et de contrôle sont identiques (par exemple, utilisez des zones géographiques similaires dans les deux groupes). (voir section 28).
      • Par exemple, vérifiez que des types de conversions similaires sont mesurés à l'aide de la même fenêtre et de la même logique d'attribution, que les campagnes ciblent des audiences, des groupes d'intérêt et des zones géographiques similaires, et qu'elles utilisent des formats et des contenus publicitaires similaires.
    • √ que la taille initiale des populations des groupes de traitement et de contrôle est suffisamment importante pour permettre une certaine flexibilité en termes d'enchères et de tests.
  • Si vous utilisez des groupes de navigateurs libellés facilités par Chrome (mode A), la répartition aléatoire des instances du navigateur Chrome dans les groupes est gérée par Chrome. Comme auparavant, nous vous recommandons de vérifier que la randomisation permet d'obtenir des groupes non biaisés / comparables pour vos besoins.

Points d'analyse suggérés

• Nous vous recommandons de définir des bras de contrôle et de traitement, et d'utiliser un modèle de machine learning différent pour l'optimisation des enchères pour chaque bras :
  • Groupe de contrôle 1 : utiliser le modèle d'optimisation des enchères entraîné sur les méthodologies de mesure actuelles (données de cookies tiers et non tiers)
  • (Facultatif) Contrôle 2 : utilisez le modèle d'optimisation des enchères entraîné sans Privacy Sandbox ni cookies tiers, c'est-à-dire uniquement avec des données non issues de cookies tiers.
    • Notez que certains sites peuvent encore avoir accès à des cookies tiers. Pour obtenir les résultats les plus précis possible, n'utilisez pas ces cookies tiers pour les mesures dans les méthodologies "Contrôle 2" ou "Traitement".
  • Traitement : utiliser le modèle d'optimisation des enchères entraîné sur les données de l'API Attribution Reporting et les données non issues de cookies tiers
    • Notez que certains sites peuvent encore avoir accès à des cookies tiers. Pour obtenir les résultats les plus précis possible, n'utilisez pas ces cookies tiers pour les mesures dans les méthodologies "Contrôle 2" ou "Traitement".

Métriques

• Définissez les métriques qui ont du sens pour votre entreprise afin de mesurer les résultats. Incluez une description de ce que signifie la métrique et de la façon dont elle est mesurée.
  • Par exemple, la métrique pertinente pourrait être les dépenses (revenus de l'éditeur), ce qui correspond aux conseils de la CMA pour comprendre l'impact de l'arrêt des cookies tiers sur les "revenus par impression". Pour en savoir plus, consultez la section 19.
• Si vous générez des rapports sur des métriques basées sur les conversions, vous devez utiliser la même méthodologie de mesure pour chaque bras afin d'éviter les tests multivariés (qui consistent à tester l'impact sur l'optimisation et les rapports dans un même test). Consultez les tableaux de modèles suggérés pour savoir comment mettre en forme les commentaires quantitatifs.
• Envisagez d'autres méthodes pour collecter des métriques sur l'impact de l'optimisation des enchères (par exemple, en utilisant des enchères simulées). Existe-t-il des métriques simulées qui pourraient être utiles pour comprendre l'impact des cookies tiers et de l'ARA sur vos modèles d'enchères ?
• Indiquez si les métriques sont basées sur des rapports au niveau des événements, des rapports récapitulatifs ou une combinaison des deux (et si des rapports de débogage ont été utilisés).

Analyse

• Couverture :
  • Êtes-vous en mesure de mesurer un ensemble d'utilisateurs similaire à celui des cookies tiers ? Avez-vous constaté des changements dans la couverture (par exemple, avec l'application vers le Web) ?
  • Êtes-vous en mesure de mesurer les conversions (et les dimensions/métriques) qui vous intéressent le plus, vous ou vos annonceurs ?
• Comment les différences entre les groupes affecteraient-elles les éléments suivants :
  • Par exemple, quel pourcentage de conversions clés pourriez-vous enregistrer dans les rapports pour les annonceurs ?
  • L'entraînement et l'optimisation, par exemple, simulent l'impact de différentes données de conversion sur les performances du modèle.
• Autres commentaires qualitatifs :
  • Quel est l'impact de l'ajustement automatique du ROAS sur la complexité de la configuration de l'optimisation des enchères des annonceurs ?
  • L'analyse des résultats publicitaires aide-t-elle les annonceurs à se concentrer sur les métriques et les objectifs qui comptent pour eux, ou les en empêche-t-elle ?

Tableaux de modèles suggérés pour l'impact des enchères

(Enchères) Tableau 1 :

Exemple de tableau de modèle des résultats expérimentaux que les acteurs du marché doivent soumettre à la CMA (extrait de la page 18, mais les testeurs doivent déterminer les métriques les plus pertinentes / réalisables à fournir et adapter le tableau en conséquence).

(Enchères) Tableau 2 :

Exemple de tableau de modèle pour générer des statistiques descriptives pour les métriques des groupes de traitement et de contrôle (extrait de la page 20, mais les testeurs doivent déterminer les métriques les plus pertinentes / réalisables à fournir et adapter le tableau en conséquence).

Objectif 3 : Tester la charge du service d'agrégation

Consultez Framework de test de charge du service d'agrégation.