Guide de test des mesures

bookmark_border Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

L'objectif de ce guide est de vous aider à exécuter un test autonome de l'API Attribution Reporting de la Privacy Sandbox. Pour en savoir plus, consultez la Section 12.

• La mesure des résultats des groupes de contrôle et de traitement dans les conceptions expérimentales 1 et 2 de la CMA est abordée dans les conseils sur les tests des API de pertinence, car l'objectif de ces tests est de tester l'efficacité de l'utilisation de l'API Protected Audience et Topics. Pour en savoir plus, consultez la Section 11.

Avant de commencer

• Consultez les instructions pour configurer l'API Attribution Reporting.
• Consultez les conseils sur les tests CMA: note sur les tests (novembre 2022), Conseils pour les tests (juin 2023) et Conseils supplémentaires pour les tests (octobre 2023).

Objectifs de l'évaluation et configuration du test proposée

Objectif 1 : Déterminer l'efficacité de l'API Attribution Reporting pour la création de rapports

Nous proposons une configuration A/A pour mesurer l'impact sur les rapports

• Cette proposition est conforme aux recommandations de la CMA concernant l'évaluation des métriques basées sur les conversions. Pour en savoir plus, consultez la Section 21 et la section 12.
• Nous préférons cette méthode au mode A/B, car le test de l'API Attribution Reporting (ARA) peut être effectué en mesurant simultanément les conversions sur le même ensemble d'impressions à l'aide de deux méthodes de mesure différentes (cookies tiers + données des cookies non tiers, et données ARA + données des cookies non tiers).
• Un test A/A permet également d'isoler l'impact de l'API Attribution Reporting sur la mesure des conversions (par exemple, il évite toute variation des taux de conversion due à l'absence de cookies tiers).

Suggestions de points d'analyse

• Choisissez une part de trafic suffisamment importante pour obtenir des résultats statistiquement pertinents, et qui utilise à la fois des cookies tiers et des API Privacy Sandbox. Idéalement, il s'agit de tout le trafic, sauf le mode B (qui désactive les cookies tiers).
  • Nous vous recommandons d'exclure le mode B du test A/A, car les cookies tiers ne seront pas disponibles et vous ne pourrez pas comparer les résultats de l'ARA à ceux de l'attribution basée sur les cookies tiers.
  • Si vous souhaitez inclure le mode B, vous devez envisager d'activer les rapports de débogage pour le segment de trafic du mode B. Les rapports de débogage vous aideront à résoudre les problèmes de configuration ou d'implémentation.
• Si vous prévoyez d'effectuer vos tests sur une plus petite portion de trafic, vous obtiendrez probablement des résultats de mesure plus bruyants que prévu. Dans votre analyse, nous vous recommandons d'indiquer la part du trafic utilisée et d'indiquer si les résultats sont basés sur des rapports avec bruit ou sur des rapports de débogage sans bruit.
  • Pour les rapports de synthèse, vos valeurs récapitulatives seront probablement inférieures et le service d'agrégation ajoutera du bruit provenant de la même distribution, quelle que soit la valeur récapitulative.
• Testez différentes méthodes de mesure sur cette portion de trafic.
  • Contrôle 1 : utiliser les méthodes de mesure actuelles (cookies tiers + données des cookies non tiers)
  • (facultatif) Contrôle 2 : pas de Privacy Sandbox ni de cookies tiers, c'est-à-dire uniquement des données de cookies non tiers
    • Notez que certains cookies tiers peuvent rester disponibles sur certains sites. Pour des résultats plus précis, n'utilisez pas ces cookies tiers pour les mesures avec les méthodologies Contrôle 2 ou Traitement.
  • Traitement : API Privacy Sandbox et données liées aux cookies non tiers
    • Notez que certains cookies tiers peuvent rester disponibles sur certains sites. Pour des résultats plus précis, n'utilisez pas ces cookies tiers pour les mesures avec les méthodologies Contrôle 2 ou Traitement.

Métriques

• Définissez les métriques qui sont pertinentes pour votre entreprise afin de mesurer les résultats, et incluez une description de la métrique et de la façon dont elle est mesurée.
  • Nous vous conseillons de vous concentrer sur les dimensions et les métriques importantes pour vos annonceurs. Par exemple, si vos annonceurs privilégient les conversions d'achat, mesurez le nombre de conversions associées et la valeur des achats.
• Il est préférable d'utiliser les métriques basées sur le nombre ou la somme (par exemple, le taux de conversion) plutôt que sur le coût par (coût par conversion, par exemple). Pour une analyse A/A, les métriques sur les coûts peuvent être entièrement dérivées du nombre ou de la somme des valeurs de conversion.
• Indiquez si les métriques sont basées sur des rapports au niveau des événements, des rapports de synthèse ou une combinaison des deux (et si des rapports de débogage ont été utilisés).
• Consultez les modèles de tableaux suggérés pour savoir comment mettre en forme les commentaires quantitatifs.

Analyse

• Couverture :
  • Êtes-vous capable d'effectuer des mesures sur un groupe d'utilisateurs semblable à celui d'un cookie tiers ? Proposez-vous une couverture plus étendue (par exemple, avec l'attribution application/Web) ?
  • Pouvez-vous mesurer les conversions (et les dimensions ou métriques) qui vous intéressent le plus, ou celles de vos annonceurs ?
• Commentaires quantitatives
  • Dans les rapports sur les annonceurs, par exemple, quel est le pourcentage de conversions clés que vous pourriez inclure dans le rapport pour cet annonceur ? Ou le pourcentage de campagnes qui répondent aux critères de qualité des rapports (obtenir un niveau de qualité permet d'ajuster les données pour les campagnes dont le nombre de conversions est faible).
  • Répartition par annonceur : par exemple, certains annonceurs dépendent-ils plus ou moins des cookies tiers pour générer des rapports à l'heure actuelle ?
• Autres commentaires qualitatifs :
  • Quel est l'impact de l'ARA sur la complexité de la configuration des mesures/de l'attribution des annonceurs ?
  • L'ARA aide-t-il ou entrave-t-il les annonceurs à se concentrer sur les métriques et les objectifs qui les intéressent ?

Suggestions de modèles de tables pour l'impact des rapports

(Création de rapports) Tableau 1:

Exemple de modèle de tableau pour la présentation des résultats des tests à la CMA (extrait de la page 18, mais les testeurs doivent déterminer quelles métriques sont les plus pertinentes / possibles à fournir et adapter le tableau si nécessaire).

(Création de rapports) Tableau 2:

Exemple de modèle de tableau pour la création de rapports statistiques descriptifs pour les métriques des groupes de traitement et de contrôle (extrait de la page 20, mais les testeurs doivent déterminer quelles métriques sont les plus pertinentes / possibles pour fournir et adapter le tableau si nécessaire).

Objectif 2 : Déterminer l'efficacité de l'API Attribution Reporting pour l'optimisation des enchères

Nous proposons une configuration A/B pour mesurer l'impact sur l'optimisation des enchères.

• Pour mesurer l'impact sur l'optimisation des enchères, vous devrez entraîner deux modèles de machine learning différents et les utiliser sur deux segments de trafic : un modèle entraîné sur les méthodologies de mesure actuelles (cookies tiers + données non tierces sur les cookies) à appliquer au groupe de contrôle, et un modèle entraîné sur l'API Attribution Reporting et des données non tierces sur les cookies à appliquer au groupe de traitement.
• L'entraînement du modèle doit être basé sur autant de trafic que le testeur estime nécessaire pour maximiser les performances, même si le groupe de traitement est une petite partie du trafic et qu'il y a chevauchement entre les populations d'entraînement (par exemple, utilisez le modèle de cookie tiers existant qui est entraîné sur l'ensemble du trafic et entraînez le modèle ARA sur tout le trafic ARA activé pour l'objectif 1).
  • Si vous envoyez les résultats à la CMA, notez s'il existe une différence significative entre les tranches de trafic utilisées pour l'entraînement des différents modèles (par exemple, si les modèles basés sur des cookies tiers sont entraînés sur 100% du trafic, mais que les modèles basés sur ARA ne sont entraînés que sur 1% du trafic).
• Si possible, l'entraînement des modèles d'enchères de traitement et de contrôle doit avoir lieu pendant la même durée.
• Déterminez si vous devez entraîner et mettre à jour les modèles d'enchères en continu pendant le test. Si c'est le cas, déterminez si l'entraînement doit être effectué sur le plus de trafic possible ou uniquement sur le trafic des groupes de traitement et de contrôle.
• Vous devez utiliser les différents modèles sur des segments de trafic distincts, dans le cadre d'un test A/B. Pour la randomisation et l'affectation des utilisateurs dans les groupes de traitement et de contrôle, nous vous recommandons d'utiliser des groupes de navigateurs avec libellés gérés par Chrome (Mode A) ou d'exécuter votre propre test avec des ensembles aléatoires de navigateurs. Nous vous déconseillons d'utiliser le mode B, car l'absence de cookies tiers complique la création de rapports sur les métriques basées sur les conversions.
  • Les groupes de navigateurs gérés par Chrome excluent certaines instances de Chrome, comme les utilisateurs de Chrome Enterprise, où vos propres ensembles aléatoires de navigateurs n'excluent pas ces instances. Par conséquent, vous devez exécuter votre test uniquement sur des groupes en mode A ou uniquement sur des groupes non gérés par le mode A/B afin d'éviter de comparer les métriques obtenues sur des groupes gérés par Chrome avec des métriques obtenues en dehors de groupes gérés par Chrome.
  • Si vous n'utilisez pas de groupes de navigateurs étiquetés gérés par Chrome (par exemple, si vous effectuez un test sur un autre trafic) :
    • Assurez-vous que la répartition du traitement et du contrôle des utilisateurs est aléatoire et impartiale. Quelle que soit la configuration du groupe de test, évaluez les caractéristiques des groupes de traitement et de contrôle pour vous assurer que les groupes de traitement et de contrôle sont comparables. (voir la section 15).
    • Assurez-vous que les caractéristiques des utilisateurs et les configurations des campagnes pour les groupes de traitement et de contrôle sont identiques (par exemple, utilisez des zones géographiques similaires dans les groupes de traitement et de contrôle). (voir la section 28).
      • Exemples spécifiques: assurez-vous que des types de conversions similaires sont mesurés à l'aide de la même période d'attribution et de la même logique d'attribution, que les campagnes ciblent des audiences, groupes de centres d'intérêt et zones géographiques similaires, et utilisent des contenus publicitaires et des formats d'annonces similaires.
    • Assurez-vous que la taille initiale des populations pour les groupes de traitement et de contrôle est suffisamment importante pour permettre la flexibilité des enchères et des tests.
  • Si vous utilisez des groupes de navigateurs avec libellés gérés par Chrome (Mode A), Chrome se charge de la randomisation des instances du navigateur Chrome dans les groupes. Comme précédemment, nous vous recommandons de vérifier que la randomisation génère des groupes non biaisés / comparables pour vos besoins.

Suggestions de points d'analyse

• Nous vous recommandons de définir des groupes de contrôle et de traitement, et d'utiliser un modèle de machine learning différent pour optimiser les enchères pour chaque groupe :
  • Contrôle 1 : utiliser le modèle d'optimisation des enchères entraîné sur les méthodologies de mesure actuelles (cookies tiers + données non tierces sur les cookies)
  • (facultatif) Contrôle 2 : utiliser le modèle d'optimisation des enchères entraîné sur l'absence de Privacy Sandbox et de cookies tiers, c'est-à-dire uniquement les données des cookies non tiers
    • Notez que certains cookies tiers peuvent encore être disponibles sur certains sites. Pour obtenir des résultats plus précis, n'utilisez pas ces cookies tiers pour les mesures avec les méthodologies Contrôle 2 ou Traitement.
  • Traitement : Utiliser le modèle d'optimisation des enchères entraîné sur l'API Attribution Reporting et les données des cookies non tiers
    • Notez que certains cookies tiers peuvent encore être disponibles sur certains sites. Pour obtenir des résultats plus précis, n'utilisez pas ces cookies tiers pour les mesures avec les méthodologies Contrôle 2 ou Traitement.

Métriques

• Définissez les métriques qui sont pertinentes pour votre entreprise afin de mesurer les résultats, et incluez une description de la métrique et de la façon dont elle est mesurée.
  • Par exemple, la métrique pertinente pourrait être les dépenses (revenus de l'éditeur), ce qui est conforme aux directives de la CMA pour comprendre l'impact de l'abandon des cookies tiers sur les revenus par impression. Pour en savoir plus, consultez la Section 19.
• Si vous générez des rapports sur des métriques basées sur les conversions, vous devez utiliser la même méthodologie de mesure pour chaque groupe, afin d'éviter les tests à plusieurs variables (tester l'impact sur l'optimisation et la création de rapports dans un seul test). Consultez les modèles de tableaux suggérés pour savoir comment mettre en forme les commentaires quantitatifs.
• Envisagez d'autres méthodes pour collecter des métriques sur l'impact de l'optimisation des enchères (par exemple, en simulant des enchères). Existe-t-il des métriques simulées qui pourraient être utiles pour comprendre l'impact des cookies tiers et de l'ARA sur vos modèles d'enchères ?
• Indiquez si les métriques sont basées sur des rapports au niveau des événements, des rapports de synthèse ou une combinaison des deux (et si des rapports de débogage ont été utilisés).

Analyse

• Couverture :
  • Êtes-vous capable d'effectuer des mesures sur un groupe d'utilisateurs semblable à celui d'un cookie tiers ? Constatez-vous des changements au niveau de la couverture (par exemple, en ce qui concerne l'attribution application/Web) ?
  • Parvenez-vous à mesurer les conversions (et les dimensions/métriques) les plus importantes pour vous ou vos annonceurs ?
• Quel serait l'impact des différences entre les groupes sur les éléments suivants :
  • Dans les rapports sur les annonceurs (par exemple, le pourcentage de conversions clés que vous pourriez enregistrer)
  • L'entraînement et l'optimisation, par exemple, simulent l'impact de différentes données de conversion sur les performances du modèle.
• Autres commentaires qualitatifs :
  • Quel est l'impact de l'ARA sur la complexité de la configuration de l'optimisation des enchères pour les annonceurs ?
  • L'ARA aide-t-elle ou empêche-t-elle les annonceurs de se concentrer sur les métriques et les objectifs qui les intéressent ?

Suggestions de tableaux de modèles pour l'impact des enchères

(Enchères) Tableau 1:

Exemple de tableau de résultats expérimentaux que les acteurs du marché doivent envoyer à la CMA (extrait de la page 18, mais les testeurs doivent réfléchir aux métriques les plus pertinentes / possibles à fournir et adapter le tableau si nécessaire).

(Enchères) Tableau 2:

Exemple de modèle de tableau pour la création de rapports statistiques descriptifs pour les métriques des groupes de traitement et de contrôle (extrait de la page 20, mais les testeurs doivent déterminer quelles métriques sont les plus pertinentes / possibles pour fournir et adapter le tableau si nécessaire).

Objectif 3 : Tester la charge du service d'agrégation

Consultez la page Framework de tests de charge du service d'agrégation.