L'objectif de ce guide est de vous aider à effectuer un test autonome de l'API Attribution Reporting de la Privacy Sandbox. Pour en savoir plus, consultez la section 12.
- La mesure des résultats des groupes de contrôle et de traitement dans les conceptions expérimentales 1 et 2 de la CMA est abordée dans les consignes de test des API de pertinence, car l'objectif de ces tests est de tester l'efficacité de l'utilisation de Protected Audience et de Topics. Pour en savoir plus, consultez la section 11.
Avant de commencer
- Consultez-la pour obtenir des conseils sur la configuration de l'API Attribution Reporting.
- Consultez les consignes de test de la CMA : Note sur les tests (novembre 2022), Consignes de test (juin 2023) et Consignes supplémentaires de test (octobre 2023).
Objectifs d'évaluation et configuration proposée du test
Objectif 1 : Déterminer l'efficacité de l'API Attribution Reporting pour les rapports
Nous proposons une configuration A/A pour mesurer l'impact sur les rapports
- Cette proposition est conforme aux recommandations de la CMA concernant l'évaluation des métriques basées sur les conversions. Pour en savoir plus, consultez les sections 21 et 12.
- Nous préférons cette méthode au mode A/B, car vous pouvez tester l'API Attribution Reporting (ARA) en mesurant simultanément les conversions sur le même ensemble d'impressions à l'aide de deux méthodes de mesure différentes (cookies tiers + données sans cookies tiers et ARA + données sans cookies tiers).
- Un test A/B permet également d'isoler l'impact de l'API Attribution Reporting sur la mesure des conversions (par exemple, il évite toute modification des taux de conversion en raison de l'absence de cookies tiers).
Suggestions de points d'analyse
- Choisissez une tranche de trafic suffisamment importante pour obtenir des résultats statistiquement significatifs et qui comporte à la fois des cookies tiers et des API Privacy Sandbox. Idéalement, il s'agit de tout le trafic, à l'exception du mode B (qui désactive les cookies tiers).
- Nous vous recommandons d'exclure le mode B du test A/A, car les cookies tiers ne seront pas disponibles et vous ne pourrez pas comparer les résultats de l'attribution basée sur l'ARA à ceux de l'attribution basée sur les cookies tiers.
- Si vous souhaitez inclure le mode B, nous vous conseillons d'activer les rapports de débogage pour la tranche de trafic du mode B. Les rapports de débogage vous aideront à résoudre les problèmes de configuration ou d'implémentation.
- Si vous prévoyez de tester sur une partie plus petite du trafic, vous devriez obtenir des résultats de mesure plus bruyants que prévu. Nous vous recommandons de noter dans votre analyse la fraction de trafic utilisée et si vous générez des résultats basés sur des rapports avec bruit ou sans bruit.
- Pour les rapports récapitulatifs, vos valeurs récapitulatives seront probablement plus faibles, et le service d'agrégation ajoutera du bruit à partir de la même distribution, quelle que soit la valeur récapitulative.
- Tester différentes méthodes de mesure sur ce segment de trafic
- Contrôle 1 : utiliser les méthodes de mesure actuelles (cookies tiers + données non issues de cookies tiers)
- (Facultatif) Contrôle 2 : pas de Privacy Sandbox ni de cookies tiers, c'est-à-dire uniquement des données de cookies autres que tiers
- Notez que certains cookies tiers peuvent toujours être disponibles sur certains sites. Pour obtenir des résultats les plus précis possibles, n'utilisez pas ces cookies tiers pour les mesures dans les méthodologies de contrôle 2 ou de traitement.
- Traitement : API Privacy Sandbox et données de cookies autres que tiers
- Notez que certains cookies tiers peuvent toujours être disponibles sur certains sites. Pour obtenir des résultats les plus précis possibles, n'utilisez pas ces cookies tiers pour les mesures dans les méthodologies de contrôle 2 ou de traitement.
Métriques
- Définissez les métriques qui ont du sens pour votre entreprise pour mesurer les résultats, et incluez une description de leur signification et de leur mode de mesure.
- Nous vous suggérons de vous concentrer sur les dimensions et les métriques qui sont importantes pour vos annonceurs. Par exemple, si vos annonceurs se concentrent sur les conversions d'achat, mesurez le nombre de conversions pour ces conversions et la valeur d'achat.
- Les métriques basées sur le nombre ou la somme (par exemple, le taux de conversion) sont plus adaptées que les métriques basées sur le coût par (par exemple, le coût par conversion). Pour l'analyse A/B, les métriques de coût peuvent être entièrement dérivées du nombre ou de la somme des valeurs de conversion.
- Indiquez si les métriques sont basées sur des rapports au niveau des événements, des rapports récapitulatifs ou une combinaison des deux (et si des rapports de débogage ont été utilisés).
- Consultez les tableaux de modèles suggérés pour savoir comment mettre en forme les commentaires quantitatifs.
Analyse
- Couverture :
- Pouvez-vous mesurer sur un ensemble d'utilisateurs similaire à celui des cookies tiers ? La couverture est-elle meilleure (par exemple, avec l'application-Web) ?
- Pouvez-vous mesurer les conversions (et les dimensions ou métriques) qui vous intéressent le plus, vous ou vos annonceurs ?
- Commentaires quantitatifs
- Par exemple, pour les rapports sur les annonceurs, quel pourcentage de conversions clés pourriez-vous générer pour cet annonceur ? Ou quel pourcentage de campagnes répondent à une barre de qualité de reporting ? (déduire une barre de qualité permet d'ajuster les campagnes dont le nombre de conversions est faible).
- Par exemple, existe-t-il des annonceurs qui sont plus ou moins dépendants des cookies tiers pour les rapports ?
- Autres commentaires qualitatifs :
- Quel est l'impact de l'ARA sur la complexité de la configuration de la mesure/de l'attribution des annonceurs ?
- L'ARA aide-t-elle ou entrave-t-elle les annonceurs à se concentrer sur les métriques et les objectifs qui les intéressent ?
Modèles de tableaux suggérés pour les rapports sur l'impact
(Reporting) Tableau 1 :
Exemple de tableau de modèle pour communiquer les résultats des tests à la CMA (extrait de la page 18, mais les testeurs doivent déterminer les métriques les plus pertinentes / faisables à fournir et adapter le tableau si nécessaire).
|
Traitement par rapport au groupe de contrôle 1 Compare l'état final proposé à l'état actuel |
Traitement par rapport au groupe de contrôle 2 Compare l'état final proposé sans API PS du tout. |
Contrôle 2 par rapport au contrôle 1 Compare la mesure des conversions avec et sans cookies tiers, sans API PS. |
|
| Méthodologie de mesure | Comparer la mesure des conversions pour le traitement (ARA avec données de cookies autres que tiers) au bras de contrôle 1 (cookies tiers et données de cookies autres que tiers) | Comparer la mesure des conversions pour le traitement (ARA avec des données de cookies autres que tiers) au groupe de contrôle 2 (données de cookies autres que tiers uniquement) | Comparer la mesure des conversions pour le bras de contrôle 2 (données de cookies autres que tiers uniquement) au bras de contrôle 1 (données de cookies tiers et autres que tiers) |
| Conversions par dollar | Effet | Effet | Effet |
| Erreur-type | Erreur-type | Erreur-type | |
| Intervalle de confiance de 95 % | Intervalle de confiance de 95 % | Intervalle de confiance de 95 % | |
| Nombre total de conversions | Effet | Effet | Effet |
| Erreur-type | Erreur-type | Erreur-type | |
| Intervalle de confiance de 95 % | Intervalle de confiance de 95 % | Intervalle de confiance de 95 % | |
| Taux de conversion | Effet | Effet | Effet |
| Erreur-type | Erreur-type | Erreur-type | |
| Intervalle de confiance de 95 % | Intervalle de confiance de 95 % | Intervalle de confiance de 95 % | |
| (ajoutez vos propres métriques) |
(Reporting) Tableau 2 :
Exemple de tableau de modèle pour générer des statistiques descriptives sur les métriques des groupes de traitement et de contrôle (extrait de la page 20, mais les testeurs doivent déterminer les métriques les plus pertinentes / faisables à fournir et adapter le tableau si nécessaire).
| Métrique | Traitement
Mesure des conversions à l'aide de l'API ARA et de toutes les données de cookies autres que celles des tiers que vous utilisez |
Contrôle 1
Mesure des conversions à l'aide de cookies tiers et de toutes les données de cookies non tiers que vous utilisez |
Paramètre 2
Mesure des conversions à l'aide de données de cookies autres que celles des tiers uniquement |
| Conversions par dollar | Moyenne | Moyenne | Moyenne |
| Écart type | Écart type | Écart type | |
| 25e et 75e centiles | 25e et 75e centiles | 25e et 75e centiles | |
| Nombre total de conversions | Moyenne | Moyenne | Moyenne |
| Écart type | Écart type | Écart type | |
| 25e et 75e centiles | 25e et 75e centiles | 25e et 75e centiles | |
| Taux de conversion | Moyenne | Moyenne | Moyenne |
| Écart type | Écart type | Écart type | |
| 25e et 75e centiles | 25e et 75e centiles | 25e et 75e centiles | |
| (ajoutez vos propres métriques) |
Objectif 2 : Déterminer l'efficacité de l'API Attribution Reporting pour l'optimisation des enchères
Nous vous proposons une configuration A/B pour mesurer l'impact sur l'optimisation des enchères.
- Pour mesurer l'impact sur l'optimisation des enchères, vous devez entraîner deux modèles de machine learning différents et les utiliser sur deux segments de trafic : un modèle entraîné sur les méthodes de mesure actuelles (cookies tiers et données autres que les cookies tiers) à appliquer au groupe de contrôle, et un modèle entraîné sur l'API Attribution Reporting et les données autres que les cookies tiers à appliquer au groupe de traitement.
- L'entraînement du modèle doit être basé sur autant de trafic que le testeur juge nécessaire pour maximiser les performances, même si le groupe de traitement représente une partie plus petite du trafic et qu'il existe un chevauchement entre les populations d'entraînement (par exemple, utilisez le modèle de cookie tiers existant qui est entraîné sur l'ensemble du trafic et entraînez le modèle ARA sur l'ensemble du trafic ARA activé pour l'objectif 1).
- Si vous envoyez des résultats à la CMA, notez s'il existe une différence significative entre les segments de trafic utilisés pour entraîner différents modèles (par exemple, si les modèles basés sur des cookies tiers sont entraînés sur 100 % du trafic, mais que les modèles basés sur l'ARA ne sont entraînés que sur 1 %).
- Si possible, l'entraînement des modèles d'enchères de traitement et de contrôle doit avoir lieu pendant la même durée.
- Déterminez si vous devez entraîner et mettre à jour les modèles d'enchères en continu pendant le test. Si c'est le cas, décidez si vous devez entraîner les modèles sur autant de trafic que possible ou uniquement sur le trafic des groupes de traitement et de contrôle.
- Les différents modèles doivent être utilisés sur des segments de trafic distincts dans le cadre d'un test A/B. Pour la randomisation et l'attribution des utilisateurs aux groupes de traitement et de contrôle, nous vous recommandons d'utiliser des groupes de navigateurs avec libellé gérés par Chrome (mode A) ou d'exécuter votre propre test avec des ensembles de navigateurs randomisés. Nous vous déconseillons d'utiliser le mode B, car l'absence de cookies tiers rend difficile la création de rapports sur les métriques basées sur les conversions.
- Les groupes de navigateurs gérés par Chrome excluent certaines instances Chrome, comme les utilisateurs de Chrome Enterprise, alors que vos propres ensembles de navigateurs aléatoires ne les excluent peut-être pas. Par conséquent, vous ne devez exécuter votre test que sur des groupes Mode A, ou uniquement sur des groupes autres que Mode A/Mode B, afin d'éviter de comparer les métriques obtenues sur des groupes Chrome-facilitated avec celles obtenues en dehors de ces groupes.
- Si vous n'utilisez pas de groupes de navigateurs libellés gérés par Chrome (par exemple, si vous exécutez un test sur un autre trafic) :
- Vérifiez que la répartition des utilisateurs entre les groupes de traitement et de contrôle est aléatoire et sans biais. Quelle que soit la configuration du groupe de test, évaluez les caractéristiques des groupes de traitement et de contrôle pour vérifier qu'ils sont comparables. (voir la section 15)
- Vérifiez que les caractéristiques des utilisateurs et les configurations des campagnes des groupes de traitement et de contrôle sont identiques (par exemple, utilisez des zones géographiques similaires dans les deux groupes). (voir la section 28)
- Par exemple, vérifiez que des types de conversion similaires sont mesurés à l'aide de la même période d'attribution et de la même logique d'attribution, que les campagnes ciblent des audiences, des groupes de centres d'intérêt et des zones géographiques similaires, et qu'elles utilisent un contenu et des formats d'annonces similaires.
- √ que les tailles de population initiales des groupes de traitement et de contrôle sont suffisamment importantes pour permettre une flexibilité en termes d'enchères et de tests.
- Si vous utilisez des groupes de navigateurs avec libellé gérés par Chrome (mode A), la randomisation des instances de navigateur Chrome dans des groupes est gérée par Chrome. Comme précédemment, nous vous recommandons de vérifier que la randomisation génère des groupes non biaisés / comparables pour vos besoins.
Suggestions de points d'analyse
- Nous vous recommandons de définir des groupes de contrôle et de traitement, et d'utiliser un modèle de machine learning différent pour l'optimisation des enchères pour chaque groupe :
- Contrôle 1 : Utilisation du modèle d'optimisation des enchères entraîné sur les méthodes de mesure actuelles (cookies tiers et données non issues de cookies tiers)
- (Facultatif) Contrôle 2 : utilisez le modèle d'optimisation des enchères entraîné sans Privacy Sandbox ni cookies tiers, c'est-à-dire uniquement avec des données de cookies autres que des cookies tiers.
- Notez que certains cookies tiers peuvent toujours être disponibles sur certains sites. Pour obtenir des résultats les plus précis possibles, n'utilisez pas ces cookies tiers pour les mesures dans les méthodologies de contrôle 2 ou de traitement.
- Traitement : utilisez le modèle d'optimisation des enchères entraîné sur l'API Attribution Reporting et les données des cookies autres que tiers.
- Notez que certains cookies tiers peuvent toujours être disponibles sur certains sites. Pour obtenir des résultats les plus précis possibles, n'utilisez pas ces cookies tiers pour les mesures dans les méthodologies de contrôle 2 ou de traitement.
Métriques
- Définissez les métriques qui ont du sens pour votre entreprise pour mesurer les résultats, et incluez une description de leur signification et de leur mode de mesure.
- Par exemple, la métrique pertinente peut être les dépenses (revenus des éditeurs), ce qui correspond aux consignes de la CMA pour comprendre l'impact de l'abandon des cookies tiers sur les "Revenus par impression". Pour en savoir plus, consultez la section 19.
- Si vous créez des rapports sur des métriques basées sur les conversions, vous devez utiliser la même méthodologie de mesure pour chaque groupe de test afin d'éviter les tests multivariés (qui testent l'impact sur l'optimisation et les rapports dans un même test). Consultez les tableaux de modèles suggérés pour savoir comment mettre en forme les commentaires quantitatifs.
- Envisagez d'autres méthodes pour collecter des métriques sur l'impact de l'optimisation des enchères, par exemple en simulant des enchères. Existe-t-il des métriques simulées qui seraient utiles pour comprendre l'impact des cookies tiers et de l'ARA sur vos modèles d'enchères ?
- Indiquez si les métriques sont basées sur des rapports au niveau des événements, des rapports récapitulatifs ou une combinaison des deux (et si des rapports de débogage ont été utilisés).
Analyse
- Couverture :
- Pouvez-vous mesurer un ensemble d'utilisateurs similaire à celui des cookies tiers ? Avez-vous constaté des changements dans la couverture (par exemple, avec le transfert d'application vers le Web) ?
- Pouvez-vous mesurer les conversions (et les dimensions/métriques) qui vous intéressent le plus, vous ou vos annonceurs ?
- Quelles conséquences les différences entre les groupes auront-elles sur les éléments suivants ?
- Rapports sur les annonceurs, par exemple, quel pourcentage de conversions clés pourriez-vous enregistrer ?
- L'entraînement et l'optimisation, par exemple, simulent l'impact de différentes données de conversion sur les performances du modèle.
- Autres commentaires qualitatifs :
- En quoi l'ARA a-t-il un impact sur la complexité de la configuration de l'optimisation des enchères des annonceurs ?
- L'ARA aide-t-elle ou empêche-t-elle les annonceurs de se concentrer sur les métriques et les objectifs qui les intéressent ?
Modèles de tableaux suggérés pour l'impact des enchères
(Enchères) Tableau 1 :
Exemple de tableau de résultats expérimentaux que les participants au marché doivent envoyer à la CMA (extrait de la page 18, mais les testeurs doivent déterminer les métriques les plus pertinentes / faisables à fournir et adapter le tableau si nécessaire).
|
Traitement par rapport au groupe de contrôle 1 Compare l'état final proposé à l'état actuel |
Traitement par rapport au groupe de contrôle 2 Compare l'état final proposé sans API PS du tout. |
Contrôle 2 par rapport au contrôle 1 Compare l'optimisation des enchères avec et sans cookies tiers, sans API PS. |
|
| Méthodologie de mesure | Pour éviter les tests multivariés, utilisez des données de cookies tiers et non tiers pour mesurer les métriques basées sur les conversions pour les deux groupes de chaque test. | ||
| Revenus par impression | Effet | Effet | Effet |
| Erreur-type | Erreur-type | Erreur-type | |
| Intervalle de confiance de 95 % | Intervalle de confiance de 95 % | Intervalle de confiance de 95 % | |
| (Ajoutez vos propres métriques) | |||
(Enchères) Tableau 2 :
Exemple de tableau de modèle pour générer des statistiques descriptives sur les métriques des groupes de traitement et de contrôle (extrait de la page 20, mais les testeurs doivent déterminer les métriques les plus pertinentes / faisables à fournir et adapter le tableau si nécessaire).
|
Traitement Optimisation des enchères à l'aide de l'ARA et de toutes les données de cookies autres que celles des tiers que vous utilisez |
Bras de contrôle 1 Optimisation des enchères à l'aide de cookies tiers et de toutes les données de cookies non tiers que vous utilisez |
Bras de contrôle 2 Optimisation des enchères à l'aide de données de cookies autres que celles des tiers uniquement |
|
| Méthodologie de mesure | Pour éviter les tests multivariés, utilisez des données de cookies tiers et non tiers pour mesurer les métriques basées sur les conversions dans tous les groupes. | ||
| Revenus par impression | Moyenne | Moyenne | Moyenne |
| Écart type | Écart type | Écart type | |
| 25e et 75e centiles | 25e et 75e centiles | 25e et 75e centiles | |
| (ajoutez vos propres métriques) | |||
Objectif 3 : Effectuer un test de charge du service d'agrégation
Consultez le framework de test de charge du service d'agrégation.