Framework de tests de charge du service d'agrégation

N'hésitez pas à nous faire part de vos commentaires sur ce document, car nous prévoyons de l'ajouter à notre dépôt public de conseils.

Nous encourageons les ad techs à effectuer des tests de charge sur 100 % du trafic de production :

Les technologies publicitaires doivent accéder à la mesure de l'attribution des conversions à l'aide de l'API Attribution Reporting pour leurs cas d'utilisation de reporting.
La technologie publicitaire doit prendre des décisions de conception tout en minimisant le bruit (référence : décisions de conception modélisées).
Lors des tests, les ad techs doivent suivre le nombre de jobs qu'elles exécutent par jour (par exemple, les jobs par annonceur), une estimation de la distribution du volume d'événements de conversion et le nombre de clés d'agrégation en entrée par job de traitement (consultez le paramètre de job output_domain_blob_prefix dans la documentation de l'API Aggregation Service), ainsi que le nombre moyen estimé d'événements de conversion par rapport d'entrée.
Pour les tests, les ad techs doivent rechercher le type d'instance recommandé dans le tableau des conseils de dimensionnement en fonction de la taille de leur tâche prévue (c'est-à-dire le volume de rapports, la taille du domaine) et dimensionner leur service d'agrégation déployé en conséquence. Référence : Conseils sur le dimensionnement du service agrégé sur AWS
Les ad techs doivent exécuter des tâches d'agrégation pour les tests de charge.

Objectifs

Ces conseils concernent spécifiquement la mesure de l'attribution des conversions agrégées. Ils incluent des instructions de configuration clés destinées aux technologies publicitaires pour :

Estimez les attentes de charge pour la mesure de l'attribution globale des conversions.
Optimiser leur configuration clé pour les performances et le bruit en fonction des dimensions et des objectifs qu'ils souhaitent mesurer, ainsi que de la taille et de la segmentation de leurs annonceurs.

Conditions préalables

Ce guide est destiné aux professionnels des technologies publicitaires. Avant de suivre les étapes ci-dessous, consultez notre documentation sur l'utilisation du bruit, les décisions de conception des rapports récapitulatifs et testez le bruit lab pour obtenir une configuration optimale.

Étapes

1. Stratégie de configuration initiale des clés d'agrégation

Déterminez le nombre de structures clés (c'est-à-dire d'ensembles de dimensions) dont vous avez besoin en fonction de votre type d'activité et de vos objectifs. Notez que l'optimisation de la structure de vos clés peut vous aider à réduire le bruit dans les rapports.

Nombre d'annonceurs
Par exemple, supposons que vous ayez 1 000 annonceurs.

Similitudes entre vos annonceurs
Les similitudes doivent être évaluées en fonction du volume de conversions, des valeurs de conversion relatives et de la couverture générale des caractéristiques des annonceurs. Plus vous parviendrez à les regrouper de manière similaire, plus vos résultats seront précis (en raison d'une variance plus faible dans les valeurs de sortie) et moins l'impact du bruit sera important. Pour en savoir plus, consultez Gestion avancée des clés. Par exemple, une ad tech peut segmenter ses annonceurs par secteur, dépenses et volume de conversions comme suit :

Secteur (par exemple, assurance, joaillerie, commerce de détail en pleine croissance)
Dépenses (par exemple, < 50 000 €/trimestre, 50 000 € à 150 000 €/trimestre, 150 000 € à 250 000 €/trimestre)
Volume de conversions (faible, moyen, élevé)

Nombre de structures de clés agrégées à créer
Par exemple, 27 (3x3x3) : 3 secteurs, 3 types de dépenses et 3 groupes pour les valeurs de conversion.

2. Identifier les dimensions clés d'agrégation

Ensuite, identifiez les dimensions importantes que vous souhaitez suivre pour les impressions et les conversions afin d'estimer le nombre de clés côté source et côté déclencheur.

Pour chaque structure de clé d'agrégation, les dimensions importantes que vous devez suivre pour les impressions vous aideront à déterminer le nombre de clés côté source. Les dimensions dépendent du type d'annonceur, comme le secteur, les dépenses ou les conversions. Les exemples suivants vous aideront à comprendre les dimensions :

Structure clé 1 : (Secteur = assurance, dépenses =<0x0A>< 50 000, volume de conversions = faible)
- R : Quatre dimensions : "Campagne" (par exemple, 50 possibilités), groupe d'annonces (par exemple, 20 possibilités), Type d'appareil (par exemple : 5 possibilités), zone géographique (par exemple, 50 possibilités)
  1. Combinaisons de dimensions possibles = 50 x 20 x 5 x 50 = 250 000. Il s'agit du nombre de combinaisons dimensionnelles possibles pour les clés côté source pour la structure de clé 1.
  2. Vous devez réserver 18 bits (18 bits = 262 144 combinaisons possibles).
Structure de clé 2 : (Secteur = assurance, dépenses =< 50 000, volume de conversions = moyen)
- R : Quatre dimensions : "Campagne" (par exemple, 30 possibilités), groupe d'annonces (par exemple, 80 possibilités), type d'annonce (par exemple, 3 possibilités), Geo (par exemple : 50 possibilités).
  1. Combinaisons de dimensions possibles = 30 x 80 x 3 x 50 = 360 000. Il s'agit du nombre de combinaisons de dimensions ou de clés côté source possibles pour la structure de clé 2.
  2. Vous devez réserver 19 bits (19 bits) = <0x0A>524 288 combinaisons possibles)
Structure clé 3 : Répétez l'opération (planifiez de la même manière toutes les structures clés dont vous disposez).

Pour chaque structure de clé d'agrégation, les dimensions importantes que vous devez suivre pour les conversions vous aideront à déterminer les clés côté déclencheur. Exemple :

Structure clé 1 : (secteur = assurance, dépenses < 50 000, volume de conversions = faible)
- R : Deux dimensions : catégorie de produits (par exemple, 100 possibilités), type de conversion (par exemple, 5 possibilités)
  1. Combinaisons de dimensions possibles = 100 x 5 = 500
  2. Vous devez réserver 9 bits (9 bits = 512 combinaisons possibles).
Structure de clé 2 : (Secteur = assurance, dépenses =< 50 000, volume de conversions = moyen)
- R : 3 dimensions : catégorie de produit (par exemple, 50 possibilités), type de produit (10 possibilités), type de conversion (3 possibilités)
  1. Combinaisons de dimensions possibles = 50 x 10 x 3 = 1 500
  2. Vous devez réserver 11 bits (11 bits = 2 048 combinaisons possibles).
Structure clé 3 : Répétez l'opération (planifiez de la même manière toutes les structures clés dont vous disposez).

Estimations pour les clés d'agrégation

Structure de clé 1 : 250 000 clés d'impression x 500 clés de conversion = 125 000 000 clés
Structure de clé 2 : 360 000 clés d'impression x 1 500 clés de conversion = 540 000 000 clés
Structure clé 3 : (planifiez de même pour toutes les structures clés dont vous disposez)
Répétez l'opération pour chaque structure de clé.
Le nombre maximal de clés d'agrégation est de 540 000 000 (pour toutes les structures de clés). Vous devez réserver 30 bits (30 bits = 1,07 milliards de combinaisons possibles).

Volume de conversions attendu

Pour chaque structure de clé d'agrégation, le volume attendu peut être expliqué à l'aide des exemples suivants :

Structure clé 1 : (secteur = assurance, dépenses < 50 000, volume de conversions = faible)
- R : Prévoyez que la structure clé 1 représentera environ 500 000 $de dépenses publicitaires au cours du prochain trimestre,pour un CPM moyen de 8 $. Anticipez que cela générera 62 500 000 impressions à enregistrer.
- Anticipez que le taux de conversion moyen des impressions de la structure clé 1 au cours du prochain trimestre sera de 0,08 %, ce qui entraînera 50 000 conversions attribuées à enregistrer. Pour chaque conversion, mesurez la valeur et le nombre d'achats.
Structure de clé 2 : (Secteur = assurance, dépenses =< 50 000, volume de conversions = moyen)
- R : Prévoyez que la clé 2 représentera environ 800 000 $ de dépenses au cours du prochain trimestre,pour un prix de CPM moyen de 10 $. Anticipez que cela générera 80 000 000 d'impressions à enregistrer.
- Anticipez que le taux de conversion moyen des impressions que constituera la clé 2 au cours du prochain trimestre sera de 0,03125 %, ce qui entraînera 25 000 conversions attribuées à capturer. Pour chaque conversion, mesurez la valeur et le nombre d'achats.
Répétez l'opération pour chaque structure de clé.

Fréquence d'envoi et de regroupement des rapports (regroupement par annonceur)**

Pour chaque structure de clé d'agrégation, vous aurez besoin de rapports sur les conversions qui seront fournis de manière récurrente. Nous recommandons aux technologies publicitaires de regrouper les données par annonceur (pour une séparation plus claire des données par rapport et une agrégation plus efficace) et d'utiliser le champ shared_info.scheduled_report_time du rapport pour le regroupement.

A : Toutes les heures
B: Tous les jours
C: Hebdomadaire

Remarques

Pour le regroupement par annonceur, vérifiez les SLA avec les annonceurs.
Un regroupement plus fréquent inclura un bruit plus élevé par lot. (Voir Décision : fréquence des lots.)
Pour éviter les erreurs dues à un regroupement incorrect, assurez-vous que les lots utilisent le champ scheduled_report_time et non report arrival time. Par exemple, si vous regroupez les rapports toutes les heures, votre lot de 11h ne doit inclure que les rapports dont le scheduled_report_time est compris entre 10h et 11h, et non les rapports reçus entre 10h et 11h avec un scheduled_report_time différent (par exemple, 9h).

Estimations du volume de rapports

Structure clé 1 : 50 000 conversions attribuées / 2 160 (rapports horaires, heures dans un trimestre) = 24 rapports récapitulatifs par heure et par annonceur (24 x 1 000 annonceurs = 24 000 rapports récapitulatifs)
Structure clé 2 : 25 000 conversions attribuées / 2 160 (rapports horaires, heures dans un trimestre) = 12 rapports récapitulatifs par heure et par annonceur (12 x 1 000 annonceurs = 12 000 rapports récapitulatifs)
Structure clé 3 : Répéter
Nombre total de rapports récapitulatifs par heure = 24 rapports récapitulatifs pour la structure clé 1 + 12 rapports récapitulatifs pour la structure clé 2 + ... = ... par heure et par annonceur

Récapitulatif des commentaires

Comprendre les estimations suivantes des technologies publicitaires nous aide à planifier les fonctionnalités et les améliorations pour prendre en charge l'échelle requise par les technologies publicitaires. Nous vous suggérons de nous communiquer les informations suivantes. Pour en savoir plus, consultez nos conseils sur le dimensionnement du service d'agrégation sur AWS :

Nombre maximal de clés de domaine d'entrée (clés à agréger) par job de service d'agrégation
Volume maximal de rapports d'entrée par job (conversions attribuées)
Contributions estimées par rapport (paires clé/valeur dans un rapport)
Distribution estimée des conversions attribuées par job
Distribution estimée des clés de domaine dans un job
Nombre estimé de tâches par heure/jour/semaine