Framework per i test di carico di Aggregation Service

Saremo lieti di ricevere il tuo feedback su questo documento mentre ci prepariamo ad aggiungerlo al nostro repository di indicazioni pubbliche.

Invitiamo le tecnologie pubblicitarie a eseguire test di carico sul 100% del traffico di produzione:

  1. Gli esperti di tecnologia pubblicitaria devono accedere alla misurazione dell'attribuzione delle conversioni utilizzando l'API Attribution Reporting come casi d'uso per i report.
  2. La tecnologia pubblicitaria deve prendere decisioni di design riducendo al minimo il rumore (riferimento: decisioni di design modellate)
  3. Durante i test, i fornitori di tecnologia pubblicitaria devono tenere traccia del numero di job eseguiti al giorno (ad es. per i job dell'inserzionista), di una distribuzione stimata del volume di eventi di conversione e del numero di chiavi aggregate come input per ogni job di elaborazione (fai riferimento al parametro del job output_domain_blob_prefix nella documentazione dell'API Aggregation Service) e degli eventi di conversione medi stimati per ogni report di input.
  4. Per i test, gli esperti di pubblicità devono cercare il tipo di istanza consigliato dalla tabella delle indicazioni per le dimensioni in base alle dimensioni previste del job (ad es. volume dei report, dimensioni del dominio) e determinare di conseguenza le dimensioni del servizio di aggregazione di cui hanno eseguito il deployment. Riferimento: Indicazioni per la dimensione del servizio aggregato su AWS
  5. I professionisti della tecnologia pubblicitaria devono eseguire job di aggregazione per i test di carico.

Obiettivi

Queste indicazioni sono specifiche per la misurazione dell'attribuzione delle conversioni aggregate e includono istruzioni di configurazione e impostazioni chiave destinate all'uso da parte degli esperti di ad tech per:

  • Stima le aspettative di carico per la misurazione dell'attribuzione delle conversioni aggregate.
  • Ottimizzare la configurazione e la configurazione principali per rendimento e rumore in base alle dimensioni e agli obiettivi che intendevano misurare, nonché alle dimensioni e alla segmentazione dei propri inserzionisti.

Prerequisito

Questa guida è rivolta a un pubblico di esperti di ad tech. Prima di procedere con i seguenti passaggi, ti consigliamo di consultare la nostra documentazione su come lavorare con il rumore, sulle decisioni di progettazione dei report di riepilogo e di fare esperimenti con Noise Lab per una configurazione ottimale.

Passaggi

1. Strategia di configurazione iniziale delle chiavi di aggregazione

Determina quante diverse strutture chiave (ovvero insiemi di dimensioni) ti servono in base al tipo di attività e ai suoi scopi. Tieni presente che l'ottimizzazione della struttura delle chiavi potrebbe contribuire a ridurre il rumore nei report.

Il numero di inserzionisti che hai
Ad esempio, supponiamo che tu abbia 1000 inserzionisti.

Le somiglianze tra gli inserzionisti
Le somiglianze devono essere valutate in base al volume di conversioni, ai valori di conversione relativi e alla copertura generale delle caratteristiche degli inserzionisti. Quanto più simili riesci a raggrupparli, più precisi saranno i risultati (a causa della minore varianza nei valori di output) e, di conseguenza, minore sarà l'impatto del rumore. Per ulteriori dettagli, consulta la pagina relativa alla gestione avanzata delle chiavi. Ad esempio, una tecnologia pubblicitaria può segmentare i propri inserzionisti in base a settore, spesa e volume di conversioni come segue:

  • Settore (ad es. Assicurazioni, Gioielleria, Vendita al dettaglio in crescita)
  • Spesa (ad es. meno di 50.000 $/trimestre, 50.000-150.000 $/trimestre, 150.000-250.000 $/trimestre)
  • Volume di conversioni (basso, medio, alto)

Il numero di strutture di chiavi aggregate da creare
Ad esempio, 27 (3x3x3) : 3 settori, 3 tipi di spesa e 3 raggruppamenti per valori di conversione.

2. Identifica le dimensioni chiave dell'aggregazione

Successivamente, identifica le dimensioni importanti da monitorare sia per le impressioni sia per le conversioni per stimare il numero di chiavi lato sorgente e lato trigger.

Per ogni struttura della chiave di aggregazione, le dimensioni importanti che devi monitorare per le impressioni ti aiuteranno a determinare il numero di chiavi lato sorgente. Le dimensioni dipendono dal tipo di inserzionista, ad esempio settore, spesa o conversione. I seguenti esempi aiutano a spiegare le dimensioni:

  • Struttura chiave 1: (settore = assicurazione, spesa = <50.000, volume di conversioni = basso)

    • A: 4 dimensioni: Campagna (ad es. 50 possibili opzioni), Gruppo di annunci (ad es. 20 possibilità), Tipo di dispositivo (ad es. 5 possibilità), Geo (ad es. 50 possibilità)
      1. Combinazioni dimensionali possibili = 50 x 20 x 5 x 50 = 250.000. Rappresenta il numero di possibili combinazioni dimensionali per le chiavi lato origine per la struttura della chiave 1.
      2. È necessario riservare 18 bit (18 bit = 262.144 combinazioni possibili)
  • Struttura della chiave 2: (Settore = assicurazione, spesa = <50.000, volume di conversioni = medio)

    • A: 4 dimensioni: Campagna (ad es. 30 possibili opzioni), Gruppo di annunci (ad es. 80 possibilità), Tipo di annuncio (ad es. 3 possibili opzioni), Geo (ad es. 50 possibilità).
      1. Combinazioni dimensionali possibili = 30 x 80 x 3 x 50 = 360.000. Rappresenta il numero di possibili combinazioni dimensionali o chiavi lato origine per la struttura della chiave 2.
      2. È necessario riservare 19 bit (19 bit) = 524.288 combinazioni possibili)
  • Struttura della chiave 3: ripeti (prendi in considerazione in modo simile tutte le strutture delle chiavi di cui disponi)

Per ogni struttura della chiave di aggregazione, le dimensioni importanti che devi monitorare per le conversioni ti aiuteranno a determinare le chiavi lato trigger. Ad esempio:

  • Struttura chiave 1: (settore = assicurazione, spesa = <50.000, volume di conversioni = basso)

    • A: 2 dimensioni: Categoria di prodotto (ad es. 100 possibili opzioni), Tipo di conversione (ad es. 5 possibilità)
      1. Possibili combinazioni dimensionali = 100 x 5 = 500
      2. È necessario riservare 9 bit (9 bit = 512 possibili combinazioni)
  • Struttura della chiave 2: (Settore = assicurazione, spesa = <50.000, volume di conversioni = medio)

    • A: 3 dimensioni: Categoria di prodotto (ad es. 50 possibilit'), Tipo di prodotto (10 possibilit'), Tipo di conversione (3 possibilit')
      1. Possibili combinazioni dimensionali = 50 x 10 x 3 = 1500
      2. È necessario riservare 11 bit (11 bit = 2048 combinazioni possibili)
  • Struttura chiave 3: ripeti (prendi in considerazione in modo simile tutte le strutture chiave di cui disponi)

Stime per le chiavi aggregate

  • Struttura delle chiavi 1: 250.000 chiavi di impressione x 500 chiavi di conversione = 125.000.000 chiavi
  • Struttura delle chiavi 2: 360.000 chiavi di impressione x 1500 chiavi di conversione = 540.000.000 chiavi
  • Struttura chiave 3: (pianifica in modo simile tutte le strutture chiave di cui disponi)
  • Ripeti per ogni struttura della chiave
  • Chiavi aggregate massime = 540.000.000 chiavi (in tutte le strutture di chiavi). È necessario riservare 30 bit (30 bit = 1,07 miliardi di combinazioni possibili)

Volume di conversioni previsto

Per ogni struttura della chiave di aggregazione, il volume previsto può essere spiegato utilizzando i seguenti esempi:

  • Struttura chiave 1: (settore = assicurazione, spesa = <50.000, volume di conversioni = basso)
    • R: prevediamo che la struttura chiave 1 costituirà una spesa pubblicitaria di circa 500.000 $nel prossimo trimestre a un prezzo CPM medio di 8 $. Prevediamo che questo comporterà 62.500.000 impressioni da registrare.
    • Prevediamo che il tasso di conversione medio delle impressioni che la Struttura chiave 1 costituirà nel prossimo trimestre sia dello 0,08%, con un totale di 50.000 conversioni attribuite da acquisire. Per ogni conversione, misura il valore e il numero di acquisti.
  • Struttura della chiave 2: (settore = assicurazione, spesa = <50.000, volume di conversioni = medio)
    • R: prevediamo che la chiave 2 costituirà una spesa di circa 800.000 $ nel prossimo trimestre a un prezzo medio di 10 $ CPM. Dovresti prevedere 80.000.000 di impressioni da registrare.
    • Prevediamo che il tasso di conversione medio delle impressioni costituito dall'attributo 2 nel prossimo trimestre sia dello 0,03125%, con un risultato di 25.000 conversioni attribuite da acquisire. Per ogni conversione, misura il valore e il numero di acquisti.
  • Ripeti per ogni struttura della chiave

Pubblicazione dei report e frequenza dei batch (batch per inserzionista)**

Per ogni struttura della chiave di aggregazione, dovrai ricevere i report sulle conversioni su base ricorrente. Consigliamo alle tecnologie pubblicitarie di raggruppare gli inserzionisti (per una separazione più chiara dei dati per report e un'aggregazione più efficiente) e di utilizzare il campo shared_info.scheduled_report_time del report per il raggruppamento.

  • A: Oraria
  • B: Giornaliera
  • C: Settimanale

Note

  • Per l'aggregazione per inserzionista, verifica gli SLA con gli inserzionisti.
  • Un raggruppamento più frequente includerà un rumore maggiore per batch. (consulta Decisione: frequenza batch).

  • Per evitare errori dovuti a batching errato, assicurati che i batch utilizzino il campo scheduled_report_time, non report arrival time. Ad esempio, se effettui il batch ogni ora, il batch per le 11:00 deve includere solo i report con scheduled_report_time tra le 10:00 e le 11:00 e non i report che sono arrivati tra le 10:00 e le 11:00 con un scheduled_report_time diverso (ad es. 09:00).

Stime per il volume di report

  • Struttura chiave 1: 50.000 conversioni attribuite / 2160 (report orari, ore in un trimestre) = 24 report di riepilogo all'ora per inserzionista (24 x 1000 inserzionisti = 24.000 report di riepilogo)
  • Struttura chiave 2: 25.000 conversioni attribuite / 2160 (report orari, ore in un trimestre) = 12 report di riepilogo all'ora per inserzionista (12 x 1000 inserzionisti = 12.000 report di riepilogo)
  • Struttura della chiave 3: ripetizione
  • Numero totale di report di riepilogo all'ora = 24 report di riepilogo per la struttura della chiave 1 + 12 report di riepilogo per la struttura della chiave 2 + ... = ... all'ora per inserzionista

Riepilogo dei feedback

La comprensione delle seguenti stime delle tecnologie pubblicitarie ci aiuta a pianificare funzionalità e miglioramenti per supportare la scalabilità richiesta dalle tecnologie pubblicitarie. Ti consigliamo di condividere con noi quanto segue. Per ulteriori informazioni, consulta le nostre linee guida per la definizione delle dimensioni del servizio di aggregazione su AWS:

  • Chiavi di dominio di input massime (chiavi per le quali eseguire l'aggregazione) per job del servizio di aggregazione
  • Volume massimo di report di input per job (conversioni attribuite)
  • Contributi stimati per report (coppie chiave/valore in un report)
  • Distribuzione stimata delle conversioni attribuite per job
  • Distribuzione stimata delle chiavi di dominio in un job
  • Numero stimato di job per ora/giorno/settimana