Guida ai test di misurazione

Lo scopo di questa guida è fornire indicazioni sull'esecuzione di un test autonomo dell'API Attribution Reporting di Privacy Sandbox. Per maggiori dettagli, vedi la sezione 12.

• La misurazione dei risultati dei gruppi di controllo e di trattamento nei progetti sperimentali 1 e 2 della CMA è trattata nelle linee guida per i test delle API per la pertinenza, poiché lo scopo di questi esperimenti è testare l'efficacia dell'utilizzo di Protected Audience e Topics. Per maggiori dettagli, vedi la Sezione 11.

Prima di iniziare

• Consulta le indicazioni per la configurazione e l'impostazione dell'API Attribution Reporting.
• Consulta le linee guida per i test della CMA: Nota sugli esperimenti (novembre 2022), Linee guida per i test (giugno 2023) e Linee guida aggiuntive per i test (ottobre 2023).

Obiettivi di valutazione e configurazione dell'esperimento proposta

Obiettivo 1: determinare l'efficacia dell'API Attribution Reporting per la generazione di report

Proponiamo una configurazione A/A per misurare l'impatto sui report

• Questa proposta è in linea con le indicazioni della CMA sulla valutazione delle metriche basate sulle conversioni. Per maggiori dettagli, consulta la sezione 21 e la sezione 12.
• Preferiamo questo metodo alla modalità A/B perché il test dell'API Attribution Reporting (ARA) può essere eseguito misurando contemporaneamente le conversioni sullo stesso insieme di impressioni utilizzando due diverse metodologie di misurazione (cookie di terze parti + dati non relativi a cookie di terze parti e ARA + dati non relativi a cookie di terze parti).
• Un esperimento A/A isola anche l'impatto dell'API Attribution Reporting sulla misurazione delle conversioni (ad esempio, evita qualsiasi variazione dei tassi di conversione dovuta alla mancanza di cookie di terze parti).

Punti di analisi suggeriti

• Scegli una porzione di traffico sufficientemente ampia da ottenere risultati statisticamente significativi e che includa sia cookie di terze parti sia API Privacy Sandbox. Idealmente, si tratta di tutto il traffico, ad eccezione della modalità B (che disattiva i cookie di terze parti).
  • Ti consigliamo di escludere la modalità B dall'esperimento A/A, poiché i cookie di terze parti non saranno disponibili e non potrai confrontare i risultati di ARA con quelli dell'attribuzione basata sui cookie di terze parti.
  • Se vuoi includere la modalità B, ti consigliamo di attivare i report di debug per la sezione di traffico della modalità B. I report di debug ti aiuteranno a risolvere eventuali problemi di configurazione o implementazione.
• Se prevedi di eseguire il test su una porzione più piccola di traffico, ci aspettiamo che riceverai risultati di misurazione più rumorosi del previsto. Ti consigliamo di indicare nell'analisi la frazione di traffico utilizzata e se stai generando report basati su report con rumore o report di debug senza rumore.
  • Per i report di riepilogo, i valori di riepilogo saranno probabilmente inferiori e il servizio di aggregazione aggiungerà rumore dalla stessa distribuzione indipendentemente dal valore di riepilogo.
• Testa diverse metodologie di misurazione su questa porzione di traffico
  • Controllo 1: utilizza le metodologie di misurazione attuali (cookie di terze parti + dati di cookie non di terze parti)
  • (facoltativo) Controllo 2: nessuna Privacy Sandbox e nessun cookie di terze parti, ovvero solo dati dei cookie non di terze parti
    • Tieni presente che alcuni cookie di terze parti potrebbero essere ancora disponibili per alcuni siti. Per risultati più accurati, non utilizzare questi cookie di terze parti per la misurazione nelle metodologie Controllo 2 o Trattamento.
  • Gruppo sperimentale: API Privacy Sandbox e dati non di cookie di terze parti
    • Tieni presente che alcuni cookie di terze parti potrebbero essere ancora disponibili per alcuni siti. Per risultati più accurati, non utilizzare questi cookie di terze parti per la misurazione nelle metodologie Controllo 2 o Trattamento.

Metriche

• Definisci quali metriche sono più adatte alla tua attività per misurare i risultati e includi una descrizione del significato della metrica e di come viene misurata.
  • Ti consigliamo di concentrarti sulle dimensioni e sulle metriche importanti per i tuoi inserzionisti. Ad esempio, se i tuoi inserzionisti si concentrano sulle conversioni di acquisto, misura i conteggi delle conversioni per queste e il valore di acquisto.
• Le metriche basate sul conteggio o sulla somma (ad esempio, il tasso di conversione) sono più adatte rispetto a quelle basate sul costo per (ad esempio, il costo per conversione). Per l'analisi A/A, le metriche di costo possono essere derivate completamente dai valori di conversione di conteggio o somma.
• Specifica se le metriche si basano su report a livello di evento, report di riepilogo o una combinazione di entrambi i report (e se sono stati utilizzati report di debug).
• Consulta le tabelle dei modelli suggeriti per indicazioni su come formattare il feedback quantitativo.

Analisi

• Copertura:
  • Puoi misurare un insieme simile di utenti rispetto ai cookie di terze parti? Noti una copertura maggiore (ad esempio con app-to-web)?
  • Sei in grado di misurare le conversioni (e le dimensioni o le metriche) che interessano di più te o i tuoi inserzionisti?
• Feedback quantitativo
  • Nei report degli inserzionisti, ad esempio, quale percentuale di conversioni chiave potresti segnalare per quell'inserzionista o quale percentuale di campagne soddisfa una barra di qualità dei report (la derivazione di una barra di qualità consente di apportare aggiustamenti per le campagne con un numero ridotto di conversioni)
  • Ad esempio, se segmenti i dati per inserzionista, ci sono inserzionisti che oggi dipendono più o meno dai cookie di terze parti per i report?
• Altri feedback qualitativi:
  • In che modo ARA influisce sulla complessità della configurazione della misurazione/attribuzione degli inserzionisti?
  • L'ARA aiuta o ostacola gli inserzionisti nel concentrarsi sulle metriche e sugli obiettivi che contano per loro?

Tabelle dei modelli suggeriti per il report sull'impatto

(Report) Tabella 1:

Tabella modello di esempio per la generazione di report sui risultati sperimentali per la CMA (tratta da pagina 18, ma i tester devono valutare quali metriche sono più significative / fattibili da fornire e adattare la tabella in base alle esigenze).

(Report) Tabella 2:

Tabella modello di esempio per il report delle statistiche descrittive per le metriche nei gruppi sperimentali e di controllo (tratta da pagina 20, ma i tester devono valutare quali metriche sono più significative / fattibili da fornire e adattare la tabella in base alle esigenze).

Obiettivo 2: determinare l'efficacia dell'API Attribution Reporting per l'ottimizzazione delle offerte

Proponiamo una configurazione A/B per misurare l'impatto sull'ottimizzazione delle offerte.

• Per misurare l'impatto sull'ottimizzazione delle offerte, devi addestrare due diversi modelli di machine learning e utilizzarli su due segmenti di traffico: un modello addestrato sulle attuali metodologie di misurazione (cookie di terze parti + dati non relativi a cookie di terze parti) da applicare al gruppo di controllo e un modello addestrato sull'API Attribution Reporting + dati non relativi a cookie di terze parti da applicare al gruppo di trattamento.
• L'addestramento del modello deve basarsi su tutto il traffico che il tester ritiene necessario per massimizzare il rendimento, anche se il gruppo di trattamento è una porzione più piccola di traffico e c'è una sovrapposizione tra le popolazioni di addestramento (ad esempio, utilizza il modello di cookie di terze parti esistente che viene addestrato su tutto il traffico e addestra il modello ARA su tutto il traffico ARA abilitato per l'obiettivo 1).
  • Se invii i risultati alla CMA, indica se esiste una differenza significativa tra le sezioni di traffico utilizzate per l'addestramento di modelli diversi (ad esempio, se i modelli basati su cookie di terze parti vengono addestrati sul 100% del traffico, mentre i modelli basati su ARA vengono addestrati solo sull'1% del traffico).
• Se possibile, l'addestramento dei modelli di offerta sia per il gruppo sperimentale che per il gruppo di controllo deve avvenire per lo stesso periodo di tempo.
• Valuta se devi addestrare e aggiornare continuamente i modelli di offerta durante l'esperimento e, in caso affermativo, se devi addestrarli su tutto il traffico possibile o solo sul traffico dei gruppi sperimentale e di controllo.
• I diversi modelli devono essere utilizzati su segmenti di traffico disgiunti come esperimento A/B. Per la randomizzazione e l'assegnazione degli utenti nei gruppi sperimentale e di controllo, ti consigliamo di utilizzare i gruppi di browser etichettati facilitati da Chrome (modalità A) o di eseguire il tuo esperimento con insiemi di browser randomizzati. Non consigliamo di utilizzare la modalità B, in quanto la mancanza di cookie di terze parti renderà difficile generare report sulle metriche basate sulle conversioni.
  • I gruppi di browser agevolati da Chrome escluderanno alcune istanze di Chrome, come gli utenti di Chrome Enterprise, mentre i tuoi set casuali di browser potrebbero non escludere queste istanze di Chrome. Pertanto, devi eseguire l'esperimento solo sui gruppi in modalità A o solo sui gruppi non in modalità A/B per evitare di confrontare le metriche ottenute sui gruppi facilitati da Chrome con quelle ottenute al di fuori di questi gruppi.
  • Se non utilizzi gruppi di browser etichettati facilitati da Chrome (ad esempio, se esegui l'esperimento su altro traffico):
    • Verifica che la suddivisione degli utenti nei gruppi sperimentale e di controllo sia casuale e imparziale. Indipendentemente dalla configurazione del gruppo sperimentale, valuta le caratteristiche dei gruppi sperimentale e di controllo per verificare che siano comparabili. (vedi Sezione 15)
    • Verifica che le caratteristiche degli utenti e le configurazioni delle campagne dei gruppi sperimentale e di controllo siano le stesse (ad esempio, utilizza aree geografiche simili in entrambi i gruppi). (Vedi: Sezione 28)
      • Alcuni esempi specifici includono: verificare che vengano misurati tipi di conversione simili utilizzando la stessa finestra di attribuzione e la stessa logica di attribuzione, che le campagne abbiano come target segmenti di pubblico, gruppi di interesse e località simili e che utilizzino testi pubblicitari e formati degli annunci simili.
    • √ che le dimensioni iniziali della popolazione per i gruppi sperimentali e di controllo siano sufficientemente grandi da consentire flessibilità per le offerte e la sperimentazione.
  • Se utilizzi gruppi di browser etichettati facilitati da Chrome (modalità A), la randomizzazione delle istanze del browser Chrome nei gruppi viene gestita da Chrome. Ti consigliamo di verificare, come in precedenza, che la randomizzazione produca gruppi imparziali / comparabili per i tuoi scopi.

Punti di analisi suggeriti

• Ti consigliamo di definire i gruppi di controllo e sperimentale e di utilizzare un modello di machine learning diverso per l'ottimizzazione delle offerte per ciascun gruppo:
  • Controllo 1: utilizza il modello di ottimizzazione delle offerte addestrato sulle metodologie di misurazione attuali (cookie di terze parti + dati non di cookie di terze parti)
  • (facoltativo) Controllo 2: utilizza il modello di ottimizzazione delle offerte addestrato senza Privacy Sandbox e senza cookie di terze parti, ovvero solo dati non di cookie di terze parti
    • Tieni presente che alcuni cookie di terze parti potrebbero essere ancora disponibili per alcuni siti. Per risultati più accurati, non utilizzare questi cookie di terze parti per la misurazione nelle metodologie Controllo 2 o Gruppo sperimentale.
  • Trattamento: utilizza il modello di ottimizzazione delle offerte addestrato sull'API Attribution Reporting e sui dati non relativi ai cookie di terze parti
    • Tieni presente che alcuni cookie di terze parti potrebbero essere ancora disponibili per alcuni siti. Per risultati più accurati, non utilizzare questi cookie di terze parti per la misurazione nelle metodologie Controllo 2 o Gruppo sperimentale.

Metriche

• Definisci quali metriche sono più adatte alla tua attività per misurare i risultati e includi una descrizione del significato della metrica e di come viene misurata.
  • Ad esempio, la metrica significativa potrebbe essere la spesa (entrate del publisher), che è in linea con le indicazioni della CMA per comprendere l'impatto del ritiro dei cookie di terze parti sulle "entrate per impressione". Per ulteriori dettagli, consulta la Sezione 19.
• Se generi report su metriche basate sulle conversioni, devi utilizzare la stessa metodologia di misurazione per ogni gruppo, per evitare test multivariati (test dell'impatto sull'ottimizzazione e sui report in un unico esperimento). Consulta le tabelle dei modelli suggeriti per indicazioni su come formattare il feedback quantitativo.
• Valuta altri modi per raccogliere metriche sull'impatto dell'ottimizzazione delle offerte, ad esempio utilizzando le offerte simulate. Esistono metriche simulate utili per comprendere l'impatto dei cookie di terze parti e di ARA sui tuoi modelli di offerta?
• Specifica se le metriche si basano su report a livello di evento, report di riepilogo o una combinazione di entrambi i report (e se sono stati utilizzati report di debug).

Analisi

• Copertura:
  • Puoi misurare un insieme simile di utenti rispetto ai cookie di terze parti? Noti modifiche alla copertura (ad esempio con app-to-web)?
  • Sei in grado di misurare le conversioni (e le dimensioni/metriche) che interessano di più te o i tuoi inserzionisti?
• In che modo le differenze tra i gruppi influiscono su quanto segue:
  • Report dell'inserzionista, ad esempio, la percentuale di conversioni chiave che potresti registrare.
  • L'addestramento e l'ottimizzazione, ad esempio, simulano l'impatto di diversi dati di conversione sul rendimento del modello.
• Altri feedback qualitativi:
  • In che modo l'ARA influisce sulla complessità della configurazione dell'ottimizzazione delle offerte degli inserzionisti?
  • L'ARA aiuta o ostacola gli inserzionisti a concentrarsi sulle metriche e sugli obiettivi che contano per loro?

Tabelle dei modelli suggeriti per l'impatto delle offerte

(Offerte) Tabella 1:

Tabella modello di risultati sperimentali che i partecipanti al mercato devono inviare alla CMA (tratta da pagina 18, ma i tester devono valutare quali metriche sono più significative / fattibili da fornire e adattare la tabella in base alle esigenze).

(Offerte) Tabella 2:

Tabella modello di esempio per il report delle statistiche descrittive per le metriche nei gruppi sperimentali e di controllo (tratta da pagina 20, ma i tester devono valutare quali metriche sono più significative / fattibili da fornire e adattare la tabella in base alle esigenze).

Obiettivo 3: test di carico del servizio di aggregazione

Consulta Framework di test di carico del servizio di aggregazione.