Guida ai test di misurazione

Lo scopo di questa guida è fornire indicazioni su come eseguire un test autonomo dell'API Attribution Reporting di Privacy Sandbox. Per maggiori dettagli, consulta la sezione 12.

  • La misurazione dei risultati del gruppo di controllo e del gruppo sperimentale nei progetti sperimentali 1 e 2 del CMA è trattata nelle linee guida per i test delle API di pertinenza, poiché lo scopo di questi esperimenti è testare l'efficacia dell'utilizzo di Protected Audience e Topics. Per maggiori dettagli, consulta la Sezione 11.

Prima di iniziare

Scopi della valutazione e configurazione dell'esperimento proposta

Obiettivo 1: determinare l'efficacia dell'API Attribution Reporting per i report

Proponiamo una configurazione A/A per misurare l'impatto sui report

  • Questa proposta è in linea con le indicazioni della CMA sulla valutazione delle metriche basate sulle conversioni. Per maggiori dettagli, consulta la Sezione 21 e la Sezione 12.
  • Preferiamo questo metodo alla modalità A/B perché il test dell'API Attribution Reporting (ARA) può essere eseguito misurando contemporaneamente le conversioni nello stesso insieme di impressioni utilizzando due diverse metodologie di misurazione (cookie di terze parti + dati di cookie non di terze parti e ARA + dati di cookie non di terze parti).
  • Un esperimento A/A isola anche l'impatto dell'API Attribution Reporting sulla misurazione delle conversioni (ad esempio, evita eventuali modifiche ai tassi di conversione a causa della mancanza di cookie di terze parti).

Punti di analisi suggeriti

  • Scegli un segmento di traffico sufficientemente grande da ottenere risultati statisticamente significativi e che includa sia i cookie di terze parti sia le API Privacy Sandbox. Idealmente, si tratta di tutto il traffico, ad eccezione della modalità B (che disattiva i cookie di terze parti).
    • Ti consigliamo di escludere la modalità B dall'esperimento A/A, poiché i cookie di terze parti non saranno disponibili e non potrai confrontare i risultati ARA con i risultati dell'attribuzione basata su cookie di terze parti.
    • Se vuoi includere la modalità B, ti consigliamo di attivare i report di debug per la frazione di traffico in modalità B. I report di debug ti aiuteranno a risolvere eventuali problemi di configurazione o implementazione.
  • Se prevedi di eseguire il test su una porzione più piccola di traffico, prevediamo che i risultati di misurazione saranno meno affidabili del previsto. Ti consigliamo di annotare nell'analisi la frazione di traffico utilizzata e se stai generando report sui risultati in base a report con rumore o report di debug senza rumore.
    • Per i report di riepilogo, i valori di riepilogo saranno probabilmente inferiori e il servizio di aggregazione aggiungerà rumore dalla stessa distribuzione, indipendentemente dal valore di riepilogo.
  • Testare diverse metodologie di misurazione su questo segmento di traffico
    • Controllo 1: utilizza le attuali metodologie di misurazione (cookie di terze parti + dati di cookie non di terze parti)
    • (Facoltativo) Gruppo di controllo 2: nessuna Privacy Sandbox e nessun cookie di terze parti, ovvero solo dati dei cookie non di terze parti
      • Tieni presente che alcuni cookie di terze parti potrebbero essere ancora disponibili per alcuni siti. Per risultati più accurati, non utilizzare questi cookie di terze parti per la misurazione nelle metodologie di controllo 2 o del trattamento.
    • Gruppo sperimentale: API Privacy Sandbox e dati dei cookie non di terze parti
      • Tieni presente che alcuni cookie di terze parti potrebbero essere ancora disponibili per alcuni siti. Per risultati più accurati, non utilizzare questi cookie di terze parti per la misurazione nelle metodologie di controllo 2 o del trattamento.

Metriche

  • Definisci le metriche più adatte per la tua attività per misurare i risultati e includi una descrizione del significato della metrica e di come viene misurata.
    • Ti consigliamo di concentrarti sulle dimensioni e sulle metriche importanti per i tuoi inserzionisti. Ad esempio, se i tuoi inserzionisti si concentrano sulle conversioni di acquisto, misura i conteggi delle conversioni per queste ultime e il valore di acquisto.
  • Le metriche basate su conteggio o somma (ad es. tasso di conversione) sono più ideali rispetto al costo per (ad es. costo per conversione). Per l'analisi A/A, le metriche sui costi possono essere completamente ricavate dal conteggio o dalla somma dei valori di conversione.
  • Specifica se le metriche si basano su report a livello di evento, report di riepilogo o su una combinazione di entrambi (e se sono stati utilizzati report di debug).
  • Consulta le tabelle dei modelli suggeriti per indicazioni su come formattare il feedback quantitativo.

Analisi

  • Copertura:
    • Sei in grado di eseguire misurazioni su un insieme di utenti simile rispetto al cookie di terze parti? Noti una copertura più elevata (ad esempio con app-to-web)?
    • Sei in grado di misurare le conversioni (e le dimensioni o le metriche) che ti interessano di più o che interessano di più ai tuoi inserzionisti?
  • Feedback quantitativo
    • Ad esempio, nei report per gli inserzionisti, quale percentuale di conversioni chiave potresti registrare per l'inserzionista o quale percentuale di campagne soddisfa una barra di qualità dei report (l'applicazione di una barra di qualità consente di apportare modifiche alle campagne con un numero ridotto di conversioni).
    • Ad esempio, esistono inserzionisti più o meno dipendenti dai cookie di terze parti per la generazione di report?
  • Altro feedback qualitativo:
    • In che modo l'ARA influisce sulla complessità della configurazione della misurazione/attribuzione degli inserzionisti?
    • L'ARA aiuta o ostacola gli inserzionisti a concentrarsi sulle metriche e sugli obiettivi che contano per loro?

Tabelle dei modelli suggeriti per l'impatto dei report

(Report) Tabella 1:

Tabella di esempio del modello per la segnalazione dei risultati sperimentali alla CMA (presa dalla pagina 18, ma i tester devono considerare quali metriche sono più significative / possibili da fornire e adattare la tabella in base alle esigenze).

Gruppo sperimentale rispetto al gruppo di controllo 1
Confronta lo stato finale proposto con lo stato corrente 		Trattamento rispetto al gruppo di controllo 2
Confronta lo stato finale proposto con nessuna API PS. 		Gruppo di controllo 2 rispetto al gruppo di controllo 1
Confronta la misurazione delle conversioni con e senza cookie di terze parti, senza API PS.
Metodologia di misurazione Confronta la misurazione delle conversioni per il trattamento (ARA con dati di cookie non di terze parti) con il gruppo di controllo 1 (cookie di terze parti e dati di cookie non di terze parti) Confronta la misurazione delle conversioni per il gruppo sperimentale (ARA con dati dei cookie non di terze parti) con il gruppo di controllo 2 (solo dati dei cookie non di terze parti) Confronta la misurazione delle conversioni per il gruppo di controllo 2 (solo dati dei cookie non di terze parti) con quella del gruppo di controllo 1 (dati dei cookie di terze parti e non di terze parti)
Conversioni per dollaro Effetto Effetto Effetto
Errore standard Errore standard Errore standard
Intervallo di confidenza 95% Intervallo di confidenza 95% Intervallo di confidenza 95%
Conversioni totali Effetto Effetto Effetto
Errore standard Errore standard Errore standard
Intervallo di confidenza 95% Intervallo di confidenza 95% Intervallo di confidenza 95%
Tasso di conversione Effetto Effetto Effetto
Errore standard Errore standard Errore standard
Intervallo di confidenza 95% Intervallo di confidenza 95% Intervallo di confidenza 95%
(aggiungi le tue metriche)
(Report) Tabella 2:

Esempio di modello di tabella per la generazione di statistiche descrittive per le metriche nei gruppi sperimentale e di controllo (tratto da pagina 20, ma i tester devono considerare quali metriche sono più significative / possibili da fornire e adattare la tabella in base alle esigenze).

Metrica Trattamento
Misurazione delle conversioni utilizzando l'ARA e tutti i dati dei cookie non di terze parti che utilizzi 		Gruppo di controllo 1
Misurazione delle conversioni utilizzando cookie di terze parti e qualsiasi dato dei cookie non di terze parti che utilizzi 		Gruppo di controllo 2
Misurazione delle conversioni utilizzando solo i dati dei cookie non di terze parti
Conversioni per dollaro Media Media Media
Deviazione standard Deviazione standard Deviazione standard
25° e 75° percentile 25° e 75° percentile 25° e 75° percentile
Conversioni totali Media Media Media
Deviazione standard Deviazione standard Deviazione standard
25° e 75° percentile 25° e 75° percentile 25° e 75° percentile
Tasso di conversione Media Media Media
Deviazione standard Deviazione standard Deviazione standard
25° e 75° percentile 25° e 75° percentile 25° e 75° percentile
(aggiungi le tue metriche)

Obiettivo 2: determinare l'efficacia dell'API Attribution Reporting per l'ottimizzazione delle offerte

Proponiamo una configurazione A/B per misurare l'impatto sull'ottimizzazione delle offerte.

  • Per misurare l'impatto sull'ottimizzazione delle offerte, dovrai addestrare due diversi modelli di machine learning e utilizzarli su due segmenti di traffico: un modello addestrato sulle attuali metodologie di misurazione (cookie di terze parti + dati non basati su cookie di terze parti) da applicare al gruppo di controllo e un modello addestrato sull'API Attribution Reporting + dati non basati su cookie di terze parti da applicare al gruppo sperimentale.
  • L'addestramento del modello deve basarsi sul maggior volume di traffico ritenuto necessario dal tester per massimizzare le prestazioni, anche se il gruppo di trattamento è una frazione più piccola di traffico e le popolazioni di addestramento si sovrappongono (ad esempio, utilizza il modello di cookie di terze parti esistente che viene addestrato su tutto il traffico e addestra il modello ARA su tutto il traffico ARA abilitato per l'obiettivo 1).
    • Se invii i risultati alla CMA, tieni presente se esiste una differenza significativa tra i segmenti di traffico utilizzati per l'addestramento di modelli diversi (ad esempio, se i modelli basati su cookie di terze parti vengono addestrati sul 100% del traffico, ma i modelli basati su ARA vengono addestrati solo sull'1% del traffico).
  • Se possibile, l'addestramento dei modelli di offerta sia del gruppo di trattamento che del gruppo di controllo deve avvenire per la stessa durata.
  • Valuta se addestrare e aggiornare continuamente i modelli di offerta durante l'esperimento e, in caso affermativo, se addestrarli sul maggior volume di traffico possibile o solo sul traffico dei gruppi sperimentale e di controllo.
  • I diversi modelli devono essere utilizzati su segmenti di traffico indipendenti come un esperimento A/B. Per la randomizzazione e l'assegnazione degli utenti ai gruppi sperimentale e di controllo, ti consigliamo di utilizzare gruppi di browser etichettati facilitati da Chrome (modalità A) o di eseguire il tuo esperimento con insiemi di browser casuali. Non consigliamo di utilizzare la modalità B perché la mancanza di cookie di terze parti comporterà difficoltà nella generazione di report sulle metriche basate sulle conversioni.
    • I gruppi di browser agevolati da Chrome escludono alcune istanze di Chrome, come gli utenti di Chrome Enterprise, mentre i tuoi insiemi casuali di browser potrebbero non escluderle. Pertanto, devi eseguire l'esperimento solo sui gruppi in modalità A o solo sui gruppi non in modalità A/B per evitare di confrontare le metriche ottenute nei gruppi facilitati da Chrome con quelle ottenute al di fuori di questi gruppi.
    • Se non utilizzi i gruppi di browser etichettati facilitati da Chrome (ad esempio, esegui l'esperimento su altro traffico):
      • Verifica che la suddivisione degli utenti nei gruppi sperimentale e di controllo sia casuale e non sia influenzata da pregiudizi. Indipendentemente dalla configurazione del gruppo sperimentale, valuta le caratteristiche dei gruppi sperimentale e di controllo per verificare che siano paragonabili. (vedi Sezione 15)
      • Verifica che le caratteristiche degli utenti e le configurazioni delle campagne dei gruppi sperimentale e di controllo siano le stesse (ad esempio, utilizza aree geografiche simili in entrambi i gruppi). (vedi Sezione 28)
        • Alcuni esempi specifici sono: verificare che tipi di conversione simili vengano misurati utilizzando la stessa finestra di attribuzione e la stessa logica di attribuzione, che le campagne abbiano come target segmenti di pubblico, gruppi di interesse e aree geografiche simili e che utilizzino testi pubblicitari e formati degli annunci simili.
      • √ che le dimensioni iniziali della popolazione per i gruppi sperimentali e di controllo siano sufficientemente grandi da garantire flessibilità per le offerte e la sperimentazione.
    • Se utilizzi gruppi di browser etichettati facilitati da Chrome (modalità A), la randomizzazione delle istanze del browser Chrome nei gruppi è gestita da Chrome. Ti consigliamo di verificare, come in precedenza, che la randomizzazione generi gruppi non soggetti a pregiudizi / confrontabili per le tue finalità.

Punti di analisi suggeriti

  • Ti consigliamo di definire gruppi di controllo e sperimentali e di utilizzare un modello di machine learning diverso per l'ottimizzazione delle offerte per ciascun gruppo:
    • Gruppo di controllo 1: utilizza il modello di ottimizzazione delle offerte addestrato sulle attuali metodologie di misurazione (cookie di terze parti + dati di cookie non di terze parti)
    • (Facoltativo) Controllo 2: utilizza il modello di ottimizzazione delle offerte addestrato senza Privacy Sandbox e senza cookie di terze parti, ovvero solo dati dei cookie non di terze parti
      • Tieni presente che alcuni cookie di terze parti potrebbero essere ancora disponibili per alcuni siti. Per risultati più accurati, non utilizzare questi cookie di terze parti per la misurazione nelle metodologie di controllo 2 o del trattamento.
    • Trattamento: utilizza il modello di ottimizzazione delle offerte addestrato sull'API Attribution Reporting e sui dati dei cookie non di terze parti
      • Tieni presente che alcuni cookie di terze parti potrebbero essere ancora disponibili per alcuni siti. Per risultati più accurati, non utilizzare questi cookie di terze parti per la misurazione nelle metodologie di controllo 2 o del trattamento.

Metriche

  • Definisci le metriche più adatte per la tua attività per misurare i risultati e includi una descrizione del significato della metrica e di come viene misurata.
    • Ad esempio, la metrica significativa potrebbe essere la spesa (entrate del publisher), in linea con le indicazioni della CMA per comprendere l'impatto del ritiro dei cookie di terze parti su "Entrate per impressione". Per ulteriori dettagli, consulta la sezione 19.
  • Se generi report su metriche basate sulle conversioni, devi utilizzare la stessa metodologia di misurazione per ogni gruppo, per evitare test multivariati (test dell'impatto sull'ottimizzazione e sui report in un esperimento). Consulta le tabelle dei modelli suggeriti per indicazioni su come formattare il feedback quantitativo.
  • Valuta altri modi per raccogliere metriche sull'impatto dell'ottimizzazione delle offerte, ad esempio utilizzando le offerte simulate. Esistono metriche simulate che potrebbero essere utili per comprendere l'impatto dei cookie di terze parti e dell'ARA sui tuoi modelli di offerta?
  • Specifica se le metriche si basano su report a livello di evento, report di riepilogo o su una combinazione di entrambi (e se sono stati utilizzati report di debug).

Analisi

  • Copertura:
    • Sei in grado di eseguire misurazioni su un insieme di utenti simile rispetto al cookie di terze parti? Noti cambiamenti nella copertura (ad esempio con app-to-web)?
    • Sei in grado di misurare le conversioni (e le dimensioni/metriche) che ti interessano di più o che interessano di più ai tuoi inserzionisti?
  • Quali sono le differenze tra i gruppi e come influiscono sui seguenti aspetti:
    • Report per gli inserzionisti, ad esempio, quale percentuale di conversioni chiave potresti registrare.
    • L'addestramento e l'ottimizzazione, ad esempio, simulano l'impatto di diversi dati sulle conversioni sul rendimento del modello.
  • Altro feedback qualitativo:
    • In che modo l'ARA influisce sulla complessità della configurazione dell'ottimizzazione delle offerte degli inserzionisti?
    • L'ARA aiuta o ostacola gli inserzionisti a concentrarsi sulle metriche e sugli obiettivi che contano per loro?

Tabelle dei modelli suggeriti per l'impatto sulle offerte

(Bidding) Tabella 1:

Esempio di tabella modello dei risultati sperimentali che i partecipanti al mercato devono inviare alla CMA (presa dalla pagina 18, ma i tester devono considerare quali metriche sono più significative / possibili da fornire e adattare la tabella in base alle esigenze).

Gruppo sperimentale rispetto al gruppo di controllo 1
Confronta lo stato finale proposto con lo stato corrente 		Trattamento rispetto al gruppo di controllo 2
Confronta lo stato finale proposto con nessuna API PS. 		Controllo 2 rispetto al controllo 1
Confronta l'ottimizzazione delle offerte con e senza cookie di terze parti, senza API PS.
Metodologia di misurazione Per evitare i test multivariati, utilizza i dati dei cookie di terze parti e di altri cookie per misurare le metriche basate sulle conversioni per entrambi i gruppi sperimentali in ogni esperimento.
Entrate per impressione Effetto Effetto Effetto
Errore standard Errore standard Errore standard
Intervallo di confidenza 95% Intervallo di confidenza 95% Intervallo di confidenza 95%
(Aggiungi le tue metriche)
(Bidding) Tabella 2:

Esempio di modello di tabella per la generazione di statistiche descrittive per le metriche nei gruppi sperimentale e di controllo (tratto da pagina 20, ma i tester devono considerare quali metriche sono più significative / possibili da fornire e adattare la tabella in base alle esigenze).

Trattamento
Ottimizzazione delle offerte mediante l'ARA e tutti i dati dei cookie non di terze parti che utilizzi 		Gruppo di controllo 1
Ottimizzazione delle offerte mediante cookie di terze parti e dati di cookie non di terze parti che utilizzi 		Gruppo di controllo 2
Ottimizzazione delle offerte utilizzando solo i dati dei cookie non di terze parti
Metodologia di misurazione Per evitare i test multivariati, utilizza i dati dei cookie di terze parti e di altri cookie per misurare le metriche basate sulle conversioni in tutti i gruppi.
Entrate per impressione Media Media Media
Deviazione standard Deviazione standard Deviazione standard
25° e 75° percentile 25° e 75° percentile 25° e 75° percentile
(aggiungi le tue metriche)

Obiettivo 3: test di carico del servizio di aggregazione

Consulta Aggregation Service Load Testing Framework.