Guida ai test di misurazione

bookmark_border Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

L'obiettivo di questa guida è fornire indicazioni su come eseguire un test autonomo dell'API Attribution Reporting di Privacy Sandbox. Per maggiori dettagli, consulta la Sezione 12.

• La misurazione dei risultati dei gruppi di controllo e sperimentali nei design sperimentali 1 e 2 della CMA è trattata nelle linee guida per i test delle API di pertinenza, poiché l'obiettivo di questi esperimenti è testare l'efficacia dell'utilizzo di Protected Audience e Topics. Per maggiori dettagli, consulta la Sezione 11.

Prima di iniziare

• Esamina le indicazioni sulla configurazione e la configurazione dell'API Attribution Reporting.
• Esamina le linee guida sui test CMA: nota degli esperimenti (novembre 2022), linee guida sui test (giugno 2023) e indicazioni aggiuntive sui test (ottobre 2023).

Obiettivi di valutazione e configurazione dell'esperimento proposto

Obiettivo 1: determinare l'efficacia dell'API Attribution Reporting per i report

Proponiamo una configurazione A/A per misurare l'impatto sui report

• Questa proposta è in linea con le linee guida della CMA sulla valutazione delle metriche basate sulle conversioni. Per ulteriori dettagli, consulta la Sezione 21 e la Sezione 12.
• Preferiamo questo metodo rispetto alla Modalità A/B perché il test dell'API Attribution Reporting (ARA) può essere effettuato misurando contemporaneamente le conversioni sullo stesso insieme di impressioni utilizzando due diverse metodologie di misurazione (cookie di terze parti + dati di cookie non di terze parti e ARA + dati di cookie non di terze parti).
• Un esperimento A/A isola anche l'impatto dell'API Attribution Reporting sulla misurazione delle conversioni, ad esempio evita qualsiasi modifica ai tassi di conversione dovuta alla mancanza di cookie di terze parti.

Punti di analisi suggeriti

• Scegli una porzione di traffico che sia abbastanza grande da ottenere risultati statistici significativi e che disponga sia di cookie di terze parti che di API Privacy Sandbox. Idealmente, si tratta di tutto il traffico, ad eccezione della modalità B (che disattiva i cookie di terze parti).
  • Ti consigliamo di escludere la modalità B dall'esperimento A/A, poiché i cookie di terze parti non saranno disponibili e non potrai confrontare i risultati dell'ARA con i risultati dell'attribuzione basata su cookie di terze parti.
  • Se vuoi includere la modalità B, ti consigliamo di attivare i report di debug per la porzione di traffico in modalità B. I report di debug sono utili per risolvere eventuali problemi di configurazione o implementazione.
• Se prevedi di eseguire il test su una porzione più piccola di traffico, dovresti ottenere risultati di misurazione più rumorosi del previsto. Ti consigliamo di indicare nell'analisi quale frazione di traffico è stata utilizzata e se stai generando report sui risultati in base a report con rumore o di debug senza rumore.
  • Per i report di riepilogo, i valori di riepilogo saranno probabilmente inferiori e Aggregation Service aggiungerà rumore dalla stessa distribuzione indipendentemente dal valore di riepilogo.
• Testare diverse metodologie di misurazione su quella porzione di traffico
  • Controllo 1: utilizza le attuali metodologie di misurazione (cookie di terze parti e dati con cookie non di terze parti)
  • (Facoltativo) Controllo 2: senza Privacy Sandbox e senza cookie di terze parti, ovvero solo dati dei cookie non di terze parti
    • Tieni presente che alcuni cookie di terze parti potrebbero essere ancora disponibili per alcuni siti. Per risultati più precisi, non utilizzarli per la misurazione nella metodologia di Controllo 2 o di Trattamento
  • Trattamento - API Privacy Sandbox e dati dei cookie non di terze parti
    • Tieni presente che alcuni cookie di terze parti potrebbero essere ancora disponibili per alcuni siti. Per risultati più precisi, non utilizzarli per la misurazione nella metodologia di Controllo 2 o di Trattamento

Metriche

• Definisci le metriche più utili per la tua attività al fine di misurare i risultati e includi una descrizione del significato della metrica e di come viene misurata.
  • Ti consigliamo di concentrarti sulle dimensioni e sulle metriche importanti per i tuoi inserzionisti. Ad esempio, se i tuoi inserzionisti si concentrano sulle conversioni di acquisto, misura i relativi conteggi e il valore di acquisto.
• La soluzione migliore è utilizzare le metriche basate sul conteggio o sulla somma (ad esempio il tasso di conversione) anziché il costo per conversione (ad esempio il costo per conversione). Per l'analisi A/A, le metriche dei costi possono essere ricavate completamente dal conteggio o dalla somma dei valori di conversione.
• Specificare se le metriche sono basate su report a livello di evento, report di riepilogo o su una combinazione di entrambi (e se sono stati utilizzati report di debug).
• Consulta le tabelle dei modelli suggeriti per indicazioni su come formattare il feedback quantitativo.

Analisi

• Copertura:
  • Riesci a eseguire la misurazione per un insieme di utenti simile rispetto al cookie di terze parti? Noti una copertura più elevata (ad esempio con l'app al web)?
  • Riesci a misurare le conversioni (e le dimensioni o metriche) che interessano maggiormente a te o ai tuoi inserzionisti?
• Feedback quantitativo
  • Nei report per gli inserzionisti, ad esempio, quale percentuale di conversioni chiave potresti includere nel report per quell'inserzionista o quale percentuale di campagne soddisfa un livello di qualità dei report (la generazione di una barra della qualità aiuta gli aggiustamenti per le campagne con un conteggio ridotto delle conversioni)
  • Scomposto per inserzionista, ad esempio, ci sono alcuni inserzionisti che attualmente dipendono in misura maggiore o meno dai cookie di terze parti per la generazione di report?
• Altro feedback qualitativo:
  • In che modo l'ARA influisce sulla complessità della configurazione della misurazione/attribuzione da parte degli inserzionisti?
  • L'ARA aiuta o ostacola gli inserzionisti a concentrarsi sulle metriche e sugli obiettivi per loro importanti?

Tabelle modello suggerite per l'impatto sui report

(Report) Tabella 1:

Esempio di tabella di esempio per la segnalazione dei risultati sperimentali alla CMA (presa da pagina 18, ma i tester dovrebbero considerare quali metriche sono più significative / consentibili per fornire e adattare la tabella in base alle esigenze).

(Report) Tabella 2:

Esempio di tabella di esempio per la generazione di report con statistiche descrittive per le metriche nei gruppi sperimentale e di controllo (tratto da pagina 20, ma i tester dovrebbero prendere in considerazione le metriche più significative / possibili da fornire e adattare la tabella in base alle esigenze).

Obiettivo 2 - Determinare l'efficacia dell'API Attribution Reporting per l'ottimizzazione delle offerte

Proponiamo una configurazione A/B per misurare l'impatto sull'ottimizzazione delle offerte.

• Per misurare l'impatto sull'ottimizzazione delle offerte, devi addestrare due diversi modelli di machine learning e utilizzarli su due sezioni di traffico: uno addestrato con le attuali metodologie di misurazione (cookie di terze parti e dati non correlati ai cookie di terze parti) da applicare al gruppo di controllo e un modello addestrato sull'API Attribution Reporting + dati non basati sui cookie di terze parti da applicare al gruppo sperimentale.
• L'addestramento del modello dovrebbe essere basato sul traffico che il tester ritiene necessario per massimizzare le prestazioni, anche se il gruppo sperimentale è una porzione più piccola di traffico e vi è una sovrapposizione tra le popolazioni di addestramento (ad esempio, usa il modello di cookie di terze parti esistente che viene addestrato su tutto il traffico e addestra il modello ARA su tutto il traffico ARA abilitato per l'obiettivo 1).
  • Se invii i risultati alla CMA, nota se esiste una differenza significativa tra le sezioni di traffico utilizzate per addestrare modelli diversi (ad esempio, se i modelli basati su cookie di terze parti vengono addestrati sul 100% del traffico, ma i modelli basati su ARA vengono addestrati solo sull'1% del traffico).
• Se possibile, l'addestramento dei modelli di offerta sperimentale e di controllo deve avvenire per la stessa durata.
• Valuta se devi addestrare e aggiornare continuamente i modelli di offerta durante l'esperimento e, in questo caso, se dovresti addestrarti su quanto più traffico possibile o solo sul traffico dei gruppi sperimentali e di controllo.
• I diversi modelli dovrebbero essere utilizzati su segmenti di traffico separati nell'ambito di un esperimento A/B. Per la randomizzazione e l'assegnazione degli utenti tra i gruppi sperimentali e di controllo, ti consigliamo di utilizzare i gruppi di browser etichettati facilitati da Chrome (Modalità A) o di eseguire il tuo esperimento con insiemi casuali di browser. Sconsigliamo di utilizzare la Modalità B poiché la mancanza di cookie di terze parti complica la generazione di report sulle metriche basate sulle conversioni.
  • I gruppi di browser agevolati da Chrome escluderanno alcune istanze di Chrome, come gli utenti di Chrome Enterprise, dove i tuoi insiemi casuali di browser potrebbero non escludere queste istanze di Chrome. Di conseguenza, ti consigliamo di eseguire l'esperimento solo sui gruppi in modalità A o solo su quelli diversi da quelli agevolati da Chrome per evitare di confrontare le metriche ottenute sui gruppi facilitati da Chrome.
  • Se non utilizzi gruppi di browser etichettati agevolati da Chrome (ad esempio, eseguendo l'esperimento su altro traffico):
    • Assicurati che la suddivisione degli utenti per il trattamento e il controllo sia casuale e imparziale. Indipendentemente dalla configurazione del gruppo sperimentale, valutare le caratteristiche dei gruppi sperimentali e di controllo per garantire che i gruppi di trattamento e di controllo siano confrontabili. (Consulta la Sezione 15)
    • Assicurati che le caratteristiche degli utenti e le configurazioni della campagna dei gruppi sperimentali e di controllo siano le stesse (ad esempio, utilizza dati geografici simili sia nel gruppo sperimentale che in quello di controllo). (Consulta la Sezione 28)
      • Ecco alcuni esempi specifici: assicurati che tipi di conversione simili vengano misurati utilizzando la stessa finestra di attribuzione e la stessa logica di attribuzione, che le campagne abbiano come target segmenti di pubblico, gruppi di interesse e dati geografici simili e utilizzino un testo pubblicitario e formati dell'annuncio simili.
    • Assicurati che le dimensioni iniziali della popolazione per i gruppi sperimentali e di controllo siano sufficientemente grandi da avere flessibilità per le offerte e la sperimentazione.
  • Se utilizzi gruppi di browser etichettati agevolati da Chrome (Modalità A), la randomizzazione delle istanze del browser Chrome ai gruppi viene gestita da Chrome. Come prima, ti consigliamo di verificare che la randomizzazione risulti in gruppi imparziali / paragonabili per i tuoi scopi.

Punti di analisi suggeriti

• Consigliamo di definire i gruppi di controllo e sperimentale e di utilizzare un modello di machine learning diverso per l'ottimizzazione delle offerte per ciascun gruppo:
  • Controllo 1: utilizza il modello di ottimizzazione delle offerte addestrato con le attuali metodologie di misurazione (cookie di terze parti + dati di cookie non di terze parti)
  • (Facoltativo) Controllo 2: utilizza il modello di ottimizzazione delle offerte addestrato senza Privacy Sandbox e senza cookie di terze parti, ovvero solo dati cookie non di terze parti
    • Tieni presente che alcuni cookie di terze parti potrebbero essere ancora disponibili per alcuni siti. Per risultati più precisi, non utilizzarli per la misurazione nelle metodologie di Controllo 2 o di Trattamento.
  • Gruppo sperimentale: utilizza il modello di ottimizzazione delle offerte addestrato sull'API Attribution Reporting e sui dati dei cookie non di terze parti
    • Tieni presente che alcuni cookie di terze parti potrebbero essere ancora disponibili per alcuni siti. Per risultati più precisi, non utilizzarli per la misurazione nelle metodologie di Controllo 2 o di Trattamento.

Metriche

• Definisci le metriche più utili per la tua attività al fine di misurare i risultati e includi una descrizione del significato della metrica e di come viene misurata.
  • Ad esempio, la metrica significativa potrebbe essere la spesa (entrate del publisher), in linea con le indicazioni della CMA per comprendere l'impatto del ritiro dei cookie di terze parti su "Entrate per impressione". Per ulteriori dettagli, consulta la Sezione 19.
• Se esegui report su metriche basate sulle conversioni, devi utilizzare la stessa metodologia di misurazione per ogni gruppo, in modo da evitare i test multivariati (test dell'impatto sull'ottimizzazione e sui report in un singolo esperimento). Consulta le tabelle dei modelli suggeriti per indicazioni su come formattare il feedback quantitativo.
• Prendi in considerazione altri modi per raccogliere metriche sull'impatto dell'ottimizzazione delle offerte, ad esempio simulando le offerte. Esistono metriche simulate che potrebbero essere utili per comprendere l'impatto dei cookie di terze parti e dell'ARA sui tuoi modelli di offerta?
• Specificare se le metriche sono basate su report a livello di evento, report di riepilogo o su una combinazione di entrambi (e se sono stati utilizzati report di debug).

Analisi

• Copertura:
  • Riesci a eseguire la misurazione per un insieme di utenti simile rispetto al cookie di terze parti? Noti cambiamenti nella copertura (ad esempio con l'app al web)?
  • Riesci a misurare le conversioni (e le dimensioni/metriche) che interessano maggiormente a te o ai tuoi inserzionisti?
• In che modo le differenze tra i gruppi influiscono su quanto segue:
  • Ad esempio, puoi indicare la percentuale di conversioni chiave che puoi includere nei report sugli inserzionisti.
  • Ad esempio, l'addestramento e l'ottimizzazione simulano l'impatto di diversi dati sulle conversioni sulle prestazioni del modello.
• Altro feedback qualitativo:
  • In che modo l'ARA influisce sulla complessità della configurazione dell'ottimizzazione delle offerte da parte degli inserzionisti?
  • L'ARA aiuta o impedisce agli inserzionisti di concentrarsi sulle metriche e sugli obiettivi per loro importanti?

Tabelle modello suggerite per l'impatto delle offerte

(Offerte) Tabella 1:

Esempio di tabella modello di risultati sperimentali che i partecipanti del mercato devono inviare alla CMA (tratto da pagina 18, ma i tester dovrebbero considerare quali sono le metriche più significative / consentono di fornire e adattare la tabella in base alle esigenze).

(Offerta) Tabella 2:

Esempio di tabella di esempio per la generazione di report con statistiche descrittive per le metriche nei gruppi sperimentale e di controllo (tratto da pagina 20, ma i tester dovrebbero prendere in considerazione le metriche più significative / possibili da fornire e adattare la tabella in base alle esigenze).

Obiettivo 3: test di carico del servizio di aggregazione

Vedi Framework per i test di carico del servizio di aggregazione.