Noiselab

bookmark_border Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

1. Vai alla modalità Avanzata.
2. Nel riquadro laterale Parametri, cerca I tuoi dati sulle conversioni.
3. Osserva i parametri predefiniti. Per impostazione predefinita, il conteggio giornaliero TOTALE delle conversioni attribuibili è 1000. Il valore medio è di circa 40 per bucket se utilizzi la configurazione predefinita (dimensioni predefinite, numero predefinito di possibili valori diversi per ogni dimensione, strategia principale A). Tieni presente che il valore è 40 nell'input Conteggio medio giornaliero delle conversioni attribuibili PER BUCKET.
4. Fai clic su Simula per eseguire una simulazione con i parametri predefiniti.
5. Nel riquadro laterale Parametri, cerca Dimensioni. Rinomina Geografia in Città e modifica il numero di possibili valori diversi in 50.
6. Osserva come cambia il conteggio medio giornaliero delle conversioni attribuite PER BUCKET. Ora è molto più basso. Questo accade perché se aumenti il numero di valori possibili all'interno di questa dimensione senza modificare altro, aumenti il numero totale di bucket senza modificare il numero di eventi di conversione che rientrano in ogni bucket.
7. Fai clic su Simula.
8. Osserva i rapporti di rumore della simulazione risultante: ora sono superiori a quelli della simulazione precedente.

In modalità Semplice viene utilizzata la struttura delle chiavi predefinita. Nella modalità avanzata, puoi sperimentare diverse strutture di chiavi. Sono incluse alcune dimensioni di esempio, che puoi anche modificare.

1. Vai alla modalità Avanzata.
2. Nel riquadro laterale Parametri, cerca Strategia principale. Tieni conto che la strategia predefinita, denominata A nello strumento, utilizza una struttura di chiavi granulari che include tutte le dimensioni: Geografia x ID campagna x Categoria prodotto.
3. Fai clic su Simula.
4. Osserva i rapporti di rumore della simulazione risultante.
5. Modifica la strategia principale in B. Vengono visualizzati controlli aggiuntivi per configurare la struttura delle chiavi.
6. Configura la struttura delle chiavi, ad esempio come segue:
   1. Numero di strutture chiave: 2
   2. Struttura chiave 1 = Geografia x Categoria di prodotto.
   3. Struttura della chiave 2 = ID campagna x Categoria prodotto.
7. Fai clic su Simula.
8. Tieni presente che ora ricevi due report di riepilogo per tipo di obiettivo di misurazione (due per il conteggio dei acquisti, due per il valore di acquisto), dato che utilizzi due strutture di chiavi distinte. Osserva i rapporti di rumore.
9. Puoi provare questa operazione anche con le tue dimensioni personalizzate. Per farlo, cerca Dati da monitorare: dimensioni. Valuta la possibilità di rimuovere le dimensioni di esempio e di crearne di tue utilizzando i pulsanti Aggiungi/Rimuovi/Reimposta sotto l'ultima dimensione.

1. Vai alla modalità Semplice (o alla modalità Avanzata, entrambe le modalità funzionano allo stesso modo per quanto riguarda la frequenza dei batch)
2. Nel riquadro laterale Parametri, cerca Strategia di aggregazione > Frequenza di raggruppamento. Si riferisce alla frequenza di aggregazione dei report aggregabili elaborati con il servizio di aggregazione in un singolo job.
3. Osserva la frequenza di raggruppamento predefinita: per impostazione predefinita, viene simulata una frequenza di raggruppamento giornaliera.
4. Fai clic su Simula.
5. Osserva i rapporti di rumore della simulazione risultante.
6. Modifica la frequenza di raggruppamento in settimanale.
7. Osserva i rapporti di rumore della simulazione risultante: ora sono inferiori (migliori) rispetto alla simulazione precedente.

Sebbene possa essere difficile da prevedere e possa presentare variazioni significative oltre agli effetti della stagionalità, prova a stimare il numero giornaliero di conversioni attribuite a un solo tocco alla potenza di 10 più vicina: 10, 100, 1000 o 10.000.

1. Vai alla modalità Avanzata.
2. Nel riquadro laterale Parametri, cerca I tuoi dati sulle conversioni.
3. Osserva i parametri predefiniti. Per impostazione predefinita, il conteggio giornaliero TOTALE delle conversioni attribuibili è 1000. Il valore medio è di circa 40 per bucket se utilizzi la configurazione predefinita (dimensioni predefinite, numero predefinito di possibili valori diversi per ogni dimensione, strategia principale A). Tieni presente che il valore è 40 nell'input Conteggio medio giornaliero delle conversioni attribuibili PER BUCKET.
4. Fai clic su Simula per eseguire una simulazione con i parametri predefiniti.
5. Osserva i rapporti di rumore della simulazione risultante.
6. Ora imposta il conteggio TOTALE delle conversioni giornaliere attribuibili su 100. Tieni presente che questo riduce il valore del conteggio medio giornaliero delle conversioni attribuite PER BUCKET.
7. Fai clic su Simula.
8. Nota che i rapporti di rumore ora sono più elevati: questo perché, quando hai meno conversioni per bucket, viene applicato più rumore per mantenere la privacy.

1. Vai alla modalità Avanzata.
2. Nel riquadro laterale Parametri, cerca Strategia di aggregazione > Scalabilità. Per impostazione predefinita è impostato su Sì.
3. Per comprendere gli effetti positivi della scalabilità sul rapporto segnale/disturbo, imposta prima la scalabilità su No.
4. Fai clic su Simula.
5. Osserva i rapporti di rumore della simulazione risultante.
6. Imposta Ridimensionamento su Sì. Tieni presente che Noise Lab calcola automaticamente i fattori di scala da utilizzare in base agli intervalli (valori medi e massimi) degli obiettivi di misurazione per il tuo scenario. In una configurazione di prova di un sistema o di un'origine reale, è consigliabile implementare il proprio calcolo per i fattori di scala.
7. Fai clic su Simula.
8. Nota che i rapporti di rumore ora sono inferiori (migliori) in questa seconda simulazione. Questo accade perché utilizzi la scalabilità.

Un obiettivo di misurazione è un punto dati distinto raccolto negli eventi di conversione.

1. Vai alla modalità Avanzata.
2. Nel riquadro laterale Parametri, cerca i dati da monitorare: Obiettivi di misurazione. Per impostazione predefinita, sono disponibili due obiettivi di misurazione: valore dell'acquisto e numero di acquisti.
3. Fai clic su Simula per eseguire una simulazione con gli obiettivi predefiniti.
4. Fai clic su Rimuovi. In questo modo verrà rimosso l'ultimo obiettivo di misurazione (in questo caso il conteggio degli acquisti).
5. Fai clic su Simula.
6. Nota che i rapporti di rumore per il valore di acquisto ora sono inferiori (migliori) per questa seconda simulazione. Questo perché hai meno obiettivi di misurazione, quindi l'unico obiettivo di misurazione ora riceve tutto il budget di contributo.
7. Fai clic su Reimposta. Ora hai di nuovo due obiettivi di misurazione: valore di acquisto e numero di acquisti. Tieni presente che Noise Lab calcola automaticamente i coefficienti di scala da utilizzare in base agli intervalli (valori medi e massimi) degli scopi di misurazione per il tuo scenario. Per impostazione predefinita, Noise Lab suddivide il budget in modo uniforme tra gli obiettivi di misurazione.
8. Fai clic su Simula.
9. Osserva i rapporti di rumore della simulazione risultante. Prendi nota dei fattori di scalatura visualizzati nella simulazione.
10. Ora personalizziamo la suddivisione del budget per la privacy per ottenere un migliore rapporto segnale/rumore.
11. Modifica la percentuale di budget assegnata per ogni obiettivo di misurazione. Dati i parametri predefiniti, l'obiettivo di misurazione 1, ovvero il valore di acquisto, ha un intervallo molto più ampio (tra 0 e 1000) rispetto all'obiettivo di misurazione 2, ovvero il conteggio acquisti (tra 1 e 1, ovvero sempre uguale a 1). Per questo motivo, ha bisogno di "più spazio per scalare": sarebbe ideale assegnare un budget di contributo maggiore all'obiettivo di misurazione 1 rispetto all'obiettivo di misurazione 2, in modo da poterlo scalare in modo più efficiente (vedi Scalabilità) e quindi
12. Assegna il 70% del budget all'obiettivo di misurazione 1. Assegna il 30% all'obiettivo di misurazione 2.
13. Fai clic su Simula.
14. Osserva i rapporti di rumore della simulazione risultante. Per il valore di acquisto, i rapporti di rumore ora sono notevolmente inferiori (migliori) rispetto alla simulazione precedente. Per il conteggio degli acquisti, i valori sono praticamente invariati.
15. Continua a modificare la suddivisione del budget in base alle metriche. Osserva l'impatto sul rumore.

Tieni presente che puoi impostare i tuoi obiettivi di misurazione personalizzati con i pulsanti Aggiungi/Rimuovi/Reimposta.

Un obiettivo di misurazione è un punto dati distinto raccolto negli eventi di conversione.

1. Vai alla modalità Avanzata.
2. Nel riquadro laterale Parametri, cerca Strategia di aggregazione > Scalabilità.
3. Assicurati che la scalabilità sia impostata su Sì. Tieni presente che Noise Lab calcola automaticamente i fattori di scala da utilizzare in base agli intervalli (valori medi e massimi) che hai specificato per gli obiettivi di misurazione.
4. Supponiamo che l'acquisto più grande mai effettuato sia stato di 2000 $, ma che la maggior parte degli acquisti si collochi nell'intervallo 10-120 $. Innanzitutto, vediamo cosa succede se utilizziamo un approccio di scalatura letterale (non consigliato): inserisci 2000 $come valore massimo per purchaseValue.
5. Fai clic su Simula.
6. Nota che i rapporti di rumore sono elevati. Questo perché il nostro coefficiente di scala attualmente viene calcolato in base a 2000 $, mentre in realtà la maggior parte dei valori di acquisto sarà notevolmente inferiore.
7. Ora utilizziamo un approccio di scalabilità più pragmatico. Modifica il valore di acquisto massimo impostandolo su 120 $.
8. Fai clic su Simula.
9. Nota che i rapporti di rumore sono inferiori (migliori) in questa seconda simulazione.

Noise Lab ti aiuta a valutare e confrontare rapidamente le strategie di gestione del rumore. Utilizzalo per:

• Scopri i principali parametri che possono influire sul rumore e il loro effetto.
• Simula l'effetto del rumore sui dati di misurazione dell'output in base a diverse decisioni di progettazione. Modifica i parametri di progettazione fino a raggiungere un rapporto segnale/rumore adatto al tuo caso d'uso.
• Condividi il tuo feedback sull'utilità dei report di riepilogo: quali valori dei parametri epsilon e rumore funzionano per te e quali no? Dove sono i punti di flesso?

Pensa a questo come a un passaggio di preparazione. Noise Lab genera dati di misurazione per simulare gli output dei report di riepilogo in base ai tuoi input. Non memorizza né condivide dati.

In Noise Lab sono disponibili due modalità diverse:

1. Modalità semplice: comprendi i concetti fondamentali dei controlli a tua disposizione per il rumore.
2. Modalità avanzata: prova diverse strategie di gestione del rumore e valuta quella che genera il rapporto segnale/rumore migliore per i tuoi casi d'uso.

Fai clic sui pulsanti nel menu in alto per passare da una modalità all'altra (n. 1 nello screenshot di seguito).

Modalità semplice

• Con la modalità Semplice, puoi controllare i parametri (che si trovano sul lato sinistro o n. 2 nello screenshot di seguito), ad esempio Epsilon, e vedere in che modo influiscono sul rumore.
• Ogni parametro ha una descrizione comando (un pulsante "?"). Fai clic su questi elementi per visualizzare una spiegazione di ciascun parametro (n. 3 nello screenshot di seguito).
• Per iniziare, fai clic sul pulsante "Simula" e osserva l'output (n. 4 nello screenshot di seguito).
• Nella sezione Output puoi vedere una serie di dettagli. Accanto ad alcuni elementi è presente il simbolo "?". Fai clic su ogni "?" per visualizzare una spiegazione delle varie informazioni.
• Nella sezione Output, fai clic sul pulsante di attivazione/disattivazione Dettagli se vuoi visualizzare una versione espansa della tabella (n. 5 nello screenshot di seguito).
• Sotto ogni tabella di dati nella sezione di output è presente un'opzione per scaricarla per l'utilizzo offline. Inoltre, nell'angolo in basso a destra è presente un'opzione per scaricare tutte le tabelle di dati (n. 6 nello screenshot di seguito).
• Prova diverse impostazioni per i parametri nella sezione Parametri e fai clic su Simula per vedere in che modo influiscono sull'output:

  

Modalità avanzata

• In modalità Avanzata, hai un maggiore controllo sui parametri. Puoi aggiungere dimensioni e obiettivi di misurazione personalizzati (1. e 2. nello screenshot di seguito).
• Scorri ulteriormente verso il basso nella sezione Parametri e visualizza l'opzione Strategia principale. Questo può essere utilizzato per testare diverse strutture di chiavi (n. 3 nello screenshot di seguito)
  • Per testare diverse strutture chiave, imposta la strategia chiave su "B"
  • Inserisci il numero di strutture chiave diverse che vuoi utilizzare (il valore predefinito è "2")
  • Fai clic su Genera strutture chiave.
  • Vedrai le opzioni per specificare le strutture delle chiavi facendo clic sulle caselle di controllo accanto alle chiavi da includere per ogni struttura.
  • Fai clic su Simula per visualizzare l'output.

    

    

Concetto principale

Il rumore viene aggiunto per proteggere la privacy dei singoli utenti.

Un valore di rumore elevato indica che i bucket/le chiavi sono sparsi e contengono contributi di un numero limitato di eventi sensibili. Questa operazione viene eseguita automaticamente da Noise Lab per consentire alle persone di "nascondersi tra la folla", in altre parole, protegge la privacy di queste persone con una quantità maggiore di rumore aggiunto.

Un valore di rumore basso indica che la configurazione dei dati è stata progettata in modo da consentire già alle persone di "nascondersi tra la folla". Ciò significa che i bucket contengono contributi di un numero sufficiente di eventi per garantire la protezione della privacy dei singoli utenti.

Questa affermazione vale sia per l'errore percentuale medio (APE) sia per l'errore relativo quadratico medio (RMSRE_T) con una soglia.

APE (errore percentuale medio)

L'APE è il rapporto tra il rumore e il segnale, ovvero il valore di riepilogo reale.p> Valori APE più bassi indicano rapporti segnale/rumore migliori.

Formula

Per un determinato report di riepilogo, il valore APE viene calcolato come segue:

True è il valore di riepilogo vero. APE è la media del rumore su ogni valore di riepilogo reale, calcolata in media su tutte le voci di un report di riepilogo. In Noise Lab, questo valore viene moltiplicato per 100 per ottenere una percentuale.

Pro e contro

I bucket di dimensioni più piccole hanno un impatto sproporzionato sul valore finale dell'APE. Ciò potrebbe essere fuorviante per la valutazione del rumore. Per questo motivo, abbiamo aggiunto un'altra metrica, RMSRE_T, progettata per attenuare questa limitazione dell'APE. Per maggiori dettagli, consulta gli esempi.

Codice

Esamina il codice sorgente per il calcolo dell'APE.

RMSRE_T (errore relativo quadratico medio con una soglia)

RMSRE_T (errore relativo quadratico medio con una soglia) è un'altra misura del rumore.

Come interpretare RMSRE_T

Valori RMSRE_T più bassi indicano rapporti segnale/rumore migliori.
Ad esempio, se un rapporto di rumore accettabile per il tuo caso d'uso è del 20% e RMSRE_T è 0,2, puoi essere certo che i livelli di rumore rientrano nell'intervallo accettabile.

Formula

Per un determinato report di riepilogo, RMSRE_T viene calcolato come segue:

Pro e contro

RMSRE_T è un po' più difficile da comprendere rispetto all'APE. Tuttavia, presenta alcuni vantaggi che lo rendono in alcuni casi più adatto dell'APE per l'analisi del rumore nei report di riepilogo:

• RMSRE_T è più stabile. "T" è una soglia. "T" viene utilizzato per dare meno peso nel calcolo dell'RMSRE_T ai bucket con meno conversioni e quindi più sensibili al rumore a causa delle loro dimensioni ridotte. Con T, la metrica non presenta picchi nei bucket con poche conversioni. Se T è uguale a 5, un valore di rumore pari a 1 in un bucket con 0 conversioni non verrà visualizzato come molto superiore a 1. ma sarà limitata a 0, 2, che equivale a 1/5, poiché T è uguale a 5. Attribuendo meno peso ai bucket più piccoli, che sono quindi più sensibili al rumore, questa metrica è più stabile e consente di confrontare più facilmente due simulazioni.
• RMSRE_T consente un'aggregazione facile. Conoscere l'RMSRE_T di più bucket, insieme ai relativi conteggi effettivi, consente di calcolare l'RMSRE_T della loro somma. In questo modo, puoi anche ottimizzare per RMSRE_T per questi valori combinati.

Sebbene l'aggregazione sia possibile per l'APE, la formula è piuttosto complicata in quanto coinvolge il valore assoluto della somma dei rumori di Laplace. Ciò rende più difficile l'ottimizzazione dell'APE.

Codice

Esamina il codice sorgente per il calcolo di RMSRE_T.

Esempi

Report di riepilogo con tre bucket:

• bucket_1 = noise: 10, trueSummaryValue: 100
• bucket_2 = rumore: 20, trueSummaryValue: 100
• bucket_3 = noise: 20, trueSummaryValue: 200

APE = (0,1 + 0,2 + 0,1) / 3 = 13%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,200))^2) / 3) =  sqrt( (0.01 + 0.04 + 0.01) / 3) =  0.14 

Report di riepilogo con tre bucket:

• bucket_1 = noise: 10, trueSummaryValue: 100
• bucket_2 = rumore: 20, trueSummaryValue: 100
• bucket_3 = noise: 20, trueSummaryValue: 20

APE = (0,1 + 0,2 + 1) / 3 = 43%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,20))^2) / 3)  =  sqrt( (0.01 + 0.04 + 1.0) / 3) =  0.59

Report di riepilogo con tre bucket:

• bucket_1 = noise: 10, trueSummaryValue: 100
• bucket_2 = rumore: 20, trueSummaryValue: 100
• bucket_3 = noise: 20, trueSummaryValue: 0

APE = (0,1 + 0,2 + infinito) / 3 = infinito

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2  +
(20/max(5,0))^2) / 3) =  sqrt( (0.01 + 0.04 + 16.0) / 3) =  2.31

Una piattaforma DSP o di misurazione degli annunci potrebbe avere migliaia di clienti pubblicitari a livello mondiale, che operano in diversi settori, valute e potenziali prezzi di acquisto. Ciò significa che la creazione e la gestione di una chiave di aggregazione per ogni inserzionista sarà probabilmente molto poco praticabile. Inoltre, sarà difficile selezionare un valore aggregabile massimo e un budget di aggregazione che possano limitare l'impatto del rumore su queste migliaia di inserzionisti globali. Consideriamo invece i seguenti scenari:

Strategia principale A

Il fornitore di tecnologia pubblicitaria decide di creare e gestire una chiave per tutti i suoi clienti pubblicitari. Per tutti gli inserzionisti e tutte le valute, l'intervallo di acquisti varia da acquisti di fascia alta con volume ridotto ad acquisti di fascia bassa con volume elevato. Il risultato è la seguente chiave:

Strategia principale B

Il fornitore di tecnologia pubblicitaria decide di creare e gestire due chiavi per tutti i suoi clienti pubblicitari. Decide di separare le chiavi in base alla valuta. Tra tutti gli inserzionisti e tutte le valute, la gamma di acquisti varia da quelli di alto livello con volume ridotto a quelli di basso livello con volume elevato. Separandole per valuta, vengono create due chiavi:

La strategia chiave B avrà meno rumore nel risultato rispetto alla strategia chiave A, perché i valori in valuta non sono distribuiti uniformemente tra le valute. Ad esempio, considera in che modo gli acquisti denominati in ¥ mescolati con gli acquisti denominati in USD altereranno i dati sottostanti e l'output con rumore risultante.

Strategia principale C

Il fornitore di tecnologia pubblicitaria decide di creare e gestire quattro chiavi per tutti i suoi clienti pubblicitari e di separarle in base a Valuta x settore dell'inserzionista:

La strategia principale C avrà meno rumore nel risultato rispetto alla strategia principale B, perché i valori di acquisto degli inserzionisti non sono distribuiti uniformemente tra gli inserzionisti. Ad esempio, considera in che modo gli acquisti di gioielli di alta gamma mescolati agli acquisti di berretti da baseball altereranno i dati sottostanti e l'output con rumore risultante.

Valuta la possibilità di creare valori aggregati massimi e fattori di scala condivisi per le analogie tra più inserzionisti al fine di ridurre il rumore nell'output. Ad esempio, puoi sperimentare le diverse strategie riportate di seguito per i tuoi inserzionisti:

• Una strategia separata per valuta (USD, ¥, CAD e così via)
• Una strategia separata per settore dell'inserzionista (assicurazioni, auto e motori, vendita al dettaglio e così via)
• Una strategia separata da intervalli di valore di acquisto simili ([100], [1000], [10000] e così via)

Creando strategie chiave in base alle caratteristiche comuni degli inserzionisti, le chiavi e il codice corrispondente sono più facili da gestire e i rapporti segnale/rumore diventano più elevati. Prova strategie diverse con elementi in comune diversi per gli inserzionisti per individuare i punti di variazione per massimizzare l'impatto del rumore rispetto alla gestione del codice.

Prendiamo in esame uno scenario che coinvolge due inserzionisti:

• Inserzionista A:
  • Per tutti i prodotti sul sito dell'inserzionista A, le possibili opzioni di prezzo di acquisto vanno da [$120 - $1,000] per una fascia di 880 $.
  • I prezzi di acquisto sono distribuiti uniformemente nell'intervallo di 880 $senza valori anomali al di fuori di due deviazioni standard dal prezzo di acquisto mediano.
• Inserzionista B:
  • Per tutti i prodotti sul sito dell'inserzionista B, le possibili opzioni di prezzo di acquisto vanno da [$120 - $1,000] per una fascia di 880 $.
  • I prezzi di acquisto sono fortemente orientati verso la fascia di prezzo compresa tra 120 e 500 $, con solo il 5% degli acquisti che si verificano nella fascia di prezzo compresa tra 500 e 1000 $.

Dati i requisiti del budget dei contributi e la metodologia con cui viene applicato il rumore ai risultati finali, per impostazione predefinita l'inserzionista B avrà un output più rumoroso rispetto all'inserzionista A, in quanto ha un potenziale più elevato di valori anomali che influiscono sui calcoli di base.

È possibile attenuare questo problema con una configurazione delle chiavi specifica. Prova strategie chiave che ti aiutano a gestire i dati outlier e a distribuire in modo più uniforme i valori di acquisto nell'intervallo di acquisto della chiave.

Per l'inserzionista B, puoi creare due chiavi separate per acquisire due diversi intervalli di valore di acquisto. In questo esempio, la tecnologia pubblicitaria ha rilevato che gli outlier appaiono sopra il valore di acquisto di 500 $. Prova a implementare due chiavi separate per questo inserzionista:

• Struttura della chiave 1 : chiave che acquisisce solo gli acquisti tra 120 e 500 $ (coprendo circa il 95% del volume di acquisti totale).
• Struttura della chiave 2: chiave che acquisisce solo gli acquisti superiori a 500 $ (che coprono circa il 5% del volume di acquisti totale).

L'implementazione di questa strategia chiave dovrebbe consentire all'inserzionista B di gestire meglio il rumore e di massimizzare l'utilità dei report di riepilogo. Dati i nuovi intervalli più piccoli, la chiave A e la chiave B ora dovrebbero avere una distribuzione più uniforme dei dati tra ciascuna rispettiva chiave rispetto alla singola chiave precedente. Ciò comporterà un impatto minore del rumore nell'output di ogni chiave rispetto alla singola chiave precedente.