Noiselab

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Teste no Noise Lab

1. Acesse o modo avançado.
2. No painel lateral "Parâmetros", procure "Seus dados de conversão".
3. Observe os parâmetros padrão. Por padrão, a contagem TOTAL de conversões atribuíveis diárias é 1.000. Isso representa uma média de cerca de 40 por bucket se você usar a configuração padrão (dimensões padrão, número padrão de valores diferentes para cada dimensão, estratégia de chave A). O valor é 40 na entrada "Contagem média diária de conversões atribuíveis por bucket".
4. Clique em "Simular" para executar uma simulação com os parâmetros padrão.
5. No painel lateral "Parâmetros", procure "Dimensões". Renomeie Geography para City e mude o número de valores diferentes possíveis para 50.
6. Observe como isso muda a contagem média de conversões atribuíveis por dia por conjunto. Agora está muito mais baixo. Isso acontece porque, se você aumentar o número de valores possíveis nessa dimensão sem mudar nada mais, vai aumentar o número total de grupos sem alterar a quantidade de eventos de conversão que vão cair em cada um deles.
7. Clique em "Simular".
8. Observe as proporções de ruído da simulação resultante: as proporções de ruído agora são maiores do que na simulação anterior.

Teste no Noise Lab

No modo simples, a estrutura de chave padrão é usada. No modo avançado, é possível testar diferentes estruturas de chaves. Alguns exemplos de dimensões estão incluídos e podem ser modificados.

1. Acesse o modo avançado.
2. No painel lateral "Parâmetros", procure a estratégia de palavras-chave. Observe que a estratégia padrão, chamada A na ferramenta, usa uma estrutura de chave granular que inclui todas as dimensões: região x ID da campanha x categoria do produto.
3. Clique em "Simular".
4. Observe as proporções de ruído da simulação resultante.
5. Mude a estratégia de palavras-chave para B. Isso mostra controles adicionais para configurar a estrutura de chaves.
6. Configure a estrutura de chaves, por exemplo:
   1. Número de estruturas principais: 2
   2. Estrutura de chave 1 = geografia x categoria de produto.
   3. Estrutura de chave 2 = ID da campanha x categoria do produto.
7. Clique em "Simular".
8. Agora você recebe dois relatórios de resumo por tipo de meta de medição (dois para a contagem de compras e dois para o valor da compra), já que está usando duas estruturas de chaves distintas. Observe as proporções de ruído.
9. Você também pode fazer isso com suas próprias dimensões personalizadas. Para fazer isso, procure os dados que você quer acompanhar: dimensões. Remova as dimensões de exemplo e crie as suas usando os botões "Adicionar/Remover/Reiniciar" abaixo da última dimensão.

Teste no Noise Lab

1. Acesse o modo simples (ou avançado, ambos funcionam da mesma forma em relação à frequência de lote).
2. No painel lateral "Parâmetros", procure "Sua estratégia de agregação" > "Frequência de agrupamento". Isso se refere à frequência de lote de relatórios agregáveis que são processados com o serviço de agregação em um único job.
3. Observe a frequência de agrupamento padrão: por padrão, uma frequência de agrupamento diária é simulada.
4. Clique em "Simular".
5. Observe as proporções de ruído da simulação resultante.
6. Mude a frequência de agrupamento para semanal.
7. Observe as proporções de ruído da simulação resultante: agora elas são menores (melhores) do que na simulação anterior.

Teste no Noise Lab

Embora isso possa ser difícil de prever e possa ter variações significativas, além dos efeitos sazonais, tente estimar o número de conversões atribuíveis de um toque por dia para o expoente mais próximo de 10: 10, 100, 1.000 ou 10.000.

1. Acesse o modo avançado.
2. No painel lateral "Parâmetros", procure "Seus dados de conversão".
3. Observe os parâmetros padrão. Por padrão, a contagem TOTAL de conversões atribuíveis diárias é 1.000. Isso representa uma média de cerca de 40 por bucket se você usar a configuração padrão (dimensões padrão, número padrão de valores diferentes para cada dimensão, estratégia de chave A). O valor é 40 na entrada "Contagem média diária de conversões atribuíveis por bucket".
4. Clique em "Simular" para executar uma simulação com os parâmetros padrão.
5. Observe as proporções de ruído da simulação resultante.
6. Agora, defina a contagem TOTAL de conversões atribuíveis diárias como 100. Isso reduz o valor da contagem de conversões atribuíveis diária média POR BUCKET.
7. Clique em "Simular".
8. Observe que as proporções de ruído agora são maiores: isso ocorre porque, quando você tem menos conversões por bucket, mais ruído é aplicado para manter a privacidade.

Teste no Noise Lab

1. Acesse o modo avançado.
2. No painel lateral "Parâmetros", procure por "Sua estratégia de agregação > Dimensionamento". Ela é definida como "Sim" por padrão.
3. Para entender os efeitos positivos do escalonamento na relação de ruído, primeiro defina o escalonamento como "Não".
4. Clique em "Simular".
5. Observe as proporções de ruído da simulação resultante.
6. Defina "Escala" como "Sim". O Noise Lab calcula automaticamente os fatores de escalonamento a serem usados com base nos intervalos (valores médios e máximos) das metas de medição do seu cenário. Em uma configuração real de teste de sistema ou origem, é necessário implementar seu próprio cálculo para fatores de escalonamento.
7. Clique em "Simular".
8. Observe que as proporções de ruído agora são menores (melhores) nesta segunda simulação. Isso ocorre porque você está usando o escalonamento.

Teste no Noise Lab

Uma meta de medição é um ponto de dados distinto coletado em eventos de conversão.

1. Acesse o modo avançado.
2. No painel lateral "Parâmetros", procure os dados que você quer acompanhar: Metas de medição. Por padrão, você tem duas metas de medição: valor da compra e contagem de compras.
3. Clique em "Simular" para executar uma simulação com as metas padrão.
4. Clique em "Remover". Isso vai remover a última meta de medição (contagem de compras nesse caso).
5. Clique em "Simular".
6. Observe que as proporções de ruído para o valor da compra agora são menores (melhores) para esta segunda simulação. Isso acontece porque você tem menos metas de medição, então uma delas recebe todo o orçamento de contribuição.
7. Clique em "Redefinir". Agora você tem duas metas de medição: valor e contagem de compras. O Noise Lab calcula automaticamente os fatores de escalonamento a serem usados com base nos intervalos (valores médios e máximos) das metas de medição do seu cenário. Por padrão, o Noise Lab divide o orçamento igualmente entre as metas de medição.
8. Clique em "Simular".
9. Observe as proporções de ruído da simulação resultante. Anote os fatores de escalonamento exibidos na simulação.
10. Agora, vamos personalizar a divisão do orçamento de privacidade para alcançar melhores proporções de sinal-ruído.
11. Ajuste o percentual de orçamento atribuído a cada meta de medição. Considerando os parâmetros padrão, a meta de medição 1, ou seja, o valor da compra, tem um intervalo muito maior (entre 0 e 1.000) do que a meta de medição 2, ou seja, a contagem de compras (entre 1 e 1, ou seja, sempre igual a 1). Por isso, é necessário "mais espaço para escalar": seria ideal atribuir mais orçamento de contribuição à meta de medição 1 do que à meta de medição 2, para que ela possa ser ampliada com mais eficiência (consulte "Escalabilidade") e,
12. Atribua 70% do orçamento à meta de medição 1. Atribua 30% à meta de medição 2.
13. Clique em "Simular".
14. Observe as proporções de ruído da simulação resultante. Para o valor da compra, as taxas de ruído agora são consideravelmente menores (melhores) do que na simulação anterior. A contagem de compras não mudou muito.
15. Continue ajustando a divisão do orçamento entre as métricas. Observe como isso afeta o ruído.

É possível definir suas próprias metas de medição personalizadas com os botões "Adicionar/Remover/Reiniciar".

Teste no Noise Lab

Uma meta de medição é um ponto de dados distinto coletado em eventos de conversão.

1. Acesse o modo avançado.
2. No painel lateral "Parâmetros", procure por "Sua estratégia de agregação > Dimensionamento".
3. Verifique se a opção "Dimensionamento" está definida como "Sim". O Noise Lab calcula automaticamente os fatores de escalonamento a serem usados com base nos intervalos (valores médios e máximos) que você forneceu para as metas de medição.
4. Vamos supor que a maior compra já feita foi de US $2.000, mas que a maioria das compras acontece entre US $10 e US$ 120. Primeiro, vamos ver o que acontece se usarmos uma abordagem de escalonamento literal (não recomendada): insira US $2.000 como o valor máximo de purchaseValue.
5. Clique em "Simular".
6. Observe que as proporções de ruído são altas. Isso ocorre porque nosso fator de escalonamento é calculado com base em US $2.000, quando, na realidade, a maioria dos valores de compra será consideravelmente menor.
7. Agora, vamos usar uma abordagem de escalonamento mais pragmática. Mude o valor máximo de compra para US $120.
8. Clique em "Simular".
9. Observe que as proporções de ruído são menores (melhores) nesta segunda simulação.

Tour rápido pelo Noise Lab

O Noise Lab ajuda a avaliar e comparar rapidamente as estratégias de gerenciamento de ruído. Use-o para:

• Entenda os principais parâmetros que podem afetar o ruído e o efeito que eles têm.
• Simule o efeito do ruído nos dados de medição de saída com base em diferentes decisões de design. Ajuste os parâmetros de design até alcançar uma relação sinal-ruído que funcione para seu caso de uso.
• Compartilhe seu feedback sobre a utilidade dos relatórios de resumo: quais valores dos parâmetros de epsilon e ruído funcionam para você e quais não funcionam? Onde estão os pontos de inflexão?

Pense nisso como uma etapa de preparação. O Noise Lab gera dados de medição para simular saídas de relatórios de resumo com base na sua entrada. Ele não persiste nem compartilha dados.

Há dois modos diferentes no Noise Lab:

1. Modo simples: entenda os fundamentos dos controles que você tem sobre o ruído.
2. Modo avançado: teste diferentes estratégias de gerenciamento de ruído e avalie qual delas leva às melhores relações sinal-ruído para seus casos de uso.

Clique nos botões no menu superior para alternar entre os dois modos (1. na captura de tela abaixo).

Modo simples

• No modo Simples, você controla os parâmetros (encontrados no lado esquerdo ou #2. na captura de tela abaixo), como o Epsilon, e verifica como eles afetam o ruído.
• Cada parâmetro tem uma dica (um botão "?"). Clique nelas para conferir uma explicação de cada parâmetro (3. na captura de tela abaixo).
• Para começar, clique no botão "Simulate" e observe a saída. #4. na captura de tela abaixo
• Na seção "Saída", você pode conferir vários detalhes. Alguns elementos têm um "?" ao lado. Clique em cada "?" para conferir uma explicação das várias informações.
• Na seção "Saída", clique na opção "Detalhes" se quiser ver uma versão expandida da tabela (5. na captura de tela abaixo).
• Abaixo de cada tabela de dados na seção de saída, há uma opção para fazer o download da tabela para uso off-line. Além disso, no canto inferior direito, há uma opção para fazer o download de todas as tabelas de dados (6. na captura de tela abaixo).
• Teste diferentes configurações na seção "Parâmetros" e clique em "Simular" para conferir como elas afetam a saída:

  

Modo avançado

• No modo avançado, você tem mais controle sobre os parâmetros. É possível adicionar dimensões e metas de medição personalizadas (1. e 2. na captura de tela abaixo).
• Role para baixo na seção "Parâmetros" e confira a opção "Estratégia principal". Isso pode ser usado para testar diferentes estruturas de chaves (3. na captura de tela abaixo)
  • Para testar diferentes estruturas de chaves, mude a estratégia de chaves para "B".
  • Insira o número de estruturas de chaves diferentes que você quer usar (o padrão é "2")
  • Clique em "Gerar estruturas de chaves".
  • Clique nas caixas de seleção ao lado das chaves que você quer incluir em cada estrutura de chave para especificar suas estruturas de chave.
  • Clique em "Simular" para conferir a saída.

    

    

Métricas de ruído

Conceito principal

Ruídos são adicionados para proteger a privacidade do usuário individual.

Um valor de ruído alto indica que os buckets/chaves são esparsos e contêm contribuições de um número limitado de eventos sensíveis. Isso é feito automaticamente pelo Noise Lab para permitir que as pessoas "se escondam na multidão", ou seja, protege a privacidade desses indivíduos limitados com uma quantidade maior de ruído adicionado.

Um valor de ruído baixo indica que a configuração de dados foi projetada de forma que já permite que os indivíduos "se escondam na multidão". Isso significa que os buckets contêm contribuições de um número suficiente de eventos para garantir que a privacidade do usuário individual seja protegida.

Essa declaração é válida para o erro percentual médio (APE) e o RMSRE_T (erro relativo raiz-quadrado médio com um limite).

APE (erro percentual médio)

O APE é a relação entre o ruído e o sinal, ou seja, o valor real do resumo.p> Valores de APE mais baixos significam melhores relações sinal-ruído.

Fórmula

Para um determinado relatório de resumo, o APE é calculado da seguinte forma:

True é o valor real do resumo. O APE é a média do ruído em cada valor de resumo verdadeiro, com a média de todas as entradas em um relatório de resumo. No Noise Lab, esse valor é multiplicado por 100 para gerar uma porcentagem.

Prós e contras

Os buckets com tamanhos menores têm um impacto desproporcional no valor final da APE. Isso pode ser enganoso ao avaliar o ruído. Por isso, adicionamos outra métrica, RMSRE_T, que foi projetada para mitigar essa limitação da APE. Confira os exemplos para mais detalhes.

Código

Consulte o código-fonte para o cálculo do APE.

RMSRE_T (erro relativo raiz-média-quadrado com um limite)

O RMSRE_T (erro relativo raiz-quadrado-médio com um limite) é outra medida de ruído.

Como interpretar RMSRE_T

Valores RMSRE_T mais baixos significam melhores relações sinal-ruído.
Por exemplo, se uma proporção de ruído aceitável para seu caso de uso for de 20% e o RMSRE_T for 0,2, você pode ter certeza de que os níveis de ruído estão dentro do intervalo aceitável.

Fórmula

Para um determinado relatório de resumo, o RMSRE_T é calculado da seguinte maneira:

Prós e contras

O RMSRE_T é um pouco mais complexo do que o APE. No entanto, ela tem algumas vantagens que, em alguns casos, a tornam mais adequada que a APE para analisar ruídos em relatórios de resumo:

• O RMSRE_T é mais estável. "T" é um limite. "T" é usado para dar menos peso no cálculo do RMSRE_T a buckets com menos conversões e, portanto, mais sensíveis ao ruído devido ao tamanho pequeno. Com T, a métrica não tem picos em intervalos com poucas conversões. Se T for igual a 5, um valor de ruído tão pequeno quanto 1 em um bucket com 0 conversões não será mostrado como muito acima de 1. Em vez disso, ele será limitado a 0,2, o que equivale a 1/5, já que T é igual a 5. Ao dar menos peso aos buckets menores, que são mais sensíveis ao ruído, essa métrica fica mais estável e facilita a comparação de duas simulações.
• O RMSRE_T permite uma agregação fácil. Conhecer o RMSRE_T de vários buckets, junto com os respectivos valores reais, permite calcular o RMSRE_T da soma deles. Isso também permite otimizar o RMSRE_T para esses valores combinados.

Embora a agregação seja possível para APE, a fórmula é bastante complicada, já que envolve o valor absoluto da soma dos ruídos de Laplace. Isso dificulta a otimização do APE.

Código

Revise o código-fonte para o cálculo do RMSRE_T.

Exemplos

Relatório de resumo com três buckets:

• bucket_1 = ruído: 10, trueSummaryValue: 100
• bucket_2 = ruído: 20, trueSummaryValue: 100
• bucket_3 = noise: 20, trueSummaryValue: 200

APE = (0,1 + 0,2 + 0,1) / 3 = 13%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,200))^2) / 3) =  sqrt( (0.01 + 0.04 + 0.01) / 3) =  0.14 

Relatório de resumo com três buckets:

• bucket_1 = ruído: 10, trueSummaryValue: 100
• bucket_2 = ruído: 20, trueSummaryValue: 100
• bucket_3 = noise: 20, trueSummaryValue: 20

APE = (0,1 + 0,2 + 1) / 3 = 43%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,20))^2) / 3)  =  sqrt( (0.01 + 0.04 + 1.0) / 3) =  0.59

Relatório de resumo com três buckets:

• bucket_1 = ruído: 10, trueSummaryValue: 100
• bucket_2 = ruído: 20, trueSummaryValue: 100
• bucket_3 = noise: 20, trueSummaryValue: 0

APE = (0,1 + 0,2 + Infinity) / 3 = Infinity

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2  +
(20/max(5,0))^2) / 3) =  sqrt( (0.01 + 0.04 + 16.0) / 3) =  2.31

Gerenciamento avançado de chaves

Uma DSP ou empresa de medição de anúncios pode ter milhares de clientes de publicidade globais, abrangendo vários setores, moedas e potenciais preços de compra. Isso significa que criar e gerenciar uma chave de agregação por anunciante provavelmente será muito impraticável. Além disso, será difícil selecionar um valor máximo e um orçamento de agregação que possam limitar o impacto do ruído entre esses milhares de anunciantes globais. Em vez disso, considere os seguintes cenários:

Estratégia A

O provedor de adtech decide criar e gerenciar uma chave em todos os clientes de publicidade. Em todos os anunciantes e moedas, o intervalo de compras varia de compras de alto valor com baixo volume a compras de baixo valor com alto volume. Isso resulta na seguinte chave:

Estratégia B

O provedor de adtech decide criar e gerenciar duas chaves para todos os clientes de publicidade. Ele decide separar as chaves por moeda. Em todos os anunciantes e em todas as moedas, o intervalo de compras varia de compras de baixo volume e alto nível a compras de alto volume e baixo nível. Separando por moeda, eles criam duas chaves:

A estratégia de chaves B vai ter menos ruído no resultado do que a estratégia de chaves A, porque os valores das moedas não são distribuídos de maneira uniforme. Por exemplo, considere como as compras denominadas em ¥ misturadas com compras denominadas em USD vão alterar os dados subjacentes e a saída ruidosa resultante.

Estratégia C das chaves

O provedor de adtech decide criar e gerenciar quatro chaves em todos os clientes de publicidade e separá-las por moeda x setor do anunciante:

A estratégia C terá menos ruído no resultado do que a estratégia B, porque os valores de compra dos anunciantes não são distribuídos uniformemente entre eles. Por exemplo, considere como as compras de joias de alto padrão misturadas com compras de bonés de beisebol vão alterar os dados subjacentes e resultar em uma saída com ruído.

Crie valores agregados máximos e fatores de escalonamento compartilhados para elementos comuns entre vários anunciantes para reduzir o ruído na saída. Por exemplo, você pode testar as estratégias abaixo para seus anunciantes:

• Uma estratégia separada por moeda (USD, ¥, CAD etc.)
• Uma estratégia separada por setor do anunciante (seguros, automóveis, varejo etc.)
• Uma estratégia separada por intervalos de valor de compra semelhantes ([100], [1000], [10000], etc.)

Ao criar estratégias de chaves com base nas características comuns dos anunciantes, as chaves e o código correspondente ficam mais fáceis de gerenciar, e as relações sinal-ruído ficam maiores. Teste diferentes estratégias com diferentes características comuns dos anunciantes para descobrir pontos de inflexão ao maximizar o impacto do ruído em comparação com o gerenciamento do código.

Gerenciamento avançado de valores atípicos

Vamos considerar um cenário com dois anunciantes:

• Anunciante A:
  • Em todos os produtos no site do Anunciante A, as possibilidades de preço de compra estão entre [$120 - $1.000] , para uma faixa de US $880.
  • Os preços de compra são distribuídos uniformemente no intervalo de US $880, sem outliers fora de duas desvios padrão do preço de compra médio.
• Anunciante B:
  • Em todos os produtos no site do Anunciante B, as possibilidades de preço de compra estão entre [$120 - $1.000] , com uma faixa de $880.
  • Os preços de compra são fortemente distorcidos para o intervalo de US $120 a US$ 500, com apenas 5% das compras ocorrendo no intervalo de US $500 a US$ 1.000.

Considerando os requisitos de orçamento de contribuição e a metodologia com que o ruído é aplicado aos resultados finais, o Anunciante B terá, por padrão, uma saída mais ruidosa do que o Anunciante A, já que o Anunciante B tem um potencial maior de valores discrepantes para afetar os cálculos.

É possível mitigar esse problema com uma configuração de chave específica. Teste estratégias de chaves que ajudam a gerenciar dados fora da curva e distribua de maneira mais uniforme os valores de compra em todo o intervalo de compra da chave.

Para o Anunciante B, você pode criar duas chaves separadas para capturar dois intervalos de valor de compra diferentes. Neste exemplo, a adtech observou que os valores discrepantes aparecem acima do valor de compra de US $500. Tente implementar duas chaves separadas para este anunciante:

• Estrutura de chave 1 : chave que captura apenas compras entre US $120 e US$ 500 (cobrindo cerca de 95% do volume total de compras).
• Estrutura de chave 2: chave que captura apenas compras acima de US $500 (cobrindo cerca de 5% do volume total de compras).

A implementação dessa estratégia principal deve gerenciar melhor o ruído do Anunciante B e ajudar a maximizar a utilidade dele nos relatórios de resumo. Com os novos intervalos menores, as chaves A e B agora têm uma distribuição mais uniforme de dados em cada chave, em comparação com a chave única anterior. Isso vai resultar em menos impacto de ruído na saída de cada chave do que para a chave única anterior.