Guia de teste de medição

O objetivo deste guia é orientar sobre como executar um teste independente da API Attribution Reporting do Sandbox de privacidade. Para mais detalhes, consulte a Seção 12.

• A medição dos resultados dos grupos de controle e de tratamento nos modelos experimentais 1 e 2 da CMA é abordada nas diretrizes de teste das APIs de relevância, já que o objetivo desses experimentos é testar a eficácia do uso do Protected Audience e dos Topics. Para mais detalhes, consulte a Seção 11.

Antes de começar

• Consulte orientações sobre como configurar e definir a API Attribution Reporting.
• Consulte as orientações de teste da CMA: Observação sobre experimentos (novembro de 2022), Orientações de teste (junho de 2023) e Outras orientações de teste (outubro de 2023).

Metas de avaliação e configuração de experimento proposta

Meta 1: determinar a eficácia da API Attribution Reporting para geração de relatórios

Propomos uma configuração A/A para medir o impacto nos relatórios

• Essa proposta está alinhada às orientações da CMA sobre a avaliação de métricas baseadas em conversões. Para mais detalhes, consulte as Seções 21 e 12.
• Preferimos esse método em vez do modo A/B porque o teste da API Attribution Reporting (ARA) pode ser feito medindo simultaneamente as conversões no mesmo conjunto de impressões usando duas metodologias de medição diferentes (cookies de terceiros + dados de cookies que não são de terceiros e ARA + dados de cookies que não são de terceiros).
• Um experimento A/A também isola o impacto da API Attribution Reporting na medição de conversões. Por exemplo, ele evita mudanças nas taxas de conversão devido à falta de cookies de terceiros.

Pontos de análise sugeridos

• Escolha uma fatia de tráfego grande o suficiente para gerar resultados estatisticamente significativos e que tenha cookies de terceiros e APIs do Sandbox de privacidade. O ideal é que seja todo o tráfego, exceto o modo B, que desativa cookies de terceiros.
  • Recomendamos excluir o modo B do experimento A/A, já que os cookies de terceiros não estarão disponíveis e não será possível comparar os resultados da ARA com os da atribuição baseada em cookies de terceiros.
  • Se você quiser incluir o modo B, ative os relatórios de depuração para a fração de tráfego do modo B. Os relatórios de depuração ajudam a resolver problemas de configuração ou implementação.
• Se você planeja testar em uma fatia menor de tráfego, esperamos que receba resultados de medição mais ruidosos do que o esperado. Recomendamos que você observe na sua análise qual fração do tráfego foi usada e se você está informando resultados com base em relatórios com ruído ou de depuração sem ruído.
  • Para relatórios de resumo, os valores provavelmente serão menores, e o serviço de agregação vai adicionar ruído da mesma distribuição, independente do valor do resumo.
• Teste diferentes metodologias de medição nessa fatia de tráfego.
  • Controle 1: usar as metodologias de medição atuais (cookies de terceiros + dados de cookies que não são de terceiros)
  • (opcional) Controle 2: sem Sandbox de privacidade e sem cookies de terceiros, ou seja, apenas dados de cookies que não são de terceiros
    • Talvez ainda haja cookies de terceiros disponíveis para alguns sites. Para resultados mais precisos, não use esses cookies para medição nas metodologias de controle 2 ou tratamento.
  • Tratamento: APIs do Sandbox de privacidade e dados de cookies que não são de terceiros
    • Talvez ainda haja cookies de terceiros disponíveis para alguns sites. Para resultados mais precisos, não use esses cookies para medição nas metodologias de controle 2 ou tratamento.

Métricas

• Defina quais métricas fazem sentido para sua empresa medir resultados e inclua uma descrição do que a métrica significa e como ela está sendo medida.
  • Sugerimos que você se concentre nas dimensões e métricas importantes para seus anunciantes. Por exemplo, se os anunciantes se concentrarem em conversões de compra, meça as contagens de conversão e o valor da compra.
• Métricas baseadas em contagem ou soma (por exemplo, taxa de conversão) são mais adequadas para trabalhar do que custo por (por exemplo, custo por conversão). Para a análise A/A, as métricas de custo podem ser totalmente derivadas da contagem ou da soma dos valores de conversão.
• Especifique se as métricas são baseadas em relatórios de eventos, relatórios de resumo ou uma combinação dos dois (e se foram usados relatórios de depuração).
• Consulte as tabelas de modelos sugeridas para saber como formatar o feedback quantitativo.

Análise

• Cobertura:
  • Você consegue medir em um conjunto semelhante de usuários em comparação com cookies de terceiros? Você percebe uma cobertura maior (por exemplo, com app para Web)?
  • Você consegue medir as conversões (e dimensões ou métricas) que você ou seus anunciantes mais valorizam?
• Feedback quantitativo
  • Por exemplo, nos relatórios do anunciante, qual porcentagem das conversões principais você conseguiria informar para esse anunciante? Ou qual porcentagem das campanhas atende a um padrão de qualidade de relatórios? Derivar um padrão de qualidade ajuda a ajustar campanhas com contagens de conversão pequenas.
  • Por exemplo, segmentado por anunciante, há alguns anunciantes que são mais ou menos dependentes dos cookies de terceiros para gerar relatórios hoje?
• Outros feedbacks qualitativos:
  • Como a ARA afeta a complexidade da configuração de medição/atribuição dos anunciantes?
  • A ARA ajuda ou atrapalha os anunciantes a se concentrarem nas métricas e metas importantes para eles?

Tabelas de modelos sugeridas para relatar o impacto

(Relatórios) Tabela 1:

Exemplo de tabela de modelo para informar os resultados experimentais à CMA (retirado da página 18, mas os testadores precisam considerar quais métricas são mais significativas / viáveis para fornecer e adaptar a tabela conforme necessário).

(Relatórios) Tabela 2:

Exemplo de tabela de modelo para relatar estatísticas descritivas de métricas nos grupos de tratamento e controle (retirado da página 20, mas os testadores precisam considerar quais métricas são mais significativas / viáveis para fornecer e adaptar a tabela conforme necessário).

Meta 2: determinar a eficácia da API Attribution Reporting para otimização de lances

Propomos uma configuração de teste A/B para medir o impacto na otimização de lances.

• Para medir o impacto na otimização de lances, é necessário treinar dois modelos diferentes de aprendizado de máquina e usá-los em duas partes do tráfego: um modelo treinado com as metodologias de medição atuais (cookies de terceiros + dados que não são de cookies de terceiros) para ser aplicado ao grupo de controle e um modelo treinado com a API Attribution Reporting + dados que não são de cookies de terceiros para ser aplicado ao grupo de tratamento.
• O treinamento do modelo precisa ser baseado em tanto tráfego quanto o testador considerar necessário para maximizar a performance, mesmo que o grupo de tratamento seja uma fatia menor de tráfego e haja sobreposição entre as populações de treinamento. Por exemplo, use o modelo de cookie de terceiros atual que está sendo treinado em todo o tráfego e treine o modelo da ARA em todo o tráfego da ARA ativado para a meta 1.
  • Se você enviar resultados para a CMA, observe se há uma diferença significativa entre as partes de tráfego usadas para treinar modelos diferentes. Por exemplo, se os modelos baseados em cookies de terceiros forem treinados com 100% do tráfego, mas os modelos baseados em ARA forem treinados com apenas 1% do tráfego.
• Se possível, o treinamento dos modelos de tratamento e de controle deve ocorrer pelo mesmo período.
• Considere se você deve treinar e atualizar continuamente os modelos de lances durante o experimento e, se fizer isso, se deve treinar com o máximo de tráfego possível ou apenas com o tráfego dos grupos de tratamento e controle.
• Os diferentes modelos precisam ser usados em partes separadas do tráfego como um experimento A/B. Para randomização e atribuição de usuários em grupos de tratamento e controle, recomendamos usar grupos de navegadores rotulados facilitados pelo Chrome (Modo A) ou executar seu próprio experimento com conjuntos randomizados de navegadores. Não recomendamos usar o Modo B porque a falta de cookies de terceiros dificulta a geração de relatórios sobre métricas baseadas em conversões.
  • Os grupos de navegadores facilitados pelo Chrome excluem algumas instâncias do Chrome, como usuários do Chrome Enterprise, em que seus próprios conjuntos aleatórios de navegadores podem não excluir essas instâncias. Portanto, execute o experimento apenas em grupos do modo A ou apenas em grupos que não são do modo A/B para evitar comparar métricas obtidas em grupos facilitados pelo Chrome com métricas obtidas fora deles.
  • Se você não estiver usando grupos de navegadores rotulados facilitados pelo Chrome (por exemplo, executando um experimento em outro tráfego):
    • Verifique se a divisão de usuários em tratamento e controle é aleatória e imparcial. Independente da configuração do grupo experimental, avalie as características dos grupos de tratamento e controle para verificar se eles são comparáveis. (Consulte: Seção 15)
    • Verifique se as características do usuário e as configurações de campanha dos grupos de tratamento e controle são as mesmas. Por exemplo, use regiões semelhantes nos dois grupos. Consulte: Seção 28.
      • Exemplos específicos incluem: verifique se tipos de conversão semelhantes estão sendo medidos usando a mesma janela e lógica de atribuição, se as campanhas estão segmentando públicos-alvo, grupos de interesse e regiões geográficas semelhantes e se estão usando textos e formatos de anúncio parecidos.
    • √ os tamanhos iniciais das populações dos grupos de tratamento e de controle são grandes o suficiente para ter flexibilidade de lances e experimentos.
  • Se você estiver usando grupos de navegadores rotulados facilitados pelo Chrome (Modo A), a randomização das instâncias do navegador Chrome em grupos será feita pelo Chrome. Recomendamos que você verifique, como antes, se a randomização resulta em grupos imparciais / comparáveis para seus fins.

Pontos de análise sugeridos

• Recomendamos definir grupos de controle e de tratamento e usar um modelo de aprendizado de máquina diferente para otimizar os lances de cada grupo:
  • Controle 1: use o modelo de otimização de lances treinado com as metodologias de medição atuais (cookies de terceiros + dados de cookies que não são de terceiros)
  • (opcional) Controle 2: use o modelo de otimização de lances treinado sem o Sandbox de privacidade e sem cookies de terceiros, ou seja, apenas dados de cookies que não são de terceiros.
    • Alguns cookies de terceiros ainda podem estar disponíveis para alguns sites. Para resultados mais precisos, não use esses cookies de terceiros para medição nas metodologias de controle 2 ou tratamento.
  • Tratamento: use o modelo de otimização de lances treinado na API Attribution Reporting e dados de cookies que não são de terceiros.
    • Alguns cookies de terceiros ainda podem estar disponíveis para alguns sites. Para resultados mais precisos, não use esses cookies de terceiros para medição nas metodologias de controle 2 ou tratamento.

Métricas

• Defina quais métricas fazem sentido para sua empresa medir resultados e inclua uma descrição do que a métrica significa e como ela está sendo medida.
  • Por exemplo, a métrica significativa pode ser o gasto (receita do publisher), que se alinha à orientação da CMA para entender o impacto da descontinuação dos cookies de terceiros nas "Receitas por impressão". Consulte a Seção 19 para mais detalhes.
• Se você estiver gerando relatórios sobre métricas baseadas em conversão, use a mesma metodologia de medição para cada grupo. Assim, você evita o teste multivariado (teste do impacto na otimização e nos relatórios em um experimento). Consulte as tabelas de modelos sugeridas para saber como formatar o feedback quantitativo.
• Considere outras maneiras de coletar métricas sobre o impacto da otimização de lances, por exemplo, usando lances simulados. Existem métricas simuladas que seriam úteis para entender o impacto dos cookies de terceiros e da ARA nos seus modelos de lances?
• Especifique se as métricas são baseadas em relatórios de eventos, relatórios de resumo ou uma combinação dos dois (e se foram usados relatórios de depuração).

Análise

• Cobertura:
  • Você consegue medir em um conjunto semelhante de usuários em comparação com cookies de terceiros? Você percebeu alguma mudança na cobertura (por exemplo, com app para Web)?
  • Você consegue medir as conversões (e dimensões/métricas) mais importantes para você ou seus anunciantes?
• Como as diferenças entre os grupos afetariam o seguinte:
  • Relatórios do anunciante, por exemplo, qual porcentagem de conversões principais você conseguiria informar.
  • O treinamento e a otimização, por exemplo, simulam o impacto de diferentes dados de conversão no desempenho do modelo.
• Outros feedbacks qualitativos:
  • Como a ARA afeta a complexidade da configuração de otimização de lances dos anunciantes?
  • A ARA ajuda ou atrapalha os anunciantes a se concentrarem nas métricas e metas importantes para eles?

Tabelas de modelos sugeridas para impacto de lances

(Lances) Tabela 1:

Exemplo de tabela de modelo com resultados experimentais que os participantes do mercado precisam enviar à CMA (extraído da página 18, mas os testadores precisam considerar quais métricas são mais significativas / viáveis para fornecer e adaptar a tabela conforme necessário).

(Lances) Tabela 2:

Exemplo de tabela de modelo para relatar estatísticas descritivas de métricas nos grupos de tratamento e controle (retirado da página 20, mas os testadores precisam considerar quais métricas são mais significativas / viáveis para fornecer e adaptar a tabela conforme necessário).

Objetivo 3: teste de carga da API Aggregation Service

Consulte Estrutura de teste de carga do serviço de agregação.