Framework de teste de carga do serviço de agregação

Aceitamos seu feedback sobre este documento enquanto nos preparamos para adicioná-lo ao nosso repositório de orientações públicas.

Incentivamos as adtechs a fazer testes de carga em 100% do tráfego de produção:

  1. As adtechs precisam acessar a medição de atribuição de conversão usando a API Attribution Reporting como casos de uso de relatórios.
  2. A tecnologia de publicidade precisa tomar decisões de design e minimizar o ruído (referência: decisões de design modeladas)
  3. Durante o teste, as adtechs precisam acompanhar o número de jobs executados por dia (por exemplo, jobs por anunciante), uma distribuição estimada do volume de eventos de conversão e o número de chaves agregadas como entrada por job de processamento. Consulte o parâmetro output_domain_blob_prefix na documentação da API Aggregation Service e os eventos de conversão médios estimados por relatório de entrada.
  4. Para testes, as adtechs precisam pesquisar o tipo de instância recomendado na tabela de orientações de dimensionamento com base no tamanho esperado do trabalho (ou seja, volume de relatórios, tamanho do domínio) e dimensionar o serviço de agregação implantado de acordo. Referência: Orientações de dimensionamento para o serviço agregado na AWS
  5. As adtechs precisam executar jobs de agregação para testes de carga.

Metas

Esta orientação é específica para a medição agregada da atribuição de conversão e inclui instruções importantes de configuração e configuração destinadas ao uso por adtechs para:

  • Estime as expectativas de carga para a medição agregada da atribuição de conversão.
  • Otimizar a configuração principal para performance e ruído com base nas dimensões e metas que pretendem medir, além do tamanho e da segmentação dos anunciantes.

Pré-requisito

Este guia é destinado a um público-alvo de tecnologia de publicidade. Antes de seguir as etapas abaixo, consulte nossa documentação sobre como trabalhar com ruído, decisões de design de relatórios de resumo e teste o laboratório de ruído para uma configuração ideal.

Etapas

1. Estratégia inicial de configuração da chave de agregação

Determine quantas estruturas principais (ou seja, conjunto de dimensões) diferentes você precisa com base no tipo e nos objetivos da sua empresa. A otimização da estrutura de chaves pode ajudar a reduzir o ruído nos relatórios.

O número de anunciantes que você tem
Por exemplo, digamos que você tenha 1.000 anunciantes.

As semelhanças entre seus anunciantes
As semelhanças devem ser avaliadas com base no volume de conversões, nos valores relativos de conversão e na cobertura geral das características do anunciante. Quanto mais semelhantes forem os grupos, mais refinados serão os resultados (devido à menor variância nos valores de saída) e, portanto, menor será o impacto do ruído. Consulte o gerenciamento avançado de chaves para mais detalhes. Por exemplo, uma adtech pode segmentar os anunciantes por setor, gasto e volume de conversão da seguinte forma:

  • Setor (por exemplo: seguros, joias, varejo em crescimento)
  • Gasto (por exemplo: <R$ 50.000/trimestre, R$ 50.000 a R$ 150.000/trimestre, R$ 150.000 a R$ 250.000/trimestre)
  • Volume de conversão (baixo, médio, alto)

O número de estruturas de chaves agregadas a serem criadas
Por exemplo, 27 (3x3x3) : 3 setores, 3 tipos de gasto e 3 agrupamentos para valores de conversão.

2. Identificar dimensões de chave de agregação

Em seguida, identifique as dimensões importantes que você quer acompanhar para impressões e conversões e estime o número de chaves do lado da origem e do gatilho.

Para cada estrutura de chave de agregação, as dimensões importantes que você precisa rastrear para impressões ajudam a determinar o número de chaves do lado da origem. As dimensões dependem do tipo de anunciante, como setor, gasto ou conversão. Os exemplos a seguir ajudam a explicar as dimensões:

  • Estrutura de chave 1: (setor = seguros, gasto =< 50.000, volume de conversão = baixo)

    • R: 4 dimensões: campanha (por exemplo, 50 possibilidades), grupo de anúncios (por exemplo: 20 possibilidades), Tipo de dispositivo (por exemplo: 5 possibilidades), região (por exemplo: 50 possibilidades)
      1. Combinações dimensionais possíveis = 50 x 20 x 5 x 50 = 250.000. Isso representa o número de combinações dimensionais possíveis para chaves do lado da origem na estrutura de chave 1.
      2. É necessário reservar 18 bits (18 bits = 262.144 combinações possíveis)

  • Estrutura de chave 2: (setor = seguros, gasto =<50.000, volume de conversão = médio)

    • R: 4 dimensões: campanha (por exemplo, 30 possibilidades), grupo de anúncios (por exemplo: 80 possibilidades), tipo de anúncio (por exemplo, 3 possibilidades), Geo (por exemplo: 50 possibilidades).
      1. Combinações dimensionais possíveis = 30 x 80 x 3 x 50 = 360.000. Isso representa o número de combinações dimensionais possíveis ou chaves do lado da origem para a estrutura de chave 2.
      2. É necessário reservar 19 bits (19 bits = 524.288 combinações possíveis)

  • Estrutura principal 3: repita (planeje da mesma forma para todas as estruturas principais que você tem)

Para cada estrutura de chave de agregação, as dimensões importantes que você precisa rastrear para conversões ajudam a determinar as chaves laterais de acionamento. Exemplo:

  • Estrutura de chave 1: (setor = seguros, gasto =< 50.000, volume de conversão = baixo)

    • R: Duas dimensões: categoria de produto (por exemplo, 100 possibilidades), Tipo de conversão (por exemplo: 5 possibilidades)
      1. Combinações dimensionais possíveis = 100 x 5 = 500
      2. É necessário reservar 9 bits (9 bits = 512 combinações possíveis).

  • Estrutura de chave 2: (setor = seguros, gasto =<50.000, volume de conversão = médio)

    • R: 3 dimensões: categoria do produto (por exemplo, 50 possibilidades), tipo de produto (10 possibilidades), tipo de conversão (3 possibilidades)
      1. Combinações dimensionais possíveis = 50 x 10 x 3 = 1.500
      2. É necessário reservar 11 bits (11 bits = 2.048 combinações possíveis)

  • Estrutura principal 3: repetição (planeje da mesma forma para todas as estruturas principais que você tiver)

Estimativas para chaves agregadas

  • Estrutura de chave 1: 250.000 chaves de impressão x 500 chaves de conversão = 125.000.000 chaves
  • Estrutura de chave 2: 360.000 chaves de impressão x 1.500 chaves de conversão = 540.000.000 chaves
  • Estrutura de chave 3: (planeje da mesma forma para todas as estruturas de chave que você tem)
  • Repita para cada estrutura de chave
  • Máximo de chaves de agregação = 540.000.000 de chaves (em todas as estruturas de chaves). É necessário reservar 30 bits (30 bits = 1,07 bilhão de combinações possíveis)

Volume de conversão previsto

Para cada estrutura de chave de agregação, o volume previsto pode ser explicado usando os exemplos a seguir:

  • Estrutura principal 1: (setor = seguros, gasto = <50.000, volume de conversão = baixo)
    • R: Preveja que a Estrutura principal 1 vai constituir cerca de US $500.000 em gastos de anunciantes no próximo trimestre,com um preço médio de CPM de US $8. Isso vai resultar em 62.500.000 impressões que precisam ser registradas.
    • A taxa média de impressão para conversão que a estrutura principal 1 vai constituir no próximo trimestre é de 0,08%, resultando em 50.000 conversões atribuídas que precisam ser capturadas. Para cada conversão, meça o valor e a contagem de compras.
  • Estrutura principal 2: (setor = seguros, gasto =<50.000, volume de conversão = médio)
    • R: Preveja que a Chave 2 vai representar cerca de US$ 800.000 em gastos no próximo trimestre,com um preço médio de US$ 10 de CPM. Preveja que isso vai resultar em 80.000.000 de impressões que precisam ser registradas.
    • A taxa média de impressão para conversão que a chave 2 vai constituir no próximo trimestre é de 0,03125%, resultando em 25.000 conversões atribuídas que precisam ser capturadas. Para cada conversão, meça o valor e a contagem de compras.
  • Repita para cada estrutura de chave

Frequência de entrega e agrupamento de relatórios (lote por anunciante)**

Para cada estrutura de chave de agregação, você vai precisar de relatórios de conversão entregues de forma recorrente. Recomendamos que as adtechs façam o agrupamento em lote por anunciante (para uma separação mais limpa dos dados por relatório e uma agregação mais eficiente) e usem o campo shared_info.scheduled_report_time do relatório para o agrupamento em lote.

  • A: Por hora
  • B: Diariamente
  • C: Semanal

Observações

  • Para agrupar por anunciante, verifique os SLAs com os anunciantes.

  • O batching mais frequente inclui mais ruído por lote. Consulte: Decisão: frequência em lote.

  • Para evitar erros devido ao agrupamento incorreto, verifique se os lotes usam o campo scheduled_report_time, não report arrival time. Por exemplo, se você fizer um lote a cada hora, o lote das 11h só vai incluir relatórios com scheduled_report_time entre 10h e 11h, e não relatórios que chegaram entre 10h e 11h com um scheduled_report_time diferente (por exemplo, 9h).

Estimativas para o volume de relatórios

  • Estrutura principal 1: 50.000 conversões atribuídas / 2.160 (relatórios por hora, horas em um trimestre) = 24 relatórios de resumo por hora por anunciante (24 x 1.000 anunciantes = 24 mil relatórios de resumo)
  • Estrutura principal 2: 25.000 conversões atribuídas / 2.160 (relatórios por hora, horas em um trimestre) = 12 relatórios de resumo por hora por anunciante (12 x 1.000 anunciantes = 12 mil relatórios de resumo)
  • Estrutura principal 3: repetição
  • Número total de relatórios de resumo por hora = 24 relatórios de resumo para a estrutura principal 1 + 12 relatórios de resumo para a estrutura principal 2 + ... = ... por hora por anunciante

Resumo do feedback

Entender as estimativas a seguir das adtechs nos ajuda a planejar recursos e melhorias para oferecer suporte à escala exigida por elas. Sugerimos que você compartilhe o seguinte com a gente. Consulte nossas diretrizes de dimensionamento para o serviço de agregação na AWS para mais informações:

  • Máximo de chaves de domínio de entrada (chaves a serem agregadas) por job de serviço de agregação
  • Volume máximo de relatórios de entrada por job (conversões atribuídas)
  • Contribuições estimadas por relatório (pares de chave/valor em um relatório)
  • Distribuição estimada de conversões atribuídas por job
  • Distribuição estimada de chaves de domínio em um job
  • Número estimado de jobs por hora/dia/semana