Платформа нагрузочного тестирования службы агрегации

Мы будем рады получить ваши отзывы об этом документе, поскольку мы готовимся добавить его в наш общедоступный репозиторий рекомендаций.

Мы призываем специалистов по рекламе проводить нагрузочное тестирование 100% производственного трафика:

  1. Специалистам по рекламе следует получать доступ к измерению атрибуции конверсий, используя API отчетов об атрибуции в качестве вариантов использования отчетов.
  2. Рекламные технологии должны принимать дизайнерские решения, сводя к минимуму шум (ссылка: смоделированные дизайнерские решения )
  3. Во время тестирования специалисты по рекламе должны отслеживать количество заданий, которые они выполняют в день (например, задания по рекламодателям), предполагаемое распределение объема событий конверсии и количество агрегированных ключей в качестве входных данных для каждого задания по обработке (см. параметр задания output_domain_blob_prefix в документации API службы агрегации ), а также предполагаемое среднее количество событий конверсии для каждого отчета по входным данным.
  4. Для тестирования специалисты по рекламе должны найти рекомендуемый тип экземпляра в таблице рекомендаций по размеру на основе ожидаемого размера задания (т. е. объема отчета, размера домена) и соответственно определить размер развернутой службы агрегации. Ссылка: Руководство по размеру для агрегированной службы на AWS
  5. Специалисты по рекламе должны выполнять задания по агрегации для нагрузочных тестов.

Цели

Это руководство относится только к совокупному измерению атрибуции конверсий и будет включать в себя основные инструкции по настройке и конфигурированию, предназначенные для использования специалистами по рекламе с целью:

  • Оцените ожидаемую нагрузку для совокупного измерения атрибуции конверсий.
  • Оптимизируйте свои основные настройки и конфигурацию для производительности и шума на основе измерений и целей, которые они намеревались измерить, а также размера и сегментации своих рекламодателей.

Предпосылки

Это руководство предназначено для аудитории, занимающейся рекламными технологиями. Перед выполнением следующих шагов вам следует ознакомиться с нашей документацией по работе с шумом , решениями по дизайну сводных отчетов и поэкспериментировать с лабораторией шума для оптимальной конфигурации.

Шаги

1. Первоначальная стратегия настройки ключа агрегации

Определите, сколько различных ключевых структур (т.е. набор измерений) вам нужно на основе типа и целей вашего бизнеса. Обратите внимание, что оптимизация вашей ключевой структуры может помочь уменьшить шум в отчетах.

Количество ваших рекламодателей
Например, предположим, что у вас 1000 рекламодателей .

Сходства между вашими рекламодателями
Сходства следует оценивать на основе объема конверсий, относительных значений конверсий и общего охвата характеристик рекламодателя. Чем более схожими вы сможете их сгруппировать, тем более точно настроенными будут ваши результаты (из-за меньшей дисперсии выходных значений), и, следовательно, тем меньше будет влияние шума. Более подробную информацию см. в разделе «Расширенное управление ключами» . Например, рекламный технолог может сегментировать своих рекламодателей по отраслям, расходам и объему конверсий следующим образом:

  • Отрасль (например: страхование, ювелирные изделия, растущая розничная торговля)
  • Расходы (например: <$50 000/квартал, $50–$150 000/квартал, $150 000–$250 000/квартал)
  • Объем конверсии (низкий, средний, высокий)

Количество совокупных ключевых структур, которые необходимо создать
Например, 27 (3x3x3): 3 отрасли, 3 типа расходов и 3 группы значений конверсии.

2. Определите ключевые параметры агрегации

Затем определите важные параметры, которые вы хотели бы отслеживать как для показов, так и для конверсий, чтобы оценить количество ключей на стороне источника и триггера.

Для каждой структуры ключа агрегации важные измерения, которые вам нужно отслеживать для показов , помогут вам определить количество ключей на стороне источника. Параметры будут зависеть от типа рекламодателя, например, отрасли, расходов или конверсии. Следующие примеры помогут объяснить параметры:

  • Ключевая структура 1: (Отрасль = страхование, расходы = <50 000, объем конверсии = низкий)

    • A: 4 измерения: кампания (например: 50 возможностей), группа объявлений (например: 20 возможностей), тип устройства (например: 5 возможностей), география (например: 50 возможностей)
      1. Возможные размерные комбинации = 50 x 20 x 5 x 50 = 250 000. Это представляет собой количество возможных размерных комбинаций для ключей исходной стороны для структуры ключа 1.
      2. Необходимо зарезервировать 18 бит (18 бит = 262 144 возможных комбинаций)

  • Ключевая структура 2: (Отрасль = страхование, расходы = <50 000, объем конверсии = средний)

    • A: 4 измерения: кампания (например: 30 вариантов), группа объявлений (например: 80 вариантов), тип объявления (например: 3 варианта), гео (например: 50 вариантов).
      1. Возможные размерные комбинации = 30 x 80 x 3 x 50 = 360 000. Это представляет собой количество возможных размерных комбинаций или ключей исходной стороны для ключевой структуры 2.
      2. Необходимо зарезервировать 19 бит (19 бит) = 524 288 возможных комбинаций)

  • Ключевая структура 3: Повторите (аналогично спланируйте все имеющиеся у вас ключевые структуры)

Для каждой структуры агрегационного ключа важные измерения, которые вам нужно отслеживать для конверсий, помогут вам определить ключи триггерной стороны. Например:

  • Ключевая структура 1: (Отрасль = страхование, расходы = <50 000, объем конверсии = низкий)

    • A: 2 измерения: Категория продукта (например: 100 возможностей), Тип преобразования (например: 5 возможностей)
      1. Возможные размерные комбинации = 100 x 5 = 500
      2. Необходимо зарезервировать 9 бит (9 бит = 512 возможных комбинаций)

  • Ключевая структура 2: (Отрасль = страхование, расходы = <50 000, объем конверсии = средний)

    • A: 3 измерения: Категория продукта (например: 50 вариантов), Тип продукта (10 вариантов), Тип конверсии (3 варианта)
      1. Возможные размерные комбинации = 50 x 10 x 3 = 1500
      2. Необходимо зарезервировать 11 бит (11 бит = 2048 возможных комбинаций)

  • Ключевая структура 3: Повторите (аналогично спланируйте все имеющиеся у вас ключевые структуры)

Оценки для агрегированных ключей

  • Структура ключа 1: 250 000 ключей показов x 500 ключей конверсий = 125 000 000 ключей
  • Структура ключей 2: 360 000 ключей показов x 1,5 тыс. ключей конверсий = 540 000 000 ключей
  • Ключевая структура 3: (аналогично спланируйте все имеющиеся у вас ключевые структуры)
  • Повторите для каждой ключевой структуры.
  • Максимальное количество агрегированных ключей = 540 000 000 ключей (по всем ключевым структурам). Необходимо зарезервировать 30 бит (30 бит = 1,07 млрд возможных комбинаций)

Ожидаемый объем конверсии

Для каждой структуры ключа агрегации ожидаемый объем можно пояснить с помощью следующих примеров:

  • Ключевая структура 1: (Отрасль = страхование, расходы = <50 000, объем конверсии = низкий)
    • A: Ожидается, что Key Structure 1 составит около $500,000 рекламодателя в течение следующего квартала при средней цене CPM $8. Ожидается, что это приведет к 62,500,000 показов, которые необходимо зарегистрировать.
    • Ожидайте, что средний показатель отношения показа к конверсии, который будет составлять ключевая структура 1 в течение следующего квартала, составит 0,08%, что приведет к 50 000 атрибутированных конверсий , которые необходимо зафиксировать. Для каждой конверсии измерьте стоимость покупки и количество покупок.
  • Ключевая структура 2: (Отрасль = страхование, расходы = <50 000, объем конверсии = средний)
    • A: Ожидается, что Key 2 составит около $800,000 расходов в течение следующего квартала при средней цене CPM $10. Ожидается, что это приведет к 80,000,000 показов, которые необходимо зарегистрировать.
    • Ожидается, что средний показатель отношения показа к конверсии, который составит Key 2 в следующем квартале, составит 0,03125%, что приведет к 25 000 атрибутированных конверсий , которые необходимо зафиксировать. Для каждой конверсии измерьте стоимость покупки и количество покупок.
  • Повторите для каждой ключевой структуры.

Отчетность по доставке и частоте пакетирования (пакет на рекламодателя)**

Для каждой структуры ключа агрегации вам понадобятся отчеты о конверсиях, предоставляемые на регулярной основе. Мы рекомендуем, чтобы рекламные технологии группировались по рекламодателям (для более четкого разделения данных по отчетам и более эффективной агрегации) и использовали поле shared_info.scheduled_report_time отчета для пакетирования.

  • A: Почасовая оплата
  • Б: Ежедневно
  • С: Еженедельно

Примечания

  • Для пакетной обработки по рекламодателю проверьте соглашения об уровне обслуживания с рекламодателями.

  • Более частая загрузка партий будет означать более высокий уровень шума на партию. (См.: Решение: Частота загрузки партий ).

  • Чтобы избежать ошибок из-за неправильного пакетирования, убедитесь, что пакеты используют поле scheduled_report_time , а не report arrival time . Например: если вы пакетируете каждый час, ваш пакет на 11 утра должен включать только отчеты с scheduled_report_time между 10 утра и 11 утра, а не отчеты, которые поступили между 10 утра и 11 утра с другим scheduled_report_time (например, 9 утра).

Оценки объема отчета

  • Ключевая структура 1: 50 000 атрибутированных конверсий / 2160 (почасовая отчетность, часы в квартале) = 24 сводных отчета в час на рекламодателя (24 x 1000 рекламодателей = 24 тыс. сводных отчетов)
  • Ключевая структура 2: 25 000 атрибутированных конверсий / 2160 (почасовая отчетность, часы в квартале) = 12 сводных отчетов в час на рекламодателя (12 x 1000 рекламодателей = 12 тыс. сводных отчетов)
  • Ключевая структура 3: Повторение
  • Общее количество сводных отчетов в час = 24 сводных отчета для ключевой структуры 1 + 12 сводных отчетов для ключевой структуры 2 + ... = ... в час на рекламодателя

Резюме отзывов

Понимание следующих оценок от рекламных технологий помогает нам планировать функции и улучшения для поддержки масштаба, требуемого рекламными технологиями. Мы предлагаем вам поделиться с нами следующим. Ознакомьтесь с нашим руководством по размеру для Aggregation Service на AWS для получения дополнительной информации:

  • Максимальное количество ключей домена ввода (ключей для агрегации) на одно задание службы агрегации
  • Максимальный объем отчетов по вводу на задание (приписанные конверсии)
  • Предполагаемый вклад в отчет (пары ключ/значение в отчете)
  • Предполагаемое распределение приписываемых конверсий по вакансиям
  • Предполагаемое распределение доменных ключей в задании
  • Расчетное количество работ в час/день/неделю