Платформа нагрузочного тестирования службы агрегации

Мы будем рады вашим отзывам об этом документе, поскольку готовимся добавить его в наш общедоступный репозиторий руководств.

Мы рекомендуем компаниям, занимающимся рекламными технологиями, проводить нагрузочное тестирование на 100% производственного трафика:

  1. Специалистам по рекламным технологиям следует использовать API отчетов по атрибуции для измерения конверсий в качестве инструмента для создания отчетов.
  2. В сфере рекламных технологий следует принимать дизайнерские решения, минимизируя при этом информационный шум (ссылка: моделирование дизайнерских решений ).
  3. В процессе тестирования специалисты по рекламным технологиям должны отслеживать количество выполняемых заданий в день (например, по каждому рекламодателю), предполагаемое распределение объема событий конверсии и количество агрегированных ключей в качестве входных данных для каждого задания обработки (см. параметр задания output_domain_blob_prefix в документации API службы агрегации ), а также предполагаемое среднее количество событий конверсии на каждый входной отчет.
  4. Для тестирования специалистам по рекламным технологиям следует найти рекомендуемый тип экземпляра в таблице рекомендаций по определению размера, исходя из ожидаемого размера задачи (например, объема отчетов, размера домена), и соответствующим образом определить размер развернутой службы агрегации. Ссылка: Рекомендации по определению размера службы агрегации на AWS.
  5. Специалистам по рекламным технологиям следует выполнять задачи агрегации для нагрузочного тестирования.

Цели

Данное руководство посвящено агрегированному измерению атрибуции конверсий и включает в себя ключевые инструкции по настройке и конфигурации, предназначенные для использования специалистами в сфере рекламных технологий, чтобы:

  • Оцените ожидаемую нагрузку для измерения совокупной атрибуции конверсий.
  • Оптимизируйте их ключевые настройки и конфигурацию для повышения производительности и снижения уровня шума на основе параметров и целей, которые они намеревались измерить, а также размера и сегментации их рекламодателей.

Предварительное условие

Данное руководство предназначено для специалистов в области рекламных технологий. Прежде чем приступать к выполнению следующих шагов, вам следует ознакомиться с нашей документацией по работе с шумом , решениям по проектированию сводных отчетов и поэкспериментировать с лабораторией шума для достижения оптимальной конфигурации.

Шаги

1. Стратегия первоначальной настройки агрегированных ключей.

Определите, сколько различных ключевых структур (т.е. наборов измерений) вам необходимо, исходя из типа вашего бизнеса и целей. Обратите внимание, что оптимизация ключевой структуры может помочь уменьшить «шум» в отчетах.

Количество ваших рекламодателей
Например, предположим, у вас 1000 рекламодателей .

Сходства между вашими рекламодателями
Сходство следует оценивать на основе объема конверсий, относительной ценности конверсий и общего охвата характеристик рекламодателей. Чем больше сходства вы сможете сгруппировать, тем точнее будут результаты (за счет меньшей вариативности выходных значений) и, следовательно, тем меньше будет влияние шума. Для получения более подробной информации обратитесь к разделу «Расширенное управление ключами» . Например, компания, занимающаяся рекламными технологиями, может сегментировать своих рекламодателей по отрасли, бюджету и объему конверсий следующим образом:

  • Отрасль (например: страхование, ювелирные изделия, развивающаяся розничная торговля)
  • Расходы (например: <50 000 долларов США/квартал, 50–150 000 долларов США/квартал, 150 000–250 000 долларов США/квартал)
  • Объём конверсии (низкий, средний, высокий)

Количество создаваемых агрегированных ключевых структур
Например, 27 (3x3x3): 3 отрасли, 3 типа расходов и 3 группы для значений конверсии.

2. Определите ключевые параметры агрегирования.

Далее определите важные параметры, которые вы хотели бы отслеживать как для показов, так и для конверсий, чтобы оценить количество ключевых факторов источника и триггера.

Для каждой структуры агрегационного ключа важные параметры, которые необходимо отслеживать для показов, помогут определить количество ключей на стороне источника. Параметры будут зависеть от типа рекламодателя, например, от отрасли, объема расходов или конверсии. Следующие примеры помогут объяснить параметры:

  • Ключевая структура 1: (Отрасль = страхование, объем расходов = <50 000, объем конверсии = низкий)

    • A: 4 измерения: Кампания (например, 50 вариантов), Группа объявлений (например, 20 вариантов), Тип устройства (например, 5 вариантов), Географическое положение (например, 50 вариантов)
      1. Возможные комбинации размеров = 50 x 20 x 5 x 50 = 250 000. Это представляет собой количество возможных комбинаций размеров для ключей со стороны источника для ключевой структуры 1.
      2. Необходимо зарезервировать 18 бит (18 бит = 262 144 возможных комбинаций).

  • Ключевая структура 2: (Отрасль = страхование, объем расходов = <50 000, объем конверсии = средний)

    • A: 4 параметра: Кампания (например, 30 вариантов), Группа объявлений (например, 80 вариантов), Тип объявления (например, 3 варианта), Географический охват (например, 50 вариантов).
      1. Возможные комбинации размеров = 30 x 80 x 3 x 50 = 360 000. Это представляет собой количество возможных комбинаций размеров или ключей со стороны источника для ключевой структуры 2.
      2. Необходимо зарезервировать 19 бит (19 бит) = 524 288 возможных комбинаций.

  • Ключевая структура 3: Повторение (аналогичный план следует составить для всех имеющихся у вас ключевых структур)

Для каждой структуры агрегированного ключа важные параметры, которые необходимо отслеживать для конверсий, помогут определить ключи, запускающие процесс. Например:

  • Ключевая структура 1: (Отрасль = страхование, объем расходов = <50 000, объем конверсии = низкий)

    • A: 2 измерения: Категория товара (например, 100 вариантов), Тип преобразования (например, 5 вариантов)
      1. Возможные комбинации размеров = 100 x 5 = 500
      2. Необходимо зарезервировать 9 бит (9 бит = 512 возможных комбинаций).

  • Ключевая структура 2: (Отрасль = страхование, объем расходов = <50 000, объем конверсии = средний)

    • A: 3 измерения: Категория товара (например, 50 вариантов), Тип товара (10 вариантов), Тип преобразования (3 варианта).
      1. Возможные комбинации размеров = 50 x 10 x 3 = 1500
      2. Необходимо зарезервировать 11 бит (11 бит = 2048 возможных комбинаций).

  • Ключевая структура 3: Повторение (аналогичный план следует составить для всех имеющихся у вас ключевых структур)

Оценки для сводных ключей

  • Ключевая структура 1: 250 000 ключей показа x 500 ключей конверсии = 125 000 000 ключей
  • Ключевая структура 2: 360 000 ключей показа x 1,5 тыс. ключей конверсии = 540 000 000 ключей
  • Ключевая структура 3: (аналогичный план для всех имеющихся у вас ключевых структур)
  • Повторите для каждой ключевой структуры.
  • Максимальное количество агрегированных ключей = 540 000 000 ключей (по всем структурам ключей). Необходимо зарезервировать 30 бит (30 бит = 1,07 млрд возможных комбинаций).

Ожидаемый объем конверсии

Для каждой структуры агрегированного ключа ожидаемый объем можно объяснить, используя следующие примеры:

  • Ключевая структура 1: (Отрасль = страхование, объем расходов = <50 000, объем конверсии = низкий)
    • A: Предполагается, что на следующую четверть расходы рекламодателей на ключевую структуру 1 составят около 500 000 долларов США при средней цене CPM в 8 долларов. Предполагается, что это приведет к 62 500 000 показов, которые необходимо зарегистрировать.
    • Предполагается, что средний коэффициент конверсии (QoT) для ключевой структуры 1 в следующем квартале составит 0,08%, что приведет к 50 000 зарегистрированных конверсий , которые необходимо зафиксировать. Для каждой конверсии измерьте стоимость покупки и количество покупок.
  • Ключевая структура 2: (Отрасль = страхование, объем расходов = <50 000, объем конверсии = средний)
    • A: Предполагается, что расходы на Key 2 в следующем квартале составят около 800 000 долларов при средней цене за тысячу показов (CPM) в 10 долларов. Ожидается, что это приведет к 80 000 000 показов, которые необходимо зарегистрировать.
    • Предполагается, что средний коэффициент конверсии (QoT) для ключевого элемента 2 в следующем квартале составит 0,03125%, что приведет к необходимости регистрации 25 000 конверсий . Для каждой конверсии необходимо измерить стоимость покупки и количество покупок.
  • Повторите для каждой ключевой структуры.

Частота доставки и формирования пакетов данных (пакет на одного рекламодателя)**

Для каждой структуры ключа агрегации вам потребуются отчеты о конверсиях, предоставляемые на регулярной основе. Мы рекомендуем специалистам по рекламе группировать данные по рекламодателям (для более четкого разделения данных в отчете и более эффективной агрегации) и использовать поле shared_info.scheduled_report_time отчета для группировки.

  • А: Почасовая оплата
  • Б: Ежедневно
  • C: Еженедельно

Примечания

  • Для пакетной обработки заказов по рекламодателям необходимо уточнить соглашения об уровне обслуживания (SLA) с рекламодателями.

  • Более частая обработка партий приведет к увеличению уровня шума в каждой партии. (См.: Решение: Частота обработки партий ).

  • Во избежание ошибок, связанных с некорректной пакетной обработкой, убедитесь, что в пакетах используется поле scheduled_report_time , а не report arrival time . Например: если вы обрабатываете отчеты каждый час, ваш пакет за 11:00 должен включать только отчеты с scheduled_report_time в диапазоне от 10:00 до 11:00, а не отчеты, поступившие в этот период с 10:00 до 11:00 с другим значением scheduled_report_time (например, 9:00).

Оценки объема отчетов

  • Ключевая структура 1: 50 000 атрибутированных конверсий / 2160 (почасовая отчетность, количество часов в квартале) = 24 сводных отчета в час на каждого рекламодателя (24 x 1000 рекламодателей = 24 000 сводных отчетов)
  • Ключевая структура 2: 25 000 атрибутированных конверсий / 2160 (почасовая отчетность, количество часов в квартале) = 12 сводных отчетов в час на каждого рекламодателя (12 x 1000 рекламодателей = 12 000 сводных отчетов)
  • Ключевая структура 3: Повтор
  • Общее количество сводных отчетов в час = 24 сводных отчета для ключевой структуры 1 + 12 сводных отчетов для ключевой структуры 2 + ... = ... в час на одного рекламодателя

Сводка отзывов

Понимание следующих оценок от компаний, занимающихся рекламными технологиями, поможет нам планировать функции и улучшения для поддержки масштабируемости, необходимой этим компаниям. Мы предлагаем вам поделиться с нами следующей информацией. Более подробные рекомендации по расчету масштабов сервиса агрегации на AWS см. в наших рекомендациях:

  • Максимальное количество входных доменных ключей (ключей для агрегирования) на одно задание службы агрегирования.
  • Максимальный объем входных данных, отображаемый в отчетах по каждому заданию (приписываемые конверсии).
  • Примерный вклад на один отчет (пары ключ/значение в отчете)
  • Предполагаемое распределение конверсий по каждому заданию
  • Предполагаемое распределение ключей домена в задании
  • Примерное количество заданий в час/день/неделю