Руководство по измерительному тестированию

Цель данного руководства — предоставить рекомендации по проведению автономного тестирования API для формирования отчетов об атрибуции в песочнице конфиденциальности. Более подробную информацию см. в разделе 12 .

• Измерение результатов контрольной и экспериментальной групп в экспериментальных схемах 1 и 2 CMA рассматривается в руководстве по тестированию API релевантности , поскольку цель этих экспериментов — проверить эффективность использования защищенной аудитории и тем. Более подробную информацию см. в разделе 11 .

Прежде чем начать

• Ознакомьтесь с инструкцией по настройке и установке API для формирования отчетов об атрибуции.
• Ознакомьтесь с рекомендациями CMA по проведению испытаний: примечание об экспериментах (ноябрь 2022 г.), рекомендации по испытаниям (июнь 2023 г.) и дополнительные рекомендации по испытаниям (октябрь 2023 г.).

Цели оценки и предлагаемая схема эксперимента.

Цель 1 — Определение эффективности API для формирования отчетов по атрибуции.

Мы предлагаем использовать схему A/A для оценки влияния на отчетность.

• Данное предложение соответствует рекомендациям CMA по оценке показателей, основанных на конверсиях. Более подробную информацию см. в Разделах 21 и 12 .
• Мы предпочитаем этот метод методу A/B, поскольку тестирование API для анализа атрибуции (ARA) можно проводить, одновременно измеряя конверсии на одном и том же наборе показов с использованием двух разных методик измерения (сторонние файлы cookie + данные файлов cookie, не принадлежащих третьим лицам, и ARA + данные файлов cookie, не принадлежащих третьим лицам).
• Эксперимент A/A также позволяет изолировать влияние API отчетов об атрибуции на измерение конверсий (например, он позволяет избежать любых изменений коэффициентов конверсии из-за отсутствия сторонних файлов cookie).

Предложенные пункты анализа

• Выберите фрагмент трафика, достаточно большой для получения статистически значимых результатов, который содержит как сторонние файлы cookie, так и API песочницы конфиденциальности. В идеале это должен быть весь трафик, за исключением режима B (который отключает сторонние файлы cookie).
  • Мы рекомендуем исключить режим B из эксперимента A/A, поскольку сторонние файлы cookie будут недоступны, и вы не сможете сравнить результаты ARA с результатами атрибуции на основе сторонних файлов cookie.
  • Если вы хотите включить режим B, вам следует рассмотреть возможность включения отладочных отчетов для сегмента трафика режима B. Отладочные отчеты помогут вам устранить любые проблемы с конфигурацией или реализацией.
• Если вы планируете тестировать на меньшем объеме трафика, мы ожидаем, что результаты измерений будут более зашумленными, чем ожидалось. Мы рекомендуем указывать в анализе, какая доля трафика была использована и основываетесь ли вы на зашумленных отчетах или на незашумленных отладочных отчетах.
  • В сводных отчетах ваши сводные значения, скорее всего, будут ниже, и служба агрегирования добавит шум из того же распределения независимо от сводного значения.
• Протестируйте различные методики измерения на этом участке трафика.
  • Вариант 1 — Использовать существующие методики измерения (данные из сторонних файлов cookie + данные из файлов cookie, не принадлежащих третьим лицам)
  • (необязательно) Вариант 2 — без «песочницы конфиденциальности» и без файлов cookie третьих лиц, то есть только данные файлов cookie, не принадлежащих третьим лицам.
    • Обратите внимание, что на некоторых сайтах могут по-прежнему быть доступны файлы cookie сторонних разработчиков — для получения наиболее точных результатов не используйте эти файлы cookie сторонних разработчиков для измерений в методологиях «Контроль 2» или «Лечение».
  • Обработка данных — API-интерфейсы песочницы конфиденциальности и данные файлов cookie сторонних разработчиков.
    • Обратите внимание, что на некоторых сайтах могут по-прежнему быть доступны файлы cookie сторонних разработчиков — для получения наиболее точных результатов не используйте эти файлы cookie сторонних разработчиков для измерений в методологиях «Контроль 2» или «Лечение».

Метрики

• Определите, какие показатели целесообразно использовать для оценки результатов деятельности вашего бизнеса, и включите описание значения каждого показателя и способов его измерения.
  • Мы предлагаем сосредоточиться на параметрах и показателях, важных для ваших рекламодателей. Например, если ваши рекламодатели ориентируются на конверсии в покупки, измеряйте количество конверсий и стоимость покупок.
• Метрики, основанные на количестве или сумме (например, коэффициент конверсии), более удобны для работы, чем метрики, основанные на стоимости за конверсию (например, стоимость одной конверсии). Для анализа A/A метрики стоимости могут быть полностью получены из значений количества или суммы конверсий.
• Укажите, основаны ли метрики на отчетах на уровне событий, сводных отчетах или комбинации обоих типов отчетов (и использовались ли отладочные отчеты).
• Для получения рекомендаций по форматированию количественной обратной связи ознакомьтесь с предлагаемыми шаблонами таблиц.

Анализ

• Покрытие:
  • Удалось ли вам провести измерения на аналогичной группе пользователей по сравнению с использованием сторонних файлов cookie? Наблюдаете ли вы более высокий охват (например, при интеграции приложения с веб-платформой)?
  • Можете ли вы измерить конверсии (а также параметры или показатели), которые наиболее важны для вас или ваших рекламодателей?
• Количественная обратная связь
  • Например, в отчетах для рекламодателей, какой процент ключевых конверсий вы сможете отразить в отчете для этого рекламодателя, или какой процент кампаний соответствует критериям качества отчетности (определение критериев качества помогает корректировать отчетность для кампаний с небольшим количеством конверсий)?
  • Если рассматривать, например, отдельных рекламодателей, то есть ли среди них те, кто в большей или меньшей степени зависит от сторонних файлов cookie для составления отчетов?
• Другие качественные отзывы:
  • Как ARA влияет на сложность настройки измерения/атрибуции у рекламодателей?
  • Помогает ли или мешает ARA рекламодателям сосредоточиться на показателях и целях, которые для них важны?

Предлагаемые шаблоны таблиц для отчетности о влиянии

(Отчетная) Таблица 1:

Пример шаблона таблицы для представления результатов экспериментов в CMA (взято со страницы 18 , но тестировщикам следует подумать, какие метрики наиболее значимы/осуществимы для предоставления, и адаптировать таблицу по мере необходимости) .

(Отчетная) Таблица 2:

Пример шаблона таблицы для представления описательной статистики по показателям в экспериментальной и контрольной группах (взято со страницы 20 , но тестировщикам следует учитывать, какие показатели наиболее значимы/осуществимы для предоставления, и адаптировать таблицу по мере необходимости) .

Цель 2 — Определение эффективности API для составления отчетов по атрибуции в целях оптимизации ставок.

Мы предлагаем использовать A/B-тестирование для измерения влияния на оптимизацию ставок.

• Для оценки влияния оптимизации ставок вам потребуется обучить две разные модели машинного обучения и использовать их на двух сегментах трафика: одна модель, обученная на основе существующих методологий измерения (сторонние cookie + данные, не полученные с помощью сторонних cookie), будет применяться к контрольной группе, а другая модель, обученная на основе API Attribution Reporting + данные, не полученные с помощью сторонних cookie, будет применяться к экспериментальной группе.
• Обучение модели должно основываться на таком объеме трафика, который тестировщик сочтет необходимым для максимизации производительности, даже если экспериментальная группа представляет собой меньшую долю трафика и существует перекрытие между обучающими выборками (например, использовать существующую модель на основе сторонних cookie-файлов, которая обучается на всем трафике, и обучать модель ARA на всем трафике ARA, включенном для Цели 1).
  • При отправке результатов в CMA следует отметить, существует ли существенная разница между фрагментами трафика, используемыми для обучения различных моделей (например, если модели на основе сторонних cookie-файлов обучаются на 100% трафика, а модели на основе ARA — только на 1% трафика).
• По возможности, обучение как экспериментальной, так и контрольной моделей торгов должно проводиться в течение одинакового промежутка времени.
• Рассмотрите вопрос о том, следует ли постоянно обучать и обновлять модели торгов во время эксперимента, и если да, то следует ли обучать их на максимально возможном объеме трафика или только на трафике из экспериментальной и контрольной групп.
• Различные модели следует использовать на непересекающихся сегментах трафика в качестве A/B-эксперимента. Для рандомизации пользователей и распределения их между экспериментальной и контрольной группами мы рекомендуем использовать группы браузеров с метками, предоставляемые Chrome ( режим A ), или провести собственный эксперимент со случайными наборами браузеров. Мы не рекомендуем использовать режим B , поскольку отсутствие сторонних файлов cookie затруднит составление отчетов по показателям конверсии.
  • Группы браузеров, созданные с помощью Chrome, исключают некоторые экземпляры Chrome, например, корпоративных пользователей Chrome, тогда как ваши собственные случайные наборы браузеров могут не исключать эти экземпляры Chrome. Поэтому вам следует проводить эксперимент только на группах режима A или только на группах, не относящихся к режиму A/режиму B, чтобы избежать сравнения метрик, полученных в группах, созданных с помощью Chrome, с метриками, полученными вне этих групп.
  • Если не используются группы браузеров с метками, предоставляемые Chrome (например, при проведении эксперимента на другом трафике):
    • Убедитесь, что распределение пользователей в экспериментальную и контрольную группы является случайным и непредвзятым. Независимо от состава экспериментальной группы, оцените характеристики экспериментальной и контрольной групп, чтобы убедиться в их сопоставимости. (См.: Раздел 15 )
    • Убедитесь, что характеристики пользователей и настройки кампаний в экспериментальной и контрольной группах совпадают (например, используйте схожие географические регионы в обеих группах). (См.: Раздел 28 )
      • В качестве конкретных примеров можно привести следующие: проверка того, что аналогичные типы конверсий измеряются с использованием одного и того же окна атрибуции и одной и той же логики атрибуции, что кампании нацелены на схожие аудитории, группы интересов и географические регионы, а также используют схожие рекламные тексты и форматы объявлений.
    • √ что начальные размеры популяций в экспериментальной и контрольной группах достаточно велики, чтобы обеспечить гибкость при проведении торгов и экспериментов.
  • При использовании групп браузеров с метками, предоставляемых Chrome ( режим A ), рандомизация экземпляров браузера Chrome по группам осуществляется самим Chrome. Рекомендуется, как и прежде, проверить, что в результате рандомизации получаются непредвзятые/сопоставимые группы для ваших целей.

Предложенные пункты анализа

• Мы рекомендуем определить контрольную и экспериментальную группы и использовать разные модели машинного обучения для оптимизации ставок для каждой группы:
  • Контрольная точка 1 — Использовать модель оптимизации ставок, обученную на основе существующих методик измерения (данные из сторонних файлов cookie + данные из файлов cookie, не принадлежащих третьим лицам).
  • (необязательно) Параметр 2 — Использовать модель оптимизации ставок, обученную без использования «песочницы конфиденциальности» и сторонних файлов cookie, то есть только на данных, полученных с помощью файлов cookie, не принадлежащих третьим лицам.
    • Обратите внимание, что на некоторых сайтах могут по-прежнему быть доступны файлы cookie сторонних разработчиков — для получения наиболее точных результатов не используйте эти файлы cookie сторонних разработчиков для измерений в методологиях «Контроль 2» или «Лечение».
  • Обработка — использовать модель оптимизации ставок, обученную на данных API Attribution Reporting и файлах cookie сторонних разработчиков.
    • Обратите внимание, что на некоторых сайтах могут по-прежнему быть доступны файлы cookie сторонних разработчиков — для получения наиболее точных результатов не используйте эти файлы cookie сторонних разработчиков для измерений в методологиях «Контроль 2» или «Лечение».

Метрики

• Определите, какие показатели целесообразно использовать для оценки результатов деятельности вашего бизнеса, и включите описание значения каждого показателя и способов его измерения.
  • Например, значимым показателем могут быть расходы (доход издателя), что соответствует рекомендациям CMA по оценке влияния отказа от сторонних cookie на «доход на показ». Подробнее см. раздел 19 .
• При составлении отчетов по любым показателям, основанным на конверсии, следует использовать одну и ту же методологию измерения для каждого варианта, чтобы избежать многофакторного тестирования (проверки влияния на оптимизацию и составления отчета в рамках одного эксперимента). См. предлагаемые шаблоны таблиц для получения рекомендаций по форматированию количественной обратной связи.
• Рассмотрите другие способы сбора метрик о влиянии оптимизации ставок — например, с помощью моделирования ставок. Существуют ли какие-либо смоделированные метрики, которые были бы полезны для понимания влияния сторонних файлов cookie и ARA на ваши модели назначения ставок?
• Укажите, основаны ли метрики на отчетах на уровне событий, сводных отчетах или комбинации обоих типов отчетов (и использовались ли отладочные отчеты).

Анализ

• Покрытие:
  • Можете ли вы проводить измерения на аналогичной группе пользователей по сравнению с использованием сторонних файлов cookie? Замечаете ли вы какие-либо изменения в охвате (например, при интеграции приложения с веб-версией)?
  • Можете ли вы измерить показатели конверсии (и параметры/метрики), которые наиболее важны для вас или ваших рекламодателей?
• Как различия между группами повлияют на следующее:
  • Например, в отчетах для рекламодателей можно указать, какой процент ключевых конверсий вы сможете отразить в отчете.
  • Например, обучение и оптимизация имитируют влияние различных данных о конверсиях на производительность модели.
• Другие качественные отзывы:
  • Как ARA влияет на сложность настройки оптимизации ставок у рекламодателей?
  • Помогает ли или мешает ARA рекламодателям сосредоточиться на показателях и целях, которые для них важны?

Предлагаемые шаблоны таблиц для оценки влияния на процесс торгов

Таблица 1 (Торги):

Пример шаблона таблицы результатов экспериментов, которые участники рынка должны представить в CMA (взято со страницы 18 , но тестировщикам следует подумать, какие показатели наиболее значимы/осуществимы для предоставления, и адаптировать таблицу по мере необходимости) .

Таблица торгов 2:

Пример шаблона таблицы для представления описательной статистики по показателям в экспериментальной и контрольной группах (взято со страницы 20 , но тестировщикам следует учитывать, какие показатели наиболее значимы/осуществимы для предоставления, и адаптировать таблицу по мере необходимости) .

Цель 3 — Нагрузочное тестирование сервиса агрегации.

См. раздел «Структура для нагрузочного тестирования сервисов агрегации» .