Нойзелаб

Попробуйте это в Noise Lab.

1. Перейдите в расширенный режим.
2. В боковой панели «Параметры» найдите раздел «Ваши данные о конверсиях».
3. Обратите внимание на параметры по умолчанию. По умолчанию общее количество ежедневных конверсий, соответствующих критериям, составляет 1000. В среднем это составляет примерно 40 на каждый сегмент, если вы используете настройки по умолчанию (измерения по умолчанию, количество возможных значений для каждого измерения по умолчанию, ключевая стратегия A). Обратите внимание, что значение равно 40 во входных данных «Среднее количество ежедневных конверсий, соответствующих критериям, НА СЕГМЕНТ».
4. Нажмите кнопку «Симуляция», чтобы запустить симуляцию с параметрами по умолчанию.
5. В боковой панели «Параметры» найдите раздел «Измерения». Переименуйте параметр «География» в «Город» и измените количество возможных значений на 50.
6. Обратите внимание, как это меняет среднее ежедневное количество конверсий, учитываемых в каждой группе. Теперь оно значительно ниже. Это происходит потому, что если увеличить количество возможных значений в этом измерении, не меняя ничего другого, то увеличится общее количество групп, но количество событий конверсии, попадающих в каждую группу, останется неизменным.
7. Нажмите «Имитировать».
8. Обратите внимание на соотношение шумов в полученной симуляции: теперь соотношение шумов выше, чем в предыдущей симуляции.

Попробуйте это в Noise Lab.

В простом режиме используется структура ключей по умолчанию. В расширенном режиме вы можете экспериментировать с различными структурами ключей. Приведены некоторые примеры измерений; вы также можете их изменить.

1. Перейдите в расширенный режим.
2. В боковой панели «Параметры» найдите «Ключевая стратегия». Обратите внимание, что стратегия по умолчанию, обозначенная в инструменте как A, использует одну детализированную ключевую структуру, включающую все измерения: География x Идентификатор кампании x Категория продукта.
3. Нажмите «Имитировать».
4. Проанализируйте соотношение уровней шума в полученном результате моделирования.
5. Измените стратегию ключа на B. При этом отобразятся дополнительные элементы управления для настройки структуры ключа.
6. Настройте структуру ключей, например, следующим образом:
   1. Количество ключевых структур: 2
   2. Ключевая структура 1 = География x Категория товара.
   3. Ключевая структура 2 = Идентификатор кампании x Категория товара.
7. Нажмите «Имитировать».
8. Обратите внимание, что теперь вы получаете два сводных отчета по каждому типу цели измерения (два для количества покупок, два для стоимости покупок), поскольку вы используете две разные ключевые структуры. Обратите внимание на соотношение шума в них.
9. Вы также можете попробовать это с собственными пользовательскими измерениями. Для этого найдите раздел «Данные, которые вы хотите отслеживать»: «Измерения». Рекомендуем удалить примеры измерений и создать свои собственные, используя кнопки «Добавить/Удалить/Сбросить» под последним измерением.

Попробуйте это в Noise Lab.

1. Перейдите в простой режим (или расширенный режим — оба режима работают одинаково в отношении частоты пакетной обработки).
2. В боковой панели «Параметры» найдите пункт «Ваша стратегия агрегирования» > «Частота пакетной обработки». Это относится к частоте пакетной обработки агрегируемых отчетов, которые обрабатываются службой агрегирования в рамках одного задания.
3. Обратите внимание на частоту пакетной обработки по умолчанию: по умолчанию имитируется ежедневная частота пакетной обработки.
4. Нажмите «Имитировать».
5. Проанализируйте соотношение уровней шума в полученном результате моделирования.
6. Измените частоту пакетной обработки на еженедельную.
7. Обратите внимание на соотношение шумов в полученной симуляции: теперь соотношение шумов ниже (лучше), чем в предыдущей симуляции.

Попробуйте это в Noise Lab.

Хотя это сложно предсказать, и показатели могут значительно колебаться, помимо сезонных колебаний, попробуйте оценить количество ежедневных конверсий, обусловленных одним касанием, с точностью до ближайшей степени числа 10: 10, 100, 1000 или 10 000.

1. Перейдите в расширенный режим.
2. В боковой панели «Параметры» найдите раздел «Ваши данные о конверсиях».
3. Обратите внимание на параметры по умолчанию. По умолчанию общее количество ежедневных конверсий, соответствующих критериям, составляет 1000. В среднем это составляет примерно 40 на каждый сегмент, если вы используете настройки по умолчанию (измерения по умолчанию, количество возможных значений для каждого измерения по умолчанию, ключевая стратегия A). Обратите внимание, что значение равно 40 во входных данных «Среднее количество ежедневных конверсий, соответствующих критериям, НА СЕГМЕНТ».
4. Нажмите кнопку «Симуляция», чтобы запустить симуляцию с параметрами по умолчанию.
5. Проанализируйте соотношение уровней шума в полученном результате моделирования.
6. Теперь установите общее количество ежедневных конверсий, соответствующих критериям, равным 100. Обратите внимание, что это снизит значение среднего ежедневного количества конверсий, соответствующих критериям, для каждой группы пользователей.
7. Нажмите «Имитировать».
8. Обратите внимание, что теперь уровень шума выше: это происходит потому, что при меньшем количестве конверсий в каждой группе применяется больше шума для обеспечения конфиденциальности.

Попробуйте это в Noise Lab.

1. Перейдите в расширенный режим.
2. В боковой панели «Параметры» найдите пункт «Ваша стратегия агрегирования» > «Масштабирование». По умолчанию он установлен на «Да».
3. Для понимания положительного влияния масштабирования на уровень шума, сначала установите параметр «Масштабирование» на «Нет».
4. Нажмите «Имитировать».
5. Проанализируйте соотношение уровней шума в полученном результате моделирования.
6. Установите параметр «Масштабирование» в значение «Да». Обратите внимание, что Noise Lab автоматически рассчитывает коэффициенты масштабирования, исходя из диапазонов (средних и максимальных значений) целевых показателей измерений для вашего сценария. В реальной системе или в исходной тестовой конфигурации вам потребуется реализовать собственный расчет коэффициентов масштабирования.
7. Нажмите «Имитировать».
8. Обратите внимание, что во второй симуляции уровень шума стал ниже (лучше). Это связано с использованием масштабирования.

Попробуйте это в Noise Lab.

Цель измерения — это отдельная точка данных, собираемая в ходе событий конверсии.

1. Перейдите в расширенный режим.
2. В боковой панели «Параметры» найдите раздел «Данные, которые вы хотите отслеживать: Цели измерения». По умолчанию у вас есть две цели измерения: стоимость покупки и количество покупок.
3. Нажмите «Симулировать», чтобы запустить симуляцию с целевыми значениями по умолчанию.
4. Нажмите «Удалить». Это удалит последнюю цель измерения (в данном случае, количество покупок).
5. Нажмите «Имитировать».
6. Обратите внимание, что во второй симуляции уровень шума для стоимости покупки стал ниже (лучше). Это связано с тем, что у вас меньше целей измерения, поэтому теперь весь бюджет на сбор данных достается вашей единственной цели измерения.
7. Нажмите «Сброс». Теперь у вас снова две цели измерения: стоимость покупки и количество покупок. Обратите внимание, что Noise Lab автоматически рассчитывает коэффициенты масштабирования, которые будут использоваться, исходя из диапазонов (средних и максимальных значений) целей измерения для вашего сценария. По умолчанию Noise Lab распределяет бюджет поровну между целями измерения.
8. Нажмите «Имитировать».
9. Обратите внимание на соотношение шумов в полученной симуляции. Запишите масштабные коэффициенты, отображаемые в симуляции.
10. Теперь давайте настроим распределение бюджета конфиденциальности для достижения лучшего соотношения сигнал-шум.
11. Отрегулируйте процент бюджета, выделенный для каждой цели измерения. При параметрах по умолчанию цель измерения 1, а именно стоимость покупки, имеет гораздо более широкий диапазон (от 0 до 1000), чем цель измерения 2, а именно количество покупок (от 1 до 1, то есть всегда равно 1). Из-за этого ей требуется «больше места для масштабирования»: было бы идеально выделить больше средств на цель измерения 1, чем на цель измерения 2, чтобы ее можно было масштабировать более эффективно (см. раздел «Масштабирование»), и, следовательно,
12. Выделите 70% бюджета на достижение цели измерения 1. Выделите 30% на достижение цели измерения 2.
13. Нажмите «Имитировать».
14. Обратите внимание на соотношение шумов в полученной симуляции. Для показателя стоимости покупки соотношение шумов теперь заметно ниже (лучше), чем в предыдущей симуляции. Для показателя количества покупок оно практически не изменилось.
15. Продолжайте корректировать распределение бюджета по показателям. Наблюдайте, как это влияет на уровень шума.

Обратите внимание, что вы можете установить собственные цели измерений с помощью кнопок «Добавить/Удалить/Сбросить».

Попробуйте это в Noise Lab.

Цель измерения — это отдельная точка данных, собираемая в ходе событий конверсии.

1. Перейдите в расширенный режим.
2. В боковой панели «Параметры» найдите раздел «Ваша стратегия агрегации» > «Масштабирование».
3. Убедитесь, что параметр «Масштабирование» установлен в значение «Да». Обратите внимание, что Noise Lab автоматически рассчитывает коэффициенты масштабирования, которые будут использоваться, на основе диапазонов (средних и максимальных значений), которые вы указали для целей измерения.
4. Предположим, что самая крупная покупка в истории составила 2000 долларов, но большинство покупок совершаются в диапазоне от 10 до 120 долларов. Для начала посмотрим, что произойдет, если мы используем буквальное масштабирование (не рекомендуется): введем 2000 долларов в качестве максимального значения для purchaseValue.
5. Нажмите «Имитировать».
6. Обратите внимание, что уровень шума высок. Это связано с тем, что наш масштабный коэффициент рассчитан исходя из 2000 долларов, тогда как в реальности большинство покупательских цен будут значительно ниже этой суммы.
7. Теперь давайте применим более прагматичный подход к масштабированию. Изменим максимальную сумму покупки на 120 долларов.
8. Нажмите «Имитировать».
9. Обратите внимание, что во второй симуляции соотношение шумов ниже (лучше).

Краткий обзор лаборатории шума

Noise Lab поможет вам быстро оценить и сравнить стратегии управления шумом. Используйте его для:

• Разберитесь в основных параметрах, которые могут влиять на уровень шума, и в том, какое воздействие они оказывают.
• Смоделируйте влияние шума на выходные данные измерений при различных проектных решениях. Настраивайте параметры проектирования до тех пор, пока не достигнете соотношения сигнал/шум, подходящего для вашего конкретного случая.
• Поделитесь своим мнением о полезности сводных отчетов: какие значения параметров эпсилон и шума вам подходят, а какие нет? Где находятся точки перегиба?

Рассматривайте это как подготовительный этап. Noise Lab генерирует данные измерений для моделирования итоговых отчетов на основе ваших входных данных. Данные не сохраняются и не передаются третьим лицам.

В Noise Lab есть два разных режима:

1. Простой режим: разберитесь в основах управления шумом с помощью имеющихся у вас средств.
2. Расширенный режим: протестируйте различные стратегии подавления шума и оцените, какая из них обеспечивает наилучшее соотношение сигнал/шум для ваших задач.

Нажмите кнопки в верхнем меню, чтобы переключаться между двумя режимами ( № 1 на следующем скриншоте ).

Простой режим

• В простом режиме вы управляете параметрами (расположенными слева, или № 2 на следующем скриншоте ), такими как Epsilon, и видите, как они влияют на шум.
• Для каждого параметра есть всплывающая подсказка (кнопка «?»). Нажмите на неё, чтобы увидеть объяснение каждого параметра ( № 3 на следующем скриншоте ).
• Для начала нажмите кнопку «Имитировать» и посмотрите, как выглядит результат ( № 4 на следующем скриншоте ).
• В разделе «Вывод» вы можете увидеть множество подробностей. Некоторые элементы отмечены знаком «?». Уделите время, чтобы щелкнуть по каждому знаку «?» и увидеть объяснение различных элементов информации.
• В разделе «Вывод» нажмите переключатель «Подробности», если хотите увидеть расширенную версию таблицы ( № 5 на следующем скриншоте ).
• После каждой таблицы данных в разделе вывода есть возможность загрузить таблицу для использования в автономном режиме. Кроме того, в правом нижнем углу есть возможность загрузить все таблицы данных ( № 6 на следующем скриншоте ).
• Протестируйте различные настройки параметров в разделе «Параметры» и нажмите «Имитировать», чтобы увидеть, как они влияют на результат:

  

Расширенный режим

• В расширенном режиме у вас больше возможностей для управления параметрами. Вы можете добавлять пользовательские цели и измерения ( № 1 и № 2 на следующем скриншоте ).
• Прокрутите вниз в разделе «Параметры» и найдите опцию «Ключевая стратегия». Ее можно использовать для тестирования различных ключевых структур ( № 3 на следующем скриншоте ).
  • Чтобы протестировать различные ключевые структуры, переключите ключевую стратегию на вариант «B».
  • Укажите количество различных ключевых структур, которые вы хотите использовать (по умолчанию установлено значение «2»).
  • Нажмите «Сгенерировать ключевые структуры».
  • Вы увидите параметры для указания структуры ключей, установив флажки рядом с ключами, которые вы хотите включить для каждой структуры ключа.
  • Нажмите «Имитировать», чтобы увидеть результат.

    

    

Показатели шума

Основная концепция

Добавление шума предназначено для защиты конфиденциальности отдельных пользователей.

Высокий уровень шума указывает на то, что ячейки/ключи разрежены и содержат данные лишь от ограниченного числа конфиденциальных событий. Noise Lab автоматически обрабатывает эти данные, позволяя отдельным лицам «скрыться в толпе», или, другими словами, защищая конфиденциальность этих ограниченных групп за счет добавления большего количества шума.

Низкий уровень шума указывает на то, что структура данных была разработана таким образом, что позволяет отдельным лицам «скрываться в толпе». Это означает, что в группах содержится достаточное количество данных от различных событий, чтобы гарантировать защиту конфиденциальности отдельных пользователей.

Это утверждение справедливо как для средней процентной ошибки (APE), так и для RMSRE_T (среднеквадратичная относительная ошибка с пороговым значением).

APE (средняя процентная ошибка)

APE — это отношение шума к сигналу, то есть истинное суммарное значение.

Более низкие значения APE означают лучшее соотношение сигнал/шум.

Формула

Для данного сводного отчета показатель APE рассчитывается следующим образом:

True — это истинное итоговое значение. APE — это среднее значение шума по каждому истинному итоговому значению, усредненное по всем записям в сводном отчете. В Noise Lab это значение затем умножается на 100, чтобы получить процентное значение.

Преимущества и недостатки

Использование сегментов меньшего размера оказывает непропорциональное влияние на конечное значение APE. Это может ввести в заблуждение при оценке шума. Именно поэтому мы добавили еще одну метрику, RMSRE_T, которая призвана смягчить это ограничение APE. Подробности смотрите в примерах .

Код

Проверьте исходный код для расчета APE.

RMSRE_T (среднеквадратичная относительная ошибка с пороговым значением)

RMSRE_T (среднеквадратичная относительная ошибка с пороговым значением) — это еще один показатель уровня шума.

Как интерпретировать RMSRE_T

Более низкие значения RMSRE_T означают лучшее соотношение сигнал/шум.
Например, если допустимый для вашего случая уровень шума составляет 20%, а RMSRE_T равен 0,2, вы можете быть уверены, что уровень шума попадает в допустимый диапазон.

Формула

Для заданного сводного отчета значение RMSRE_T рассчитывается следующим образом:

Преимущества и недостатки

RMSRE_T несколько сложнее для понимания, чем APE. Однако у него есть несколько преимуществ, которые в некоторых случаях делают его более подходящим, чем APE, для анализа шума в сводных отчетах:

• Показатель RMSRE_T более стабилен. "T" — это пороговое значение. "T" используется для того, чтобы при расчете RMSRE_T присваивать меньший вес группам с меньшим количеством конверсий, которые, следовательно, более чувствительны к шуму из-за своего небольшого размера. При использовании T, показатель не резко возрастает в группах с малым количеством конверсий. Если T равно 5, значение шума, равное 1, в группе с 0 конверсиями не будет отображаться как значительно превышающее 1. Вместо этого оно будет ограничено значением 0,2, что эквивалентно 1/5, поскольку T равно 5. Присваивая меньший вес меньшим группам, которые, следовательно, более чувствительны к шуму, этот показатель более стабилен и, следовательно, упрощает сравнение двух симуляций.
• RMSRE_T позволяет выполнять простую агрегацию. Зная RMSRE_T нескольких сегментов вместе с их истинными значениями, можно вычислить RMSRE_T их суммы. Это также позволяет оптимизировать RMSRE_T для этих объединенных значений.

Хотя агрегирование для APE возможно, формула довольно сложная, поскольку включает абсолютное значение суммы шумов Лапласа. Это затрудняет оптимизацию APE.

Код

Проверьте исходный код для расчета RMSRE_T.

Примеры

Сводный отчет, состоящий из трех разделов:

• bucket_1 = noise: 10, trueSummaryValue: 100
• bucket_2 = noise: 20, trueSummaryValue: 100
• bucket_3 = noise: 20, trueSummaryValue: 200

APE = (0,1 + 0,2 + 0,1) / 3 = 13%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,200))^2) / 3) =  sqrt( (0.01 + 0.04 + 0.01) / 3) =  0.14

Сводный отчет, состоящий из трех разделов:

• bucket_1 = noise: 10, trueSummaryValue: 100
• bucket_2 = noise: 20, trueSummaryValue: 100
• bucket_3 = noise: 20, trueSummaryValue: 20

APE = (0,1 + 0,2 + 1) / 3 = 43%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,20))^2) / 3)  =  sqrt( (0.01 + 0.04 + 1.0) / 3) =  0.59

Сводный отчет, состоящий из трех разделов:

• bucket_1 = noise: 10, trueSummaryValue: 100
• bucket_2 = noise: 20, trueSummaryValue: 100
• bucket_3 = noise: 20, trueSummaryValue: 0

APE = (0,1 + 0,2 + Бесконечность) / 3 = Бесконечность

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2  +
(20/max(5,0))^2) / 3) =  sqrt( (0.01 + 0.04 + 16.0) / 3) =  2.31

Расширенное управление ключами

У DSP-платформы или компании, занимающейся измерением эффективности рекламы, могут быть тысячи глобальных рекламных клиентов, представляющих различные отрасли, валюты и потенциальные цены покупки. Это означает, что создание и управление одним ключом агрегации для каждого рекламодателя, скорее всего, будет крайне непрактичным. Кроме того, будет сложно выбрать максимальное значение агрегации и бюджет агрегации, которые позволят ограничить влияние шума среди этих тысяч глобальных рекламодателей. Вместо этого рассмотрим следующие сценарии:

Ключевая стратегия А

Поставщик рекламных технологий решает создать и управлять одним ключом для всех своих рекламных клиентов. Для всех рекламодателей и всех валют диапазон покупок варьируется от небольших объемов дорогостоящих покупок до крупных объемов недорогих покупок. В результате получается следующий ключ:

Ключевая стратегия B

Поставщик рекламных технологий решает создать и управлять двумя ключами для всех своих рекламных клиентов. Они решают разделить ключи по валютам. Для всех рекламодателей и всех валют диапазон покупок варьируется от небольших, дорогостоящих покупок до крупных, недорогих покупок. Разделяя по валютам, они создают 2 ключа:

Ключевая стратегия B будет иметь меньший уровень шума в результатах, чем ключевая стратегия A, поскольку значения валют распределены неравномерно по валютам. Например, рассмотрим, как покупки, выраженные в иенах, вперемешку с покупками, выраженными в долларах США, изменят исходные данные и, как следствие, приведут к зашумленным результатам.

Ключевая стратегия C

Поставщик рекламных технологий решает создать и управлять четырьмя ключами для всех своих рекламных клиентов, разделяя их по валюте и отрасли рекламодателя:

Ключевая стратегия C будет иметь меньший уровень шума в результатах, чем ключевая стратегия B, поскольку объемы покупок рекламодателей распределены неравномерно. Например, рассмотрим, как покупки дорогих ювелирных изделий, смешанные с покупками бейсбольных кепок, изменят исходные данные и, как следствие, приведут к появлению шума в результатах.

Рассмотрите возможность создания общих максимальных суммарных значений и общих коэффициентов масштабирования для общих параметров нескольких рекламодателей, чтобы уменьшить шум в выходных данных. Например, вы можете поэкспериментировать со следующими стратегиями для ваших рекламодателей:

• Одна стратегия, различающаяся валютой (USD, ¥, CAD и т. д.).
• Одна стратегия, различающаяся в зависимости от отрасли рекламодателя (страхование, автомобили, розничная торговля и т. д.).
• Одна стратегия, отличающаяся схожими диапазонами стоимости покупки ([100], [1000], [10000] и т. д.)

Создание ключевых стратегий, основанных на общих чертах рекламодателей, упрощает управление ключами и соответствующим кодом, а также повышает соотношение сигнала к шуму. Экспериментируйте с различными стратегиями, учитывающими общие черты рекламодателей, чтобы выявить точки перелома в вопросе максимизации влияния шума по сравнению с управлением кодом.

Рассмотрим сценарий с участием двух рекламодателей:

• Рекламодатель А:
  • Для всех товаров на сайте рекламодателя А доступные цены покупки варьируются от 120 до 1000 долларов США, что составляет примерно 880 долларов США.
  • Цены покупки равномерно распределены в диапазоне 880 долларов США, при этом отсутствуют выбросы, выходящие за пределы двух стандартных отклонений от медианной цены покупки.
• Рекламодатель B:
  • Для всех товаров на сайте рекламодателя B доступны варианты покупки по цене от [120 до 1000 долларов США], что составляет примерно 880 долларов США.
  • Цены на покупку в основном колеблются в диапазоне от 120 до 500 долларов, и лишь 5% покупок приходится на ценовой диапазон от 500 до 1000 долларов.

Учитывая требования к бюджету взносов и методологию, с помощью которой в конечные результаты вносится шум , рекламодатель B по умолчанию получит более зашумленные результаты, чем рекламодатель A, поскольку у рекламодателя B выше вероятность того, что выбросы повлияют на базовые расчеты.

Эту проблему можно смягчить с помощью специальной настройки ключа. Протестируйте ключевые стратегии, которые помогают управлять аномальными данными и более равномерно распределять суммы покупок в пределах диапазона покупок, заданного ключом.

Для рекламодателя B можно создать два отдельных ключа для фиксации двух разных диапазонов стоимости покупки. В этом примере специалист по рекламным технологиям отметил, что выбросы появляются при стоимости покупки выше 500 долларов. Попробуйте использовать два отдельных ключа для этого рекламодателя:

• Ключевая структура 1: Ключ, который фиксирует только покупки в диапазоне от 120 до 500 долларов (охватывая примерно 95% от общего объема покупок).
• Ключевая структура 2: Ключ, который фиксирует только покупки на сумму более 500 долларов (охватывает примерно 5% от общего объема покупок).

Implementing this key strategy should better manage noise for Advertiser B and help to maximize utility for them from summary reports. Given the new smaller ranges, Key A and Key B should now have a more uniform distribution of data across each respective key that for the previous single key. This will result in less noise impact in each key's output that for the previous single key.