Noiselab

Noise Lab で試す

1. 詳細モードに移動します。
2. [パラメータ] サイドパネルで、[コンバージョン データ] を探します。
3. デフォルトのパラメータを確認します。デフォルトでは、1 日あたりの合計貢献度割り当てコンバージョン数は 1, 000 件です。デフォルト設定（デフォルトのディメンション、各ディメンションの可能な異なる値のデフォルト数、キー戦略 A）を使用する場合、バケットあたり約 40 個になります。入力の [1 日の平均アトリビューション コンバージョン数（バケットごと）] の値が 40 になっていることを確認します。
4. [シミュレーション] をクリックして、デフォルトのパラメータでシミュレーションを実行します。
5. [パラメータ] サイドパネルで、[ディメンション] を探します。[Geography] の名前を [City] に変更し、異なる値の数を 50 に変更します。
6. これにより、バケットあたりの平均アトリビューション コンバージョン数がどのように変化するかを確認します。現在は大幅に減少しています。これは、このディメンション内の可能な値の数を増やしても、他の値が変更されない場合、各バケットに分類されるコンバージョン イベントの数は変わらずに、バケットの合計数が増えるためです。
7. [シミュレーション] をクリックします。
8. シミュレーションの結果のノイズ比を観察します。ノイズ比が前のシミュレーションよりも高くなっています。

Noise Lab で試す

シンプル モードでは、デフォルトのキー構造が使用されます。詳細モードでは、さまざまなキー構造を試すことができます。ディメンションの例がいくつか含まれています。これらは変更することもできます。

1. 詳細モードに移動します。
2. [パラメータ] サイドパネルで、[Key strategy] を探します。ツールで A という名前のデフォルトの戦略は、すべてのディメンション（地域 × キャンペーン ID × 商品カテゴリ）を含む 1 つの粒度の細かいキー構造を使用していることに注意してください。
3. [シミュレーション] をクリックします。
4. シミュレーション結果のノイズ比を観察します。
5. Key 戦略を B に変更します。鍵構造を構成するための追加のコントロールが表示されます。
6. キー構造を次のように構成します。
   1. キー構造の数: 2
   2. キー構造 1 = 地域 x 商品カテゴリ。
   3. キー構造 2 = キャンペーン ID × 商品カテゴリ。
7. [シミュレーション] をクリックします。
8. 2 つの異なるキー構造を使用しているため、測定目標タイプごとに 2 つの概要レポート（購入数用に 2 つ、購入額用に 2 つ）が生成されることに注目してください。ノイズ比を観察します。
9. 独自のカスタム ディメンションでもお試しいただけます。これを行うには、[追跡するデータ: ディメンション] を探します。最後のディメンションの下にある追加、削除、リセットのボタンを使用して、サンプル ディメンションを削除し、独自のディメンションを作成することを検討してください。

Noise Lab で試す

1. [Simple] モード（または [Advanced] モード。バッチ処理の頻度に関してはどちらのモードも同じように動作します）に移動します。
2. [パラメータ] サイドパネルで、[集計戦略] > [バッチ処理の頻度] を探します。これは、単一のジョブで集計サービスによって処理される集計可能レポートのバッチ処理頻度を指します。
3. デフォルトのバッチ処理の頻度を確認します。デフォルトでは、1 日 1 回のバッチ処理の頻度がシミュレートされます。
4. [シミュレーション] をクリックします。
5. シミュレーション結果のノイズ比を観察します。
6. バッチ処理の頻度を週単位に変更します。
7. シミュレーションの結果のノイズ比を観察します。ノイズ比が以前のシミュレーションよりも低くなっています（改善されています）。

Noise Lab で試す

予測が難しく、季節性の影響に加えて大きな変動が生じる可能性がありますが、1 日あたりのシングルタッチ アトリビューション コンバージョン数を 10 の累乗（10、100、1,000、10,000）に最も近い値で推定してみてください。

1. 詳細モードに移動します。
2. [パラメータ] サイドパネルで、[コンバージョン データ] を探します。
3. デフォルトのパラメータを確認します。デフォルトでは、1 日あたりの合計貢献度割り当てコンバージョン数は 1, 000 件です。デフォルト設定（デフォルトのディメンション、各ディメンションの可能な異なる値のデフォルト数、キー戦略 A）を使用する場合、バケットあたり約 40 個になります。入力の [1 日の平均アトリビューション コンバージョン数（バケットごと）] の値が 40 になっていることを確認します。
4. [シミュレーション] をクリックして、デフォルトのパラメータでシミュレーションを実行します。
5. シミュレーション結果のノイズ比を観察します。
6. 次に、1 日あたりの合計アトリビューション コンバージョン数を 100 に設定します。これにより、バケットあたりの 1 日の平均アトリビューション コンバージョン数が減少します。
7. [シミュレーション] をクリックします。
8. ノイズ比率が高くなっていることに注目してください。これは、バケットあたりのコンバージョン数が少ない場合、プライバシーを保護するためにノイズがより多く適用されるためです。

Noise Lab で試す

1. 詳細モードに移動します。
2. [パラメータ] サイドパネルで、[集計戦略] > [スケーリング] を探します。デフォルトでは [Yes] に設定されています。
3. スケーリングがノイズ比に与えるプラスの効果を理解するために、まずスケーリングを [No] に設定します。
4. [シミュレーション] をクリックします。
5. シミュレーション結果のノイズ比を観察します。
6. [スケーリング] を [はい] に設定します。Noise Lab は、シナリオの測定目標の範囲（平均値と最大値）に基づいて、使用するスケーリング ファクタを自動的に計算します。実際のシステムやオリジン トライアルの設定では、スケーリング係数の独自の計算を実装する必要があります。
7. [シミュレーション] をクリックします。
8. この 2 回目のシミュレーションでは、ノイズ比が低くなっている（改善されている）ことがわかります。これは、スケーリングを使用しているためです。

Noise Lab で試す

測定目標は、コンバージョン イベントで収集される個別のデータポイントです。

1. 詳細モードに移動します。
2. [パラメータ] サイドパネルで、[トラッキングするデータ: 測定目標] を探します。デフォルトでは、購入額と購入数の 2 つの測定目標があります。
3. [シミュレーション] をクリックして、デフォルトの目標でシミュレーションを実行します。
4. [削除] をクリックします。これにより、最後の測定目標（この場合は購入数）が削除されます。
5. [シミュレーション] をクリックします。
6. この 2 回目のシミュレーションでは、購入額のノイズ比が低くなっている（改善されている）ことがわかります。これは、測定目標が少ないため、1 つの測定目標にすべての貢献度予算が割り当てられるためです。
7. [リセット] をクリックします。これで、購入額と購入数の 2 つの測定目標が再び設定されました。ノイズラボでは、シナリオの測定目標の範囲（平均値と最大値）に基づいて、使用するスケーリング ファクタが自動的に計算されます。デフォルトでは、ノイズラボは測定目標間で予算を均等に分割します。
8. [シミュレーション] をクリックします。
9. シミュレーションの結果のノイズ比を観察します。シミュレーションに表示されるスケーリング ファクタをメモします。
10. 次に、プライバシー バジェットの分割をカスタマイズして、SN 比を改善します。
11. 各測定目標に割り当てられた予算の割合を調整します。デフォルトのパラメータが指定されている場合、測定目標 1（購入額）の範囲は 0 ～ 1,000 と、測定目標 2（購入数）の範囲（1 ～ 1、つまり常に 1）よりもはるかに広くなります。そのため、「拡大する余地」が必要です。測定目標 1 に測定目標 2 よりも多くの貢献度予算を割り当てて、より効率的に拡大できるようにするのが理想的です（スケーリングを参照）。
12. 予算の 70% を測定目標 1 に割り当てます。測定の目標 2 に 30% を割り当てます。
13. [シミュレーション] をクリックします。
14. シミュレーションの結果のノイズ比を観察します。購入額については、ノイズ比が以前のシミュレーションよりも大幅に低くなっています（改善されています）。購入数はほぼ変化していません。
15. 指標間で予算の配分を調整し続けます。ノイズにどのような影響があるかを確認します。

[追加/削除/リセット] ボタンを使用すると、独自のカスタム測定目標を設定できます。

Noise Lab で試す

測定目標は、コンバージョン イベントで収集される個別のデータポイントです。

1. 詳細モードに移動します。
2. [パラメータ] サイドパネルで、[集約戦略] > [スケーリング] を探します。
3. [スケーリング] が [はい] に設定されていることを確認します。ノイズラボでは、測定目標に指定した範囲（平均値と最大値）に基づいて、使用するスケーリング ファクタが自動的に計算されます。
4. 過去の最大購入額が 2, 000 ドルで、ほとんどの購入額が 10 ～ 120 ドルの範囲内であるとします。まず、リテラル スケーリング アプローチ（非推奨）を使用した場合にどうなるかを見てみましょう。purchaseValue の最大値として $2, 000 を入力します。
5. [シミュレーション] をクリックします。
6. ノイズ比が高いことを確認します。これは、スケーリング係数が $2, 000 に基づいて計算されるためです。実際には、ほとんどの購入額はそれよりもかなり低くなります。
7. では、より実用的なスケーリング アプローチを使用してみましょう。購入上限額を $120 に変更します。
8. [シミュレーション] をクリックします。
9. この 2 回目のシミュレーションでは、ノイズ比が低くなっている（良好である）ことがわかります。

Noise Lab のクイックツアー

Noise Lab を使用すると、ノイズ管理戦略をすばやく評価して比較できます。適した用途:

• ノイズに影響を与える可能性のある主なパラメータと、それらの影響を理解します。
• さまざまな設計上の決定事項を前提として、出力測定データに対するノイズの影響をシミュレートします。ユースケースに適した信号対雑音比になるまで、設計パラメータを調整します。
• 要約レポートの有用性についてフィードバックをお寄せください。イプシロンとノイズ パラメータのどの値が機能し、どの値が機能しないかをお知らせください。転換点はどこですか？

これは準備ステップと考えることができます。Noise Lab は、入力に基づいて概要レポートの出力をシミュレートするための測定データを生成します。データは保存も共有もされません。

ノイズラボには 2 つのモードがあります。

1. シンプル モード: ノイズに関するコントロールの基本を理解します。
2. 高度なモード: さまざまなノイズ管理戦略をテストし、ユースケースで最適な信号対雑音比を実現する戦略を評価します。

上部のメニューにあるボタンをクリックして、2 つのモードを切り替えます（次のスクリーンショットの#1）。

シンプル モード

• シンプルモードでは、イプシロンなどのパラメータ（左側、または次のスクリーンショットの#2）を制御し、ノイズにどのように影響するかを確認できます。
• 各パラメータにはツールチップ（`?` ボタン）があります。各パラメータの説明を表示するには、これらのパラメータをクリックします（次のスクリーンショットの#3）。
• まず、[シミュレート] ボタンをクリックして、出力がどのように表示されるかを確認します（次のスクリーンショットの#4）。
• [出力] セクションには、さまざまな詳細が表示されます。一部の要素には `?` が付いています。各 `?` をクリックして、さまざまな情報の説明を確認してください。
• [出力] セクションで、テーブルの展開バージョンを表示する場合は、[詳細] 切り替えをクリックします（次のスクリーンショットの#5）。
• 出力セクションの各データテーブルの下に、テーブルをダウンロードしてオフラインで使用するためのオプションがあります。また、右下にはすべてのデータテーブルをダウンロードするオプションがあります（次のスクリーンショットの#6）。
• [パラメータ] セクションでパラメータのさまざまな設定をテストし、[シミュレート] をクリックして出力への影響を確認します。

  

詳細モード

• [詳細] モードでは、パラメータをより詳細に制御できます。カスタムの測定目標とディメンションを追加できます（次のスクリーンショットの 1 と 2）。
• [パラメータ] セクションをさらに下にスクロールして、[キー戦略] オプションを表示します。これは、さまざまなキー構造をテストするために使用できます（次のスクリーンショットの#3）。
  • さまざまなキー構造をテストするには、キー戦略を「B」に切り替えます。
  • 使用するさまざまなキー構造の数を入力します（デフォルトは「2」に設定されています）。
  • [Generate Key Structures]（キー構造を生成）をクリックします。
  • 各鍵構造に含める鍵の横にあるチェックボックスをオンにすると、鍵構造を指定するオプションが表示されます。
  • [シミュレート] をクリックして出力を確認します。

    

    

ノイズ指標

基本コンセプト

ノイズは個々のユーザーのプライバシーを保護するために付加されます。

ノイズ値が高い場合は、バケット/キーがスパースで、少数の機密性の高いイベントからの寄与が含まれていることを示します。これは Noise Lab によって自動的に行われ、個人が「群衆に紛れる」ことを可能にします。つまり、少数の個人のプライバシーを、より多くのノイズを追加することで保護します。

ノイズ値が小さいほど、データ設定が、個人が「群衆に紛れる」ことをすでに可能にするように設計されていることを示します。つまり、バケットには、個々のユーザーのプライバシーが保護されていることを確認するのに十分な数のイベントからの投稿が含まれています。

このステートメントは、平均パーセンテージ誤差（APE）と RMSRE_T（しきい値付きの二乗平均平方根相対誤差）の両方に当てはまります。

APE（平均パーセント誤差）

APE は、ノイズとシグナル（真の要約値）の比率です。

APE 値が小さいほど、信号対雑音比が優れていることを意味します。

数式

特定の概要レポートの APE は次のように計算されます。

True は true の要約値です。APE は、各真の概要値に対するノイズの平均値であり、概要レポートのすべてのエントリで平均化されます。Noise Lab では、この値を 100 倍してパーセンテージを算出します。

メリットとデメリット

サイズの小さいバケットは、APE の最終値に不釣り合いな影響を与えます。ノイズを評価する際に誤解を招く可能性があります。そこで、APE のこの制限を緩和するために、RMSRE_T という別の指標を追加しました。詳しくは、例をご覧ください。

コード

APE の計算のソースコードを確認します。

RMSRE_T（しきい値付きの二乗平均平方根相対誤差）

RMSRE_T（しきい値付きの二乗平均平方根相対誤差）は、ノイズの別の指標です。

RMSRE_T の解釈方法

RMSRE_T の値が小さいほど、信号対雑音比が優れていることを意味します。
たとえば、ユースケースで許容できるノイズ比率が 20% で、RMSRE_T が 0.2 の場合、ノイズレベルが許容範囲内にあると判断できます。

数式

特定の概要レポートの場合、RMSRE_T は次のように計算されます。

メリットとデメリット

RMSRE_T は APE よりも少し理解しにくい指標です。ただし、概要レポートのノイズを分析するうえで、APE よりも適している場合があるというメリットがいくつかあります。

• RMSRE_T はより安定しています。「T」はしきい値です。「T」は、コンバージョン数が少なく、サイズが小さいためノイズの影響を受けやすいバケットの RMSRE_T 計算での重みを小さくするために使用されます。T では、コンバージョン数が少ないバケットで指標が急増することはありません。T が 5 の場合、コンバージョンが 0 のバケットのノイズ値が 1 であっても、1 を大幅に超える値として表示されることはありません。代わりに、T が 5 であるため、1/5 に相当する 0.2 に上限が設定されます。ノイズの影響を受けやすい小さなバケットの重みを小さくすることで、この指標はより安定し、2 つのシミュレーションを簡単に比較できるようになります。
• RMSRE_T を使用すると、簡単な集計が可能になります。複数のバケットの RMSRE_T と実際のカウントを把握することで、それらの合計の RMSRE_T を計算できます。また、これらの組み合わせた値に対して RMSRE_T を最適化することもできます。

APE の集計は可能ですが、ラプラス ノイズの合計の絶対値が含まれるため、式はかなり複雑になります。これにより、APE の最適化が難しくなります。

コード

RMSRE_T の計算のソースコードを確認します。

例

3 つのバケットを含む概要レポート:

• bucket_1 = noise: 10、trueSummaryValue: 100
• bucket_2 = noise: 20, trueSummaryValue: 100
• bucket_3 = noise: 20, trueSummaryValue: 200

APE = (0.1 + 0.2 + 0.1) / 3 = 13%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,200))^2) / 3) =  sqrt( (0.01 + 0.04 + 0.01) / 3) =  0.14

3 つのバケットを含む概要レポート:

• bucket_1 = noise: 10、trueSummaryValue: 100
• bucket_2 = noise: 20, trueSummaryValue: 100
• bucket_3 = ノイズ: 20、trueSummaryValue: 20

APE = (0.1 + 0.2 + 1) / 3 = 43%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,20))^2) / 3)  =  sqrt( (0.01 + 0.04 + 1.0) / 3) =  0.59

3 つのバケットを含む概要レポート:

• bucket_1 = noise: 10、trueSummaryValue: 100
• bucket_2 = noise: 20, trueSummaryValue: 100
• bucket_3 = noise: 20, trueSummaryValue: 0

APE = (0.1 + 0.2 + 無限大) / 3 = 無限大

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2  +
(20/max(5,0))^2) / 3) =  sqrt( (0.01 + 0.04 + 16.0) / 3) =  2.31

高度な鍵管理

DSP や広告測定会社には、複数の業界、通貨、購入価格の可能性にまたがる、数千ものグローバル広告顧客が存在する可能性があります。つまり、広告主ごとに 1 つの集計キーを作成して管理することは、現実的ではない可能性が高いということです。また、世界中の数千もの広告主様全体でノイズの影響を制限できる最大集計可能値と集計予算を選択することも困難です。代わりに、次のシナリオについて考えてみましょう。

キー戦略 A

広告技術プロバイダは、すべての広告主に対して 1 つのキーを作成して管理することにしました。すべての広告主とすべての通貨において、購入の範囲は、少量の高級品から大量の低価格品まで多岐にわたります。これにより、次のキーが生成されます。

主要戦略 B

広告技術プロバイダは、すべての広告主様に対して 2 つのキーを作成して管理することにしました。通貨ごとにキーを分けることにしました。すべての広告主とすべての通貨において、購入の範囲は、購入量が少なく高額な購入から、購入量が多く低額な購入まで多岐にわたります。通貨ごとに分割して、2 つの鍵を作成します。

通貨の値は通貨間で均等に分布していないため、キー戦略 B の結果にはキー戦略 A よりもノイズが少なくなります。たとえば、円建ての購入と米ドル建ての購入が混在している場合、基盤となるデータとノイズの多い出力がどのように変化するかを考えてみましょう。

キー戦略 C

広告技術プロバイダは、すべての広告主様を対象に 4 つのキーを作成して管理し、通貨と広告主様の業種ごとにキーを分けることにしました。

広告主様の購入額は広告主様全体で均等に分布していないため、キー戦略 C の結果はキー戦略 B よりもノイズが少なくなります。たとえば、高級ジュエリーの購入と野球帽の購入が混在すると、基盤となるデータと結果として得られるノイズの多い出力がどのように変化するかを考えてみましょう。

出力のノイズを減らすために、複数の広告主間の共通性に対して、共有の最大集計値と共有のスケーリング ファクタを作成することを検討してください。たとえば、広告主様向けに次の戦略を試すことができます。

• 通貨（USD、¥、CAD など）ごとに 1 つの戦略
• 広告主の業種（保険、自動車、小売など）ごとに 1 つの戦略
• 購入額の範囲が類似する戦略を 1 つにまとめる（[100]、[1000]、[10000] など）

広告主様の共通点に基づいてキー戦略を作成することで、キーと対応するコードの管理が容易になり、シグナル対ノイズ比が高くなります。さまざまな広告主様の共通点に基づいてさまざまな戦略を試し、ノイズの影響を最大化することとコード管理のバランスが取れる転換点を見つけます。

2 つの広告主様を対象としたシナリオを考えてみましょう。

• 広告主 A:
  • 広告主 A のサイトのすべての商品で、購入価格の可能性は [$120 - $1,000] の範囲で、幅は $880 です。
  • 購入価格は 880 ドルの範囲に均等に分布しており、購入価格の中央値から 2 標準偏差を超える外れ値はありません。
• 広告主 B:
  • 広告主 B のサイトのすべての商品で、購入価格の可能性は [$120 - $1,000] の範囲で、幅は $880 です。
  • 購入価格は 120 ～ 500 ドルの範囲に大きく偏っており、500 ～ 1,000 ドルの範囲での購入はわずか 5% です。

貢献度予算の要件と、最終結果にノイズを適用する手法を考慮すると、広告主 B は、広告主 A よりもノイズの多い結果をデフォルトで取得します。これは、広告主 B の方が、外れ値が基盤となる計算に影響を与える可能性が高いためです。

特定のキー設定でこの問題を軽減できます。外れ値データを管理し、キーの購入範囲全体で購入額をより均等に分布させるのに役立つキー戦略をテストします。

広告主 B の場合は、2 つの異なる購入額の範囲をキャプチャするために、2 つの別々のキーを作成できます。この例では、広告テクノロジーは、購入額が $500 を超えると外れ値が現れることを確認しています。この広告主に対して 2 つの別々のキーを実装してみてください。

• キー構造 1 : 120 ～ 500 ドルの範囲の購入のみをキャプチャするキー（購入総額の約 95% をカバー）。
• キー構造 2: 500 ドルを超える購入のみをキャプチャするキー（購入総数の約 5% をカバー）。

この重要な戦略を実装することで、広告主 B のノイズをより適切に管理し、概要レポートから得られる有用性を最大限に高めることができます。新しい範囲が小さくなったため、キー A とキー B では、以前の単一キーよりも、それぞれのキーにデータがより均一に分散されるようになります。これにより、各キーの出力におけるノイズの影響が、以前の単一キーの場合よりも小さくなります。