Noiselab

Tentang dokumen ini

Dengan membaca dokumen ini, Anda akan:

  • Pahami strategi yang harus dibuat sebelum membuat laporan ringkasan.
  • Memperkenalkan Noise Lab, alat yang membantu memahami efek berbagai parameter derau, dan yang memungkinkan eksplorasi dan penilaian cepat berbagai strategi pengelolaan derau.
Screenshot Noise Lab.
Noise Lab

Beri masukan

Meskipun dokumen ini merangkum beberapa prinsip untuk bekerja dengan laporan ringkasan, ada beberapa pendekatan untuk pengelolaan derau yang mungkin tidak tercermin di sini. Saran, tambahan, dan pertanyaan Anda akan kami terima dengan senang hati.

  • Untuk memberikan masukan publik tentang strategi pengelolaan derau, tentang kegunaan atau privasi API (epsilon), dan untuk membagikan pengamatan Anda saat melakukan simulasi dengan Noise Lab: Berikan komentar pada masalah ini
  • Untuk memberikan masukan publik tentang aspek lain dari API: Buat masalah baru di sini

Sebelum memulai

  1. Baca Attribution Reporting: laporan ringkasan dan Ringkasan lengkap sistem Attribution Reporting untuk mengetahui pengantar.
  2. Baca sekilas Memahami derau dan Memahami kunci agregasi untuk memanfaatkan panduan ini sebaik mungkin.

Keputusan desain

Prinsip desain inti

Ada perbedaan mendasar antara cara kerja cookie pihak ketiga dan laporan ringkasan. Salah satu perbedaan utama adalah noise yang ditambahkan ke data pengukuran dalam laporan ringkasan. Yang lainnya adalah cara penjadwalan laporan.

Untuk mengakses data pengukuran laporan ringkasan dengan rasio sinyal terhadap derau yang lebih tinggi, platform sisi permintaan (DSP) dan penyedia pengukuran iklan harus bekerja sama dengan pengiklan mereka untuk mengembangkan strategi pengelolaan derau. Untuk mengembangkan strategi ini, DSP dan penyedia pengukuran perlu membuat keputusan desain. Keputusan ini berkisar pada satu konsep penting:

Meskipun distribusi nilai derau diambil dari, secara mutlak, hanya bergantung pada dua parameter⏤epsilon dan anggaran kontribusi⏤Anda memiliki sejumlah kontrol lain yang dapat digunakan yang akan memengaruhi rasio sinyal terhadap derau data pengukuran output Anda.

Meskipun kami berharap proses iteratif akan menghasilkan keputusan terbaik, setiap variasi pada keputusan ini akan menghasilkan implementasi yang sedikit berbeda—oleh karena itu, keputusan ini harus diambil sebelum menulis setiap iterasi kode (dan sebelum menjalankan iklan).

Keputusan: Perincian dimensi

Coba di Noise Lab

  1. Buka Mode lanjutan.
  2. Di panel samping Parameter, cari Data konversi Anda.
  3. Perhatikan parameter default. Secara default, jumlah konversi yang dapat diatribusikan per hari adalah 1.000. Jumlah rata-rata per bucket adalah sekitar 40 jika Anda menggunakan penyiapan default (dimensi default, jumlah nilai berbeda yang mungkin untuk setiap dimensi, strategi Kunci A). Perhatikan bahwa nilai adalah 40 dalam input Rata-rata jumlah konversi yang dapat diatribusikan harian PER BUCKET.
  4. Klik Simulasikan untuk menjalankan simulasi dengan parameter default.
  5. Di panel samping Parameter, cari Dimensi. Ganti nama Geografi menjadi Kota dan ubah jumlah kemungkinan nilai yang berbeda menjadi 50.
  6. Amati bagaimana hal ini mengubah jumlah konversi yang dapat diatribusikan harian rata-rata PER BUCKET. Sekarang jauh lebih rendah. Hal ini karena jika Anda meningkatkan jumlah kemungkinan nilai dalam dimensi ini tanpa mengubah hal lain, Anda akan meningkatkan jumlah total bucket tanpa mengubah jumlah peristiwa konversi yang akan masuk ke setiap bucket.
  7. Klik Simulasikan.
  8. Amati rasio derau dari simulasi yang dihasilkan: rasio derau sekarang lebih tinggi daripada untuk simulasi sebelumnya.

Mengingat prinsip desain inti, nilai ringkasan kecil cenderung lebih bervariasi daripada nilai ringkasan besar. Oleh karena itu, pilihan konfigurasi Anda memengaruhi jumlah peristiwa konversi yang diatribusikan yang masuk ke setiap bucket (atau disebut sebagai kunci penggabungan), dan jumlah tersebut memengaruhi derau dalam laporan ringkasan output akhir.

Salah satu keputusan desain yang memengaruhi jumlah peristiwa konversi yang diatribusikan dalam satu bucket adalah perincian dimensi. Perhatikan contoh berikut kunci agregasi dan dimensinya:

  • Pendekatan 1: satu struktur utama dengan dimensi kasar: Negara x Kampanye Iklan (atau bucket agregasi kampanye terbesar) x Jenis Produk (dari 10 kemungkinan jenis produk)
  • Pendekatan 2: satu struktur utama dengan dimensi terperinci: Kota x ID Materi Iklan x Produk (dari 100 kemungkinan produk)

Kota adalah dimensi yang lebih terperinci daripada Negara; ID Materi Iklan lebih terperinci daripada Kampanye; dan Produk lebih terperinci daripada Tipe produk. Oleh karena itu, Pendekatan 2 akan memiliki jumlah peristiwa (konversi) yang lebih rendah per bucket (= per kunci) dalam output laporan ringkasannya dibandingkan Pendekatan 1. Mengingat derau yang ditambahkan ke output tidak bergantung pada jumlah peristiwa dalam bucket, data pengukuran dalam laporan ringkasan akan lebih berisik dengan Pendekatan 2. Untuk setiap pengiklan, bereksperimenlah dengan berbagai kompromi perincian dalam desain kunci untuk mendapatkan utilitas maksimum dalam hasil.

Keputusan: Struktur utama

Coba di Noise Lab

Dalam mode Sederhana, struktur kunci default digunakan. Dalam mode Lanjutan, Anda dapat bereksperimen dengan berbagai struktur kunci. Beberapa contoh dimensi disertakan; Anda juga dapat mengubahnya.

  1. Buka Mode lanjutan.
  2. Di panel samping Parameter, cari Strategi utama. Perhatikan bahwa strategi default, yang diberi nama A di alat, menggunakan satu struktur kunci terperinci yang mencakup semua dimensi: Geografi x ID Kampanye x Kategori produk.
  3. Klik Simulasikan.
  4. Amati rasio derau dari simulasi yang dihasilkan.
  5. Ubah strategi Key menjadi B. Tindakan ini akan menampilkan kontrol tambahan agar Anda dapat mengonfigurasi struktur kunci.
  6. Konfigurasi struktur kunci Anda, misalnya, sebagai berikut:
    1. Jumlah struktur utama: 2
    2. Struktur utama 1 = Geografi x Kategori produk.
    3. Struktur utama 2 = ID Kampanye x Kategori produk.
  7. Klik Simulasikan.
  8. Perhatikan bahwa Anda sekarang mendapatkan dua laporan ringkasan per jenis sasaran pengukuran (dua untuk jumlah pembelian, dua untuk nilai pembelian), karena Anda menggunakan dua struktur kunci yang berbeda. Amati rasio derau mereka.
  9. Anda juga dapat mencoba ini dengan dimensi kustom Anda sendiri. Untuk melakukannya, cari Data yang ingin Anda lacak: Dimensi. Pertimbangkan untuk menghapus contoh dimensi, dan buat dimensi Anda sendiri menggunakan tombol Tambahkan/Hapus/Reset di bawah dimensi terakhir.

Keputusan desain lain yang akan memengaruhi jumlah peristiwa konversi yang diatribusikan dalam satu bucket adalah struktur kunci yang Anda putuskan untuk digunakan. Perhatikan contoh kunci agregasi berikut:

  • Satu struktur utama dengan semua dimensi; mari kita sebut ini Strategi Utama A.
  • Dua struktur utama, masing-masing dengan subset dimensi; mari kita sebut ini Strategi Utama B.
Kelompok untuk Strategi utama A dan B.
Bucket untuk Strategi A dan B.

Strategi A lebih sederhana—tetapi Anda mungkin perlu menggabungkan (menjumlahkan) nilai ringkasan derau yang disertakan dalam laporan ringkasan untuk mengakses insight tertentu. Dengan menjumlahkan nilai ini, Anda juga menjumlahkan derau. Dengan Strategi B, nilai ringkasan yang ditampilkan dalam laporan ringkasan mungkin sudah memberikan informasi yang Anda butuhkan. Artinya, Strategi B kemungkinan akan menghasilkan rasio sinyal terhadap derau yang lebih baik daripada Strategi A. Namun, derau mungkin sudah dapat diterima dengan Strategi A, jadi Anda tetap dapat memutuskan untuk memilih Strategi A karena kesederhanaannya. Pelajari lebih lanjut dalam contoh mendetail yang menguraikan kedua strategi ini.

Pengelolaan kunci adalah topik yang mendalam. Sejumlah teknik rumit dapat dipertimbangkan untuk meningkatkan rasio sinyal terhadap derau. Salah satunya dijelaskan dalam Pengelolaan kunci lanjutan.

Keputusan: Frekuensi pengelompokan

Coba di Noise Lab

  1. Buka mode Sederhana (atau mode Lanjutan — kedua mode berfungsi dengan cara yang sama dalam hal frekuensi pengelompokan)
  2. Di panel samping Parameter, cari Strategi agregasi Anda > Frekuensi pengelompokan. Ini mengacu pada frekuensi pengelompokan laporan agregat yang diproses dengan layanan agregasi dalam satu tugas.
  3. Amati frekuensi pengelompokan default: secara default, frekuensi pengelompokan harian disimulasikan.
  4. Klik Simulasikan.
  5. Amati rasio derau dari simulasi yang dihasilkan.
  6. Ubah frekuensi pengelompokan menjadi mingguan.
  7. Amati rasio derau dari simulasi yang dihasilkan: rasio derau kini lebih rendah (lebih baik) daripada untuk simulasi sebelumnya.

Keputusan desain lain yang akan memengaruhi jumlah peristiwa konversi yang diatribusikan dalam satu bucket adalah frekuensi pengelompokan yang Anda putuskan untuk digunakan. Frekuensi pengelompokan adalah seberapa sering Anda memproses laporan yang dapat diagregasi.

Laporan yang dijadwalkan untuk penggabungan lebih sering (misalnya, setiap jam) akan mencakup lebih sedikit peristiwa konversi daripada laporan yang sama dengan jadwal penggabungan yang lebih jarang (misalnya, setiap minggu). Akibatnya, laporan per jam akan menyertakan lebih banyak derau.``` menyertakan lebih sedikit peristiwa konversi daripada laporan yang sama dengan jadwal penggabungan yang kurang sering (misalnya, setiap minggu). Akibatnya, laporan per jam akan memiliki rasio sinyal terhadap derau yang lebih rendah daripada laporan mingguan, dengan hal-hal lainnya tetap sama. Bereksperimenlah dengan persyaratan pelaporan pada berbagai frekuensi, dan nilai rasio sinyal terhadap derau untuk setiap frekuensi.

Pelajari lebih lanjut di Pengelompokan dan Penggabungan selama jangka waktu yang lebih lama.

Keputusan: Variabel kampanye yang memengaruhi konversi yang dapat diatribusikan

Coba di Noise Lab

Meskipun sulit diprediksi dan dapat memiliki variasi yang signifikan selain efek tren musiman, coba estimasikan jumlah konversi yang diatribusikan sentuhan tunggal harian ke pangkat 10 terdekat: 10, 100, 1.000, atau 10.000.

  1. Buka Mode lanjutan.
  2. Di panel samping Parameter, cari Data konversi Anda.
  3. Perhatikan parameter default. Secara default, jumlah konversi yang dapat diatribusikan per hari adalah 1.000. Jumlah rata-rata per bucket adalah sekitar 40 jika Anda menggunakan penyiapan default (dimensi default, jumlah nilai berbeda yang mungkin untuk setiap dimensi, strategi Kunci A). Perhatikan bahwa nilai adalah 40 dalam input Rata-rata jumlah konversi yang dapat diatribusikan harian PER BUCKET.
  4. Klik Simulasikan untuk menjalankan simulasi dengan parameter default.
  5. Amati rasio derau dari simulasi yang dihasilkan.
  6. Sekarang, tetapkan jumlah konversi yang dapat diatribusikan harian TOTAL menjadi 100. Perhatikan bahwa hal ini menurunkan nilai Jumlah konversi yang dapat diatribusikan harian RATA-RATA PER BUCKET.
  7. Klik Simulasikan.
  8. Perhatikan bahwa rasio derau kini lebih tinggi: hal ini karena jika Anda memiliki lebih sedikit konversi per bucket, lebih banyak derau diterapkan untuk menjaga privasi.

Perbedaan pentingnya adalah total jumlah kemungkinan konversi untuk pengiklan, dibandingkan dengan total jumlah kemungkinan konversi yang diatribusikan. Yang terakhir adalah yang pada akhirnya memengaruhi derau dalam laporan ringkasan. Konversi yang diatribusikan adalah subkumpulan dari total konversi yang cenderung dipengaruhi oleh variabel kampanye, seperti anggaran iklan dan penargetan iklan. Misalnya, Anda akan mengharapkan jumlah konversi yang diatribusikan lebih tinggi untuk kampanye iklan senilai Rp100 juta dibandingkan dengan kampanye iklan senilai Rp100 ribu, dengan asumsi faktor lainnya sama.

Hal yang perlu diperhatikan:

  • Menilai konversi yang diatribusikan terhadap model atribusi satu sentuhan, perangkat yang sama, karena konversi ini berada dalam cakupan laporan ringkasan yang dikumpulkan dengan Attribution Reporting API.
  • Pertimbangkan jumlah skenario terburuk dan jumlah skenario terbaik untuk konversi yang diatribusikan. Misalnya, dengan semua hal lainnya sama, pertimbangkan anggaran kampanye minimum dan maksimum yang mungkin untuk pengiklan, lalu proyeksikan konversi yang dapat diatribusikan untuk kedua hasil tersebut sebagai input ke simulasi Anda.
  • Jika Anda mempertimbangkan untuk menggunakan Android Privacy Sandbox, pertimbangkan konversi yang diatribusikan lintas platform dalam penghitungan.

Keputusan: Menggunakan penskalaan

Coba di Noise Lab

  1. Buka Mode lanjutan.
  2. Di panel samping Parameter, cari Strategi agregasi Anda > Penskalaan. Setelannya adalah Ya secara default.
  3. Untuk memahami efek positif penskalaan pada rasio derau, tetapkan Penskalaan ke Tidak terlebih dahulu.
  4. Klik Simulasikan.
  5. Amati rasio derau dari simulasi yang dihasilkan.
  6. Setel Penskalaan ke Ya. Perhatikan bahwa Noise Lab secara otomatis menghitung faktor penskalaan yang akan digunakan berdasarkan rentang (nilai rata-rata dan maksimum) dari tujuan pengukuran untuk skenario Anda. Dalam penyiapan sistem atau uji coba origin yang sebenarnya, Anda sebaiknya menerapkan perhitungan sendiri untuk faktor penskalaan.
  7. Klik Simulasikan.
  8. Perhatikan bahwa rasio derau sekarang lebih rendah (lebih baik) dalam simulasi kedua ini. Hal ini karena Anda menggunakan penskalaan.

Mengingat prinsip desain inti, derau yang ditambahkan adalah fungsi anggaran kontribusi.

Oleh karena itu, untuk meningkatkan rasio sinyal terhadap derau, Anda dapat memutuskan untuk mengubah nilai yang dikumpulkan selama peristiwa konversi dengan menskalakan nilai tersebut terhadap anggaran kontribusi (dan membatalkan penskalaannya setelah penggabungan). Gunakan penskalaan untuk meningkatkan rasio sinyal terhadap derau.

Keputusan: Jumlah sasaran pengukuran, dan pembagian anggaran privasi

Hal ini terkait dengan Penskalaan; pastikan untuk membaca Menggunakan penskalaan.

Coba di Noise Lab

Sasaran pengukuran adalah titik data berbeda yang dikumpulkan dalam peristiwa konversi.

  1. Buka Mode lanjutan.
  2. Di panel samping Parameter, cari Data yang ingin Anda lacak: Sasaran pengukuran. Secara default, Anda memiliki dua sasaran pengukuran: nilai pembelian dan jumlah pembelian.
  3. Klik Simulasikan untuk menjalankan simulasi dengan sasaran default.
  4. Klik Hapus. Tindakan ini akan menghapus sasaran pengukuran terakhir (jumlah pembelian dalam kasus tersebut).
  5. Klik Simulasikan.
  6. Perhatikan bahwa rasio derau untuk nilai pembelian sekarang lebih rendah (lebih baik) untuk simulasi kedua ini. Hal ini karena Anda memiliki lebih sedikit sasaran pengukuran, sehingga satu sasaran pengukuran Anda kini mendapatkan semua anggaran kontribusi.
  7. Klik Reset. Sekarang Anda memiliki dua sasaran pengukuran lagi: nilai pembelian dan jumlah pembelian. Perhatikan bahwa Noise Lab secara otomatis menghitung faktor penskalaan yang akan digunakan berdasarkan rentang (nilai rata-rata dan maksimum) dari tujuan pengukuran untuk skenario Anda. Secara default, Noise Lab membagi anggaran secara merata di seluruh sasaran pengukuran.
  8. Klik Simulasikan.
  9. Amati rasio derau dari simulasi yang dihasilkan. Perhatikan faktor penskalaan yang ditampilkan pada simulasi.
  10. Sekarang, mari sesuaikan pembagian anggaran privasi untuk mendapatkan rasio sinyal terhadap derau yang lebih baik.
  11. Sesuaikan % Anggaran yang ditetapkan untuk setiap sasaran pengukuran. Dengan parameter default, Sasaran pengukuran 1, yaitu nilai pembelian, memiliki rentang yang jauh lebih luas (antara 0 dan 1000) daripada Sasaran pengukuran 2, yaitu jumlah pembelian (antara 1 dan 1, yaitu selalu sama dengan 1). Oleh karena itu, model ini memerlukan "lebih banyak ruang untuk menskalakan": akan lebih baik jika menetapkan anggaran kontribusi yang lebih besar untuk Sasaran pengukuran 1 daripada Sasaran pengukuran 2, sehingga model dapat diskalakan secara lebih efisien (lihat Penskalaan), dan dengan demikian
  12. Tetapkan 70% anggaran ke Sasaran pengukuran 1. Tetapkan 30% ke sasaran 2 Pengukuran.
  13. Klik Simulasikan.
  14. Amati rasio derau dari simulasi yang dihasilkan. Untuk nilai pembelian, rasio derau kini jauh lebih rendah (lebih baik) daripada untuk simulasi sebelumnya. Untuk jumlah pembelian, tidak ada perubahan yang signifikan.
  15. Terus sesuaikan pembagian anggaran di seluruh metrik. Amati pengaruhnya terhadap noise.

Perhatikan bahwa Anda dapat menetapkan sasaran pengukuran kustom sendiri dengan tombol Tambahkan/Hapus/Reset.


Jika Anda mengukur satu titik data (sasaran pengukuran) pada peristiwa konversi, seperti jumlah konversi, titik data tersebut dapat memperoleh semua anggaran kontribusi (65536). Jika Anda menetapkan beberapa sasaran pengukuran pada peristiwa konversi, seperti jumlah konversi dan nilai pembelian, maka titik data tersebut harus berbagi anggaran kontribusi. Artinya, Anda memiliki lebih sedikit keleluasaan untuk meningkatkan nilai.

Oleh karena itu, makin banyak sasaran pengukuran yang Anda miliki, makin rendah rasio sinyal terhadap derau (makin tinggi derau).

Keputusan lain yang harus dibuat terkait tujuan pengukuran adalah pembagian anggaran. Jika Anda membagi anggaran kontribusi secara merata di dua titik data, setiap titik data akan mendapatkan anggaran 65536/2 = 32768. Hal ini mungkin optimal atau tidak, bergantung pada nilai maksimum yang mungkin untuk setiap titik data. Misalnya, jika Anda mengukur jumlah pembelian yang memiliki nilai maksimum 1, dan nilai pembelian dengan minimum 1 dan maksimum 120, nilai pembelian akan diuntungkan dengan memiliki "lebih banyak ruang" untuk ditingkatkan—yaitu, diberi proporsi yang lebih besar dari anggaran kontribusi. Anda akan melihat apakah beberapa sasaran pengukuran harus diprioritaskan daripada sasaran lainnya terkait dengan dampak derau.

Keputusan: Pengelolaan outlier

Coba di Noise Lab

Sasaran pengukuran adalah titik data berbeda yang dikumpulkan dalam peristiwa konversi.

  1. Buka Mode lanjutan.
  2. Di panel samping Parameter, cari Strategi agregasi Anda > Penskalaan.
  3. Pastikan Penskalaan disetel ke Ya. Perhatikan bahwa Noise Lab secara otomatis menghitung faktor penskalaan yang akan digunakan, berdasarkan rentang (nilai rata-rata dan maksimum) yang telah Anda berikan untuk tujuan pengukuran.
  4. Misalkan pembelian terbesar yang pernah dilakukan adalah $2.000, tetapi sebagian besar pembelian terjadi dalam rentang $10-$120. Pertama, mari kita lihat apa yang terjadi jika kita menggunakan pendekatan penskalaan literal (tidak direkomendasikan): masukkan $2.000 sebagai nilai maks untuk purchaseValue.
  5. Klik Simulasikan.
  6. Perhatikan bahwa rasio derau tinggi. Hal ini karena faktor penskalaan kami dihitung berdasarkan $2.000, padahal sebagian besar nilai pembelian akan jauh lebih rendah dari itu.
  7. Sekarang, mari kita gunakan pendekatan penskalaan yang lebih pragmatis. Ubah nilai pembelian maks menjadi $120.
  8. Klik Simulasikan.
  9. Perhatikan bahwa rasio derau lebih rendah (lebih baik) dalam simulasi kedua ini.

Untuk menerapkan penskalaan, Anda biasanya akan menghitung faktor penskalaan berdasarkan nilai maksimum yang mungkin untuk peristiwa konversi tertentu (pelajari lebih lanjut dalam contoh ini).

Namun, hindari penggunaan nilai maksimum literal untuk menghitung faktor penskalaan tersebut, karena hal ini akan memperburuk rasio sinyal terhadap derau Anda. Sebagai gantinya, hapus pencilan dan gunakan nilai maksimum pragmatis.

Pengelolaan pencilan adalah topik yang mendalam. Sejumlah teknik rumit dapat dipertimbangkan untuk meningkatkan rasio sinyal terhadap derau. Salah satunya dijelaskan dalam Pengelolaan pencilan lanjutan.

Langkah berikutnya

Setelah menilai berbagai strategi pengelolaan derau untuk kasus penggunaan Anda, Anda siap untuk mulai bereksperimen dengan laporan ringkasan dengan mengumpulkan data pengukuran nyata menggunakan uji coba origin. Tinjau panduan dan tips untuk Mencoba API.

Lampiran

Tur singkat Noise Lab

Noise Lab membantu Anda menilai dan membandingkan strategi pengelolaan derau dengan cepat. Gunakan untuk:

  • Pahami parameter utama yang dapat memengaruhi kebisingan, dan efeknya.
  • Simulasikan efek derau pada data pengukuran output yang diberikan keputusan desain yang berbeda. Sesuaikan parameter desain hingga Anda mencapai rasio sinyal terhadap kebisingan yang sesuai untuk kasus penggunaan Anda.
  • Sampaikan masukan Anda tentang kegunaan laporan ringkasan: nilai parameter epsilon dan derau mana yang cocok untuk Anda, dan mana yang tidak? Di mana titik beloknya?

Anggap ini sebagai langkah persiapan. Noise Lab membuat data pengukuran untuk menyimulasikan output laporan ringkasan berdasarkan input Anda. Aplikasi ini tidak menyimpan atau membagikan data apa pun.

Ada dua mode berbeda di Noise Lab:

  1. Mode sederhana: memahami dasar-dasar kontrol yang Anda miliki untuk meredam kebisingan.
  2. Mode lanjutan: uji berbagai strategi pengelolaan derau dan nilai strategi mana yang menghasilkan rasio sinyal terhadap derau terbaik untuk kasus penggunaan Anda.

Klik tombol di menu atas untuk beralih di antara kedua mode (#1. pada screenshot berikut).

Mode sederhana
  • Dengan mode Sederhana, Anda mengontrol Parameter (terdapat di sisi kiri, atau #2 pada screenshot berikut) seperti Epsilon, dan melihat pengaruhnya terhadap derau.
  • Setiap parameter memiliki tooltip (tombol `?`). Klik ini untuk melihat penjelasan setiap parameter (#3. pada screenshot berikut)
  • Untuk memulai, klik tombol "Simulate" dan amati tampilan outputnya (#4. pada screenshot berikut)
  • Di bagian Output, Anda dapat melihat berbagai detail. Beberapa elemen memiliki `?` di sampingnya. Luangkan waktu untuk mengklik setiap `?` guna melihat penjelasan berbagai informasi.
  • Di bagian Output, klik tombol Detail jika Anda ingin melihat versi tabel yang diluaskan (#5. pada screenshot berikut)
  • Setelah setiap tabel data di bagian output, ada opsi untuk mendownload tabel untuk penggunaan offline. Selain itu, di sudut kanan bawah terdapat opsi untuk mendownload semua tabel data (#6 dalam screenshot berikut)
  • Uji berbagai setelan untuk parameter di bagian Parameter dan klik Simulasikan untuk melihat pengaruhnya terhadap output:
    Antarmuka Noise Lab untuk mode Sederhana.
    Antarmuka Noise Lab untuk mode Sederhana.
Mode lanjutan
  • Dalam mode Lanjutan, Anda memiliki kontrol lebih besar atas Parameter. Anda dapat menambahkan Sasaran dan Dimensi Pengukuran kustom (#1 dan #2 pada screenshot berikut)
  • Scroll lebih jauh ke bawah di bagian Parameter dan lihat opsi Strategi Utama. Hal ini dapat digunakan untuk menguji struktur kunci yang berbeda (#3. pada screenshot berikut)
    • Untuk menguji Struktur Kunci yang berbeda, alihkan Strategi Kunci ke "B"
    • Masukkan jumlah struktur kunci berbeda yang ingin Anda gunakan (default ditetapkan ke "2")
    • Klik Buat Struktur Kunci
    • Anda akan melihat opsi untuk menentukan struktur kunci dengan mencentang kotak di samping kunci yang ingin Anda sertakan untuk setiap struktur kunci
    • Klik Simulate untuk melihat output.
      Mode lanjutan menawarkan kontrol untuk sasaran pengukuran dan dimensi yang akan dilacak, yang ditandai di sidebar.
      Antarmuka Noise Lab untuk mode Lanjutan.
      Mode lanjutan juga merupakan opsi strategi Utama di bagian Parameter pada sidebar.
      Antarmuka Noise Lab untuk mode Lanjutan.

Metrik derau

Konsep inti

Derau ditambahkan untuk melindungi privasi masing-masing pengguna.

Nilai derau yang tinggi menunjukkan bahwa bucket/kunci jarang dan berisi kontribusi dari sejumlah kecil peristiwa sensitif. Hal ini dilakukan secara otomatis oleh Noise Lab, untuk memungkinkan individu "bersembunyi di keramaian", atau dengan kata lain, melindungi privasi individu terbatas ini dengan jumlah derau yang lebih besar.

Nilai noise yang rendah menunjukkan bahwa penyiapan data dirancang sedemikian rupa sehingga individu dapat "bersembunyi di keramaian". Artinya, bucket berisi kontribusi dari jumlah peristiwa yang memadai untuk memverifikasi bahwa privasi pengguna perorangan terlindungi.

Pernyataan ini berlaku untuk error persentase rata-rata (APE) dan RMSRE_T (error relatif akar rata-rata kuadrat dengan nilai minimum).

APE (error persentase rata-rata)

APE adalah rasio derau terhadap sinyal, yaitu nilai ringkasan sebenarnya.

Nilai APE yang lebih rendah berarti rasio sinyal terhadap derau yang lebih baik.

Formula

Untuk laporan ringkasan tertentu, APE dihitung sebagai berikut:

Persamaan untuk APE. Nilai mutlak diperlukan, karena derau bisa negatif.
Persamaan untuk APE. Nilai mutlak diperlukan, karena derau dapat bernilai negatif.

True adalah nilai ringkasan yang benar. APE adalah rata-rata derau di setiap nilai ringkasan sebenarnya, yang dirata-ratakan di semua entri dalam laporan ringkasan. Di Noise Lab, nilai ini kemudian dikalikan dengan 100 untuk memberikan persentase.

Kelebihan dan kekurangan

Bucket dengan ukuran yang lebih kecil memiliki dampak yang tidak proporsional pada nilai akhir APE. Hal ini dapat menyesatkan saat menilai kebisingan. Itulah sebabnya kami menambahkan metrik lain, RMSRE_T, yang dirancang untuk mengurangi batasan APE ini. Tinjau contoh untuk mengetahui detailnya.

Kode

Tinjau kode sumber untuk perhitungan APE.

RMSRE_T (root-mean-square relative error with a threshold)

RMSRE_T (root-mean-square relative error with a threshold) adalah ukuran lain untuk noise.

Cara menafsirkan RMSRE_T

Nilai RMSRE_T yang lebih rendah berarti rasio sinyal terhadap noise yang lebih baik.
Misalnya, jika rasio derau yang dapat diterima untuk kasus penggunaan Anda adalah 20%, dan RMSRE_T adalah 0,2, Anda dapat yakin bahwa tingkat derau berada dalam rentang yang dapat diterima.

Formula

Untuk laporan ringkasan tertentu, RMSRE_T dihitung sebagai berikut:

Formula
Persamaan untuk RMSRE_T. Nilai mutlak diperlukan, karena derau dapat bernilai negatif.
Kelebihan dan kekurangan

RMSRE_T sedikit lebih rumit untuk dipahami daripada APE. Namun, ada beberapa keunggulan yang membuatnya dalam beberapa kasus lebih cocok daripada APE untuk menganalisis derau dalam laporan ringkasan:

  • RMSRE_T lebih stabil. "T" adalah nilai minimum. "T" digunakan untuk memberikan bobot yang lebih kecil dalam penghitungan RMSRE_T ke bucket yang memiliki lebih sedikit konversi dan oleh karena itu lebih sensitif terhadap derau karena ukurannya yang kecil. Dengan T, metrik tidak melonjak pada bucket dengan sedikit konversi. Jika T sama dengan 5, nilai derau sekecil 1 pada bucket dengan 0 konversi tidak akan ditampilkan sebagai lebih dari 1. Sebagai gantinya, nilai ini akan dibatasi pada 0,2, yang setara dengan 1/5, karena T sama dengan 5. Dengan memberikan bobot yang lebih kecil pada bucket yang lebih kecil yang oleh karena itu lebih sensitif terhadap derau, metrik ini lebih stabil, dan oleh karena itu mempermudah perbandingan dua simulasi.
  • RMSRE_T memungkinkan agregasi yang mudah. Mengetahui RMSRE_T dari beberapa bucket, beserta jumlah sebenarnya, memungkinkan Anda menghitung RMSRE_T dari jumlahnya. Anda juga dapat mengoptimalkan RMSRE_T untuk nilai gabungan ini.

Meskipun agregasi dapat dilakukan untuk APE, formulanya cukup rumit karena melibatkan nilai absolut dari jumlah derau Laplace. Hal ini membuat APE lebih sulit dioptimalkan.

Kode

Tinjau kode sumber untuk perhitungan RMSRE_T.

Contoh

Laporan ringkasan dengan tiga kategori:

  • bucket_1 = noise: 10, trueSummaryValue: 100
  • bucket_2 = noise: 20, trueSummaryValue: 100
  • bucket_3 = noise: 20, trueSummaryValue: 200

APE = (0,1 + 0,2 + 0,1) / 3 = 13%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,200))^2) / 3) =  sqrt( (0.01 + 0.04 + 0.01) / 3) =  0.14

Laporan ringkasan dengan tiga kategori:

  • bucket_1 = noise: 10, trueSummaryValue: 100
  • bucket_2 = noise: 20, trueSummaryValue: 100
  • bucket_3 = noise: 20, trueSummaryValue: 20

APE = (0,1 + 0,2 + 1) / 3 = 43%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,20))^2) / 3)  =  sqrt( (0.01 + 0.04 + 1.0) / 3) =  0.59

Laporan ringkasan dengan tiga kategori:

  • bucket_1 = noise: 10, trueSummaryValue: 100
  • bucket_2 = noise: 20, trueSummaryValue: 100
  • bucket_3 = noise: 20, trueSummaryValue: 0

APE = (0,1 + 0,2 + Tak Terhingga) / 3 = Tak Terhingga

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2  +
(20/max(5,0))^2) / 3) =  sqrt( (0.01 + 0.04 + 16.0) / 3) =  2.31

Pengelolaan kunci lanjutan

Perusahaan DSP atau pengukuran iklan mungkin memiliki ribuan pelanggan iklan global, yang mencakup beberapa industri, mata uang, dan potensi harga pembelian. Artinya, membuat dan mengelola satu kunci penggabungan per pengiklan kemungkinan akan sangat tidak praktis. Selain itu, akan sulit untuk memilih nilai maksimum yang dapat diagregasi dan anggaran agregasi yang dapat membatasi dampak derau di ribuan pengiklan global ini. Sebagai gantinya, pertimbangkan skenario berikut:

Strategi Utama A

Penyedia teknologi iklan memutuskan untuk membuat dan mengelola satu kunci di semua pelanggan iklannya. Di semua pengiklan dan semua mata uang, rentang pembelian bervariasi dari pembelian volume rendah dan kelas atas hingga pembelian volume tinggi dan kelas bawah. Tindakan ini akan menghasilkan kunci berikut:

Kunci (beberapa mata uang)
Nilai maksimum yang dapat diagregasi 5.000.000
Rentang nilai pembelian [120 - 5000000]
Strategi Utama B

Penyedia teknologi iklan memutuskan untuk membuat dan mengelola dua kunci di semua pelanggan iklannya. Mereka memutuskan untuk memisahkan kunci menurut mata uang. Di semua pengiklan dan semua mata uang, rentang pembelian bervariasi dari volume rendah, pembelian kelas atas hingga volume tinggi, pembelian kelas bawah. Dipisahkan menurut mata uang, mereka membuat 2 kunci:

Key 1 (USD) Kunci 2 (¥)
Nilai maksimum yang dapat diagregasi $40.000 ¥5.000.000
Rentang nilai pembelian [120 - 40.000] [15.000 - 5.000.000]

Strategi Utama B akan memiliki lebih sedikit noise dalam hasilnya daripada Strategi Utama A, karena nilai mata uang tidak didistribusikan secara seragam di seluruh mata uang. Misalnya, pertimbangkan bagaimana pembelian yang dinyatakan dalam ¥ yang digabungkan dengan pembelian yang dinyatakan dalam USD akan mengubah data pokok dan menghasilkan output yang tidak akurat.

Strategi Utama C

Penyedia teknologi iklan memutuskan untuk membuat dan mengelola empat kunci di semua pelanggan iklannya, dan memisahkannya menurut Industri pengiklan x Mata uang:

Key 1
(USD x Pengiklan perhiasan kelas atas)
Kunci 2
(¥ x Pengiklan perhiasan kelas atas)
Key 3
(USD x Pengiklan retailer pakaian)
Key 4
(¥ x Pengiklan retailer pakaian)
Nilai maksimum yang dapat diagregasi $40.000 ¥5.000.000 Rp7.000.000 ¥65.000
Rentang nilai pembelian [10.000 - 40.000] [1.250.000 - 5.000.000] [120 - 500] [15.000 - 65.000]

Strategi Utama C akan memiliki lebih sedikit derau dalam hasilnya dibandingkan Strategi Utama B, karena nilai pembelian pengiklan tidak didistribusikan secara merata di seluruh pengiklan. Misalnya, pertimbangkan bagaimana pembelian perhiasan kelas atas yang digabungkan dengan pembelian topi bisbol akan mengubah data pokok dan menghasilkan output yang tidak akurat.

Pertimbangkan untuk membuat nilai gabungan maksimum bersama dan faktor penskalaan bersama untuk kesamaan di beberapa pengiklan guna mengurangi derau dalam output. Misalnya, Anda dapat bereksperimen dengan strategi berikut untuk pengiklan:

  • Satu strategi yang dipisahkan berdasarkan mata uang (USD, ¥, CAD, dll.)
  • Satu strategi yang dipisahkan berdasarkan industri pengiklan (Asuransi, Otomotif, Retail, dll.)
  • Satu strategi yang dipisahkan oleh rentang nilai pembelian serupa ([100], [1000], [10000], dll.)

Dengan membuat strategi utama seputar kesamaan pengiklan, kunci dan kode yang sesuai akan lebih mudah dikelola, dan rasio sinyal terhadap derau menjadi lebih tinggi. Bereksperimenlah dengan berbagai strategi dengan kesamaan pengiklan yang berbeda untuk menemukan titik infleksi dalam memaksimalkan dampak derau versus pengelolaan kode.


Pengelolaan pencilan lanjutan

Mari kita pertimbangkan sebuah skenario di dua pengiklan:

  • Pengiklan A:
    • Di semua produk di situs Pengiklan A, kemungkinan harga pembelian adalah antara [$120 - $1.000] , dengan rentang $880.
    • Harga pembelian didistribusikan secara merata di seluruh rentang $880 tanpa ada anomali di luar dua simpangan baku dari harga pembelian median.
  • Pengiklan B:
    • Di semua produk di situs Pengiklan B, kemungkinan harga pembelian adalah antara [$120 - $1.000] , dengan rentang $880.
    • Harga pembelian sangat condong ke rentang $120 - $500, dengan hanya 5% pembelian yang terjadi dalam rentang $500 - $1.000.

Mengingat persyaratan anggaran kontribusi dan metodologi penerapan noise pada hasil akhir, Pengiklan B secara default akan memiliki output yang lebih berisik daripada Pengiklan A, karena Pengiklan B memiliki potensi yang lebih tinggi bagi pencilan untuk memengaruhi kalkulasi yang mendasarinya.

Anda dapat memitigasi hal ini dengan penyiapan kunci tertentu. Uji strategi utama yang membantu mengelola data pencilan, dan mendistribusikan nilai pembelian secara lebih merata di seluruh rentang pembelian kunci.

Untuk Pengiklan B, Anda dapat membuat dua kunci terpisah untuk mencatat dua rentang nilai pembelian yang berbeda. Dalam contoh ini, teknologi iklan telah mencatat bahwa pencilan muncul di atas nilai pembelian Rp5.000.000. Coba terapkan dua kunci terpisah untuk pengiklan ini:

  • Struktur Kunci 1 : Kunci yang hanya mencatat pembelian dalam rentang $120 - $500 (mencakup ~95% dari total volume pembelian).
  • Struktur Kunci 2: Kunci yang hanya mencatat pembelian di atas $500 (mencakup ~5% dari total volume pembelian).

Menerapkan strategi utama ini akan lebih baik dalam mengelola derau untuk Pengiklan B dan membantu memaksimalkan kegunaan laporan ringkasan bagi mereka. Dengan rentang yang lebih kecil yang baru, Kunci A dan Kunci B kini harus memiliki distribusi data yang lebih seragam di setiap kunci masing-masing daripada satu kunci sebelumnya. Hal ini akan menghasilkan dampak derau yang lebih kecil dalam output setiap kunci dibandingkan dengan kunci tunggal sebelumnya.