Panduan pengujian pengukuran

Tujuan panduan ini adalah untuk memberikan panduan tentang cara menjalankan pengujian mandiri Attribution Reporting API Privacy Sandbox. Untuk mengetahui detail selengkapnya, lihat: Bagian 12.

  • Pengukuran hasil grup kontrol dan perlakuan dalam desain eksperimental 1 dan 2 CMA dibahas dalam panduan pengujian Relevance API, karena tujuan eksperimen tersebut adalah untuk menguji keefektifan penggunaan Protected Audience & Topics. Untuk mengetahui detail selengkapnya, lihat Bagian 11.

Sebelum memulai

Sasaran evaluasi dan penyiapan eksperimen yang diusulkan

Sasaran 1 - Menentukan keefektifan Attribution Reporting API untuk pelaporan

Kami mengusulkan penyiapan A/A untuk mengukur dampak terhadap pelaporan

  • Proposal ini selaras dengan panduan CMA tentang evaluasi metrik berbasis konversi. Untuk mengetahui detail selengkapnya, lihat Bagian 21 dan Bagian 12.
  • Kami lebih memilih metode ini daripada Mode A/B karena pengujian Attribution Reporting API (ARA) dapat dilakukan dengan mengukur konversi secara bersamaan pada kumpulan tayangan iklan yang sama menggunakan dua metodologi pengukuran yang berbeda (cookie pihak ketiga + data cookie non-pihak ketiga dan ARA + data cookie non-pihak ketiga).
  • Eksperimen A/A juga mengisolasi dampak Attribution Reporting API terhadap pengukuran konversi (misalnya, eksperimen ini menghindari perubahan pada rasio konversi karena tidak adanya cookie pihak ketiga).

Poin analisis yang disarankan

  • Pilih bagian traffic yang cukup besar untuk mendapatkan hasil yang signifikan secara statistik dan memiliki cookie pihak ketiga serta API Privacy Sandbox. Idealnya, ini adalah semua traffic, kecuali Mode B (yang menonaktifkan cookie pihak ketiga).
    • Sebaiknya kecualikan Mode B dari eksperimen A/A, karena cookie pihak ketiga tidak akan tersedia dan Anda tidak akan dapat membandingkan hasil ARA dengan hasil atribusi berbasis cookie pihak ketiga.
    • Jika ingin menyertakan Mode B, Anda harus mempertimbangkan untuk mengaktifkan laporan debug untuk bagian traffic Mode B. Laporan debug akan membantu Anda memecahkan masalah konfigurasi atau penerapan.
  • Jika Anda berencana untuk melakukan pengujian pada sebagian kecil traffic, kami memperkirakan Anda akan menerima hasil pengukuran yang lebih berisik dari yang diharapkan. Sebaiknya catat dalam analisis Anda pecahan traffic yang digunakan dan apakah Anda melaporkan hasil berdasarkan laporan yang berisi derau atau laporan debug yang tidak berisi derau.
    • Untuk laporan ringkasan, nilai ringkasan Anda kemungkinan akan lebih rendah, dan Layanan Agregasi akan menambahkan derau dari distribusi yang sama, terlepas dari nilai ringkasannya.
  • Uji berbagai metodologi pengukuran pada bagian traffic tersebut
    • Kontrol 1 - Menggunakan metodologi pengukuran saat ini (cookie pihak ketiga + data cookie non-pihak ketiga)
    • (opsional) Kontrol 2 - tidak ada Privacy Sandbox dan tidak ada cookie pihak ketiga, yaitu, hanya data cookie non-pihak ketiga
      • Perhatikan bahwa mungkin ada beberapa cookie pihak ketiga yang masih tersedia untuk beberapa situs. Untuk mendapatkan hasil yang paling akurat, jangan gunakan cookie pihak ketiga tersebut untuk pengukuran dalam metodologi Kontrol 2 atau Perlakuan
    • Perlakuan - API Privacy Sandbox dan data cookie non-pihak ketiga
      • Perhatikan bahwa mungkin ada beberapa cookie pihak ketiga yang masih tersedia untuk beberapa situs. Untuk mendapatkan hasil yang paling akurat, jangan gunakan cookie pihak ketiga tersebut untuk pengukuran dalam metodologi Kontrol 2 atau Perlakuan

Metrik

  • Tentukan metrik yang sesuai bagi bisnis Anda untuk mengukur hasil, dan sertakan deskripsi tentang arti metrik dan cara mengukurnya.
    • Sebaiknya fokuslah pada dimensi dan metrik yang penting bagi pengiklan Anda. Misalnya, jika pengiklan Anda berfokus pada konversi pembelian, ukur jumlah konversi untuk konversi tersebut dan nilai pembelian.
  • Metrik berdasarkan jumlah atau jumlah (misalnya, rasio konversi) lebih ideal untuk digunakan dibandingkan dengan biaya per (misalnya, biaya per konversi). Untuk analisis A/A, metrik biaya dapat sepenuhnya berasal dari jumlah atau jumlah nilai konversi.
  • Tentukan apakah metrik didasarkan pada Laporan Tingkat Peristiwa, Laporan Ringkasan, atau kombinasi dari kedua laporan tersebut (dan apakah laporan debug digunakan).
  • Lihat tabel template yang disarankan untuk mendapatkan panduan tentang cara memformat masukan kuantitatif.

Analisis

  • Cakupan:
    • Apakah Anda dapat melakukan pengukuran di seluruh kumpulan pengguna yang serupa dibandingkan dengan cookie pihak ketiga? Apakah Anda melihat cakupan yang lebih tinggi (misalnya dengan aplikasi ke web)?
    • Apakah Anda dapat mengukur konversi (dan dimensi atau metrik) yang paling penting bagi Anda atau pengiklan?
  • Masukan kuantitatif
    • Pada pelaporan pengiklan, misalnya, persentase konversi utama yang dapat Anda laporkan untuk pengiklan tersebut, atau persentase kampanye yang memenuhi nilai minimum pelaporan (menghasilkan nilai minimum pelaporan membantu menyesuaikan kampanye dengan jumlah konversi kecil)
    • Dibagi menurut pengiklan, misalnya, apakah ada beberapa pengiklan yang lebih atau kurang bergantung pada cookie pihak ketiga untuk pelaporan saat ini?
  • Masukan kualitatif lainnya:
    • Bagaimana pengaruh ARA terhadap kompleksitas penyiapan pengukuran/atribusi pengiklan?
    • Apakah ARA membantu atau menghambat pengiklan dalam berfokus pada metrik dan sasaran yang penting bagi mereka?

Tabel template yang disarankan untuk melaporkan dampak

(Pelaporan) Tabel 1:

Contoh tabel template untuk melaporkan hasil eksperimen ke CMA (diambil dari halaman 18, tetapi penguji harus mempertimbangkan metrik yang paling bermakna / dapat diberikan dan menyesuaikan tabel sesuai kebutuhan).

Perlakuan vs Kontrol 1
Membandingkan status akhir yang diusulkan dengan status saat ini 		Perlakuan vs Kontrol 2
Membandingkan status akhir yang diusulkan tanpa PS API sama sekali. 		Kontrol 2 vs Kontrol 1
Membandingkan pengukuran konversi dengan dan tanpa cookie pihak ketiga, tanpa API PS.
Metodologi Pengukuran Membandingkan pengukuran konversi untuk Perlakuan (ARA dengan data cookie non-pihak ketiga) dengan Kontrol 1 (data cookie pihak ketiga dan non-pihak ketiga) Membandingkan pengukuran konversi untuk Perlakuan (ARA dengan data cookie non-pihak ketiga) dengan Kontrol 2 (khusus data cookie non-pihak ketiga) Membandingkan pengukuran konversi untuk Kontrol 2 (khusus data cookie non-pihak ketiga) dengan Kontrol 1 (data cookie pihak ketiga dan non-pihak ketiga)
Konversi per dolar Efek Efek Efek
Kesalahan baku Kesalahan baku Kesalahan baku
Interval keyakinan 95% Interval keyakinan 95% Interval keyakinan 95%
Total konversi Efek Efek Efek
Kesalahan baku Kesalahan baku Kesalahan baku
Interval keyakinan 95% Interval keyakinan 95% Interval keyakinan 95%
Rasio konversi Efek Efek Efek
Kesalahan baku Kesalahan baku Kesalahan baku
Interval keyakinan 95% Interval keyakinan 95% Interval keyakinan 95%
(tambahkan metrik Anda sendiri)
(Pelaporan) Tabel 2:

Contoh tabel template untuk melaporkan statistik deskriptif untuk metrik dalam grup perlakuan dan kontrol (diambil dari halaman 20, tetapi penguji harus mempertimbangkan metrik yang paling bermakna / dapat diberikan dan menyesuaikan tabel sesuai kebutuhan).

Metrik Penanganan
Pengukuran konversi menggunakan ARA dan data cookie non-pihak ketiga yang Anda gunakan 		Kontrol 1
Pengukuran konversi menggunakan cookie pihak ketiga dan data cookie non-pihak ketiga yang Anda gunakan 		Kontrol 2
Pengukuran konversi hanya menggunakan data cookie non-pihak ketiga
Konversi per dolar Rata-rata Rata-rata Rata-rata
Simpangan baku Simpangan baku Simpangan baku
Persentil ke-25 dan ke-75 Persentil ke-25 dan ke-75 Persentil ke-25 dan ke-75
Total konversi Rata-rata Rata-rata Rata-rata
Simpangan baku Simpangan baku Simpangan baku
Persentil ke-25 dan ke-75 Persentil ke-25 dan ke-75 Persentil ke-25 dan ke-75
Rasio konversi Rata-rata Rata-rata Rata-rata
Simpangan baku Simpangan baku Simpangan baku
Persentil ke-25 dan ke-75 Persentil ke-25 dan ke-75 Persentil ke-25 dan ke-75
(tambahkan metrik Anda sendiri)

Sasaran 2 - Menentukan keefektifan Attribution Reporting API untuk pengoptimalan bidding

Kami mengusulkan penyiapan A/B untuk mengukur dampaknya terhadap pengoptimalan bidding.

  • Untuk mengukur dampak terhadap pengoptimalan bidding, Anda harus melatih dua model machine learning yang berbeda dan menggunakannya pada dua bagian traffic - satu model yang dilatih dengan metodologi pengukuran saat ini (cookie pihak ketiga + data non-cookie pihak ketiga) yang akan diterapkan ke grup kontrol, dan satu model yang dilatih dengan Attribution Reporting API + data non-cookie pihak ketiga yang akan diterapkan ke grup perlakuan.
  • Pelatihan model harus didasarkan pada traffic sebanyak yang dianggap perlu oleh penguji untuk memaksimalkan performa, meskipun grup perlakuan adalah bagian traffic yang lebih kecil dan ada tumpang-tindih antara populasi pelatihan (misalnya, gunakan model cookie pihak ketiga yang ada yang dilatih di semua traffic, dan latih model ARA di semua traffic ARA yang diaktifkan untuk Sasaran 1).
    • Jika mengirimkan hasil ke CMA, perhatikan apakah ada perbedaan yang signifikan antara slice traffic yang digunakan untuk melatih model yang berbeda (misalnya, jika model berbasis cookie pihak ketiga dilatih pada 100% traffic, tetapi model berbasis ARA hanya dilatih pada 1% traffic).
  • Jika memungkinkan, pelatihan untuk model bidding perlakuan dan kontrol harus berlangsung selama jangka waktu yang sama.
  • Pertimbangkan apakah Anda harus terus melatih dan memperbarui model bidding selama eksperimen, dan jika ya, apakah Anda harus melatih dengan traffic sebanyak mungkin atau hanya dengan traffic dari grup perlakuan dan kontrol.
  • Model yang berbeda harus digunakan pada bagian traffic yang terpisah sebagai eksperimen A/B. Untuk pengacakan dan penetapan pengguna di seluruh grup perlakuan dan kontrol, sebaiknya gunakan grup browser berlabel yang difasilitasi Chrome (Mode A) atau jalankan eksperimen Anda sendiri dengan kumpulan browser acak. Sebaiknya jangan gunakan Mode B karena tidak adanya cookie pihak ketiga akan menyulitkan pelaporan metrik berbasis konversi.
    • Grup browser yang difasilitasi Chrome akan mengecualikan beberapa instance Chrome seperti pengguna Chrome Enterprise, sedangkan kumpulan browser acak Anda sendiri mungkin tidak mengecualikan instance Chrome ini. Oleh karena itu, Anda harus menjalankan eksperimen hanya di grup Mode A, atau hanya di grup non-Mode A/Mode B untuk menghindari perbandingan metrik yang diperoleh di grup yang difasilitasi Chrome dengan metrik yang diperoleh di luar grup yang difasilitasi Chrome.
    • Jika tidak menggunakan grup browser berlabel yang difasilitasi Chrome (misalnya, menjalankan eksperimen pada traffic lain):
      • Verifikasi bahwa pemisahan pengguna untuk perlakuan dan kontrol dilakukan secara acak dan tidak bias. Apa pun penyiapan grup eksperimen, evaluasi karakteristik grup perlakuan dan kontrol untuk memverifikasi bahwa grup perlakuan dan kontrol sebanding. (Lihat: Bagian 15)
      • Pastikan karakteristik pengguna dan konfigurasi kampanye grup perlakuan dan kontrol sama (misalnya, gunakan geo yang serupa di grup perlakuan dan kontrol). (Lihat: Bagian 28)
        • Contoh spesifiknya meliputi: memverifikasi bahwa jenis konversi serupa diukur menggunakan periode atribusi dan logika atribusi yang sama, kampanye menargetkan audiens, grup minat, dan wilayah geografis yang serupa, serta menggunakan teks iklan dan format iklan yang serupa.
      • √ bahwa ukuran populasi awal untuk grup perlakuan dan kontrol cukup besar untuk memiliki fleksibilitas dalam bidding dan eksperimen.
    • Jika menggunakan grup browser berlabel yang difasilitasi Chrome (Mode A), pengacakan instance browser Chrome ke grup ditangani oleh Chrome. Sebaiknya periksa, seperti sebelumnya, apakah randomisasi menghasilkan grup yang tidak bias / sebanding untuk tujuan Anda.

Poin analisis yang disarankan

  • Sebaiknya tentukan grup kontrol dan perlakuan, serta gunakan model machine learning yang berbeda untuk pengoptimalan bidding untuk setiap grup:
    • Kontrol 1 - Menggunakan model pengoptimalan bidding yang dilatih dengan metodologi pengukuran saat ini (cookie pihak ketiga + data cookie non-pihak ketiga)
    • (opsional) Kontrol 2 - Gunakan model pengoptimalan bidding yang dilatih tanpa Privacy Sandbox dan tanpa cookie pihak ketiga, yaitu, hanya data cookie non-pihak ketiga
      • Perhatikan bahwa mungkin ada beberapa cookie pihak ketiga yang masih tersedia untuk beberapa situs. Untuk mendapatkan hasil yang paling akurat, jangan gunakan cookie pihak ketiga tersebut untuk pengukuran dalam metodologi Kontrol 2 atau Perlakuan.
    • Perlakuan - Menggunakan model pengoptimalan bidding yang dilatih pada Attribution Reporting API dan data cookie non-pihak ketiga
      • Perhatikan bahwa mungkin ada beberapa cookie pihak ketiga yang masih tersedia untuk beberapa situs. Untuk mendapatkan hasil yang paling akurat, jangan gunakan cookie pihak ketiga tersebut untuk pengukuran dalam metodologi Kontrol 2 atau Perlakuan.

Metrik

  • Tentukan metrik yang sesuai bagi bisnis Anda untuk mengukur hasil, dan sertakan deskripsi tentang arti metrik dan cara mengukurnya.
    • Misalnya, metrik yang bermakna dapat berupa pembelanjaan (pendapatan penayang), yang selaras dengan panduan CMA untuk memahami dampak penghentian penggunaan cookie pihak ketiga terhadap "Pendapatan per tayangan iklan". Lihat Bagian 19 untuk mengetahui detail selengkapnya.
  • Jika melaporkan metrik berbasis konversi, Anda harus menggunakan metodologi pengukuran yang sama untuk setiap grup, untuk menghindari pengujian multivariabel (menguji dampak pada pengoptimalan dan pelaporan dalam satu eksperimen). Lihat tabel template yang disarankan untuk mendapatkan panduan tentang cara memformat masukan kuantitatif.
  • Pertimbangkan cara lain untuk mengumpulkan metrik tentang dampak pengoptimalan bidding - misalnya, menggunakan simulasi bid. Apakah ada metrik simulasi yang akan berguna untuk memahami dampak cookie pihak ketiga dan ARA terhadap model bidding Anda?
  • Tentukan apakah metrik didasarkan pada Laporan Tingkat Peristiwa, Laporan Ringkasan, atau kombinasi dari kedua laporan tersebut (dan apakah laporan debug digunakan).

Analisis

  • Cakupan:
    • Apakah Anda dapat melakukan pengukuran di seluruh kumpulan pengguna yang serupa dibandingkan dengan cookie pihak ketiga? Apakah Anda melihat perubahan cakupan (misalnya dengan aplikasi ke web)?
    • Dapatkah Anda mengukur konversi (dan dimensi/metrik) yang paling penting bagi Anda atau pengiklan?
  • Bagaimana perbedaan antara grup akan memengaruhi hal berikut:
    • Pelaporan pengiklan, misalnya, persentase konversi utama yang dapat Anda laporkan.
    • Pelatihan dan pengoptimalan, misalnya, menyimulasikan dampak berbagai data konversi terhadap performa model.
  • Masukan kualitatif lainnya:
    • Bagaimana pengaruh ARA terhadap kompleksitas penyiapan pengoptimalan bidding pengiklan?
    • Apakah ARA membantu atau menghambat pengiklan untuk berfokus pada metrik dan sasaran yang penting bagi mereka?

Tabel template yang disarankan untuk dampak bidding

(Bidding) Tabel 1:

Contoh tabel template hasil eksperimen yang harus dikirimkan peserta pasar ke CMA (diambil dari halaman 18, tetapi penguji harus mempertimbangkan metrik yang paling bermakna / dapat diberikan dan menyesuaikan tabel sesuai kebutuhan).

Perlakuan vs Kontrol 1
Membandingkan status akhir yang diusulkan dengan status saat ini 		Perlakuan vs Kontrol 2
Membandingkan status akhir yang diusulkan tanpa PS API sama sekali. 		Kontrol 2 vs Kontrol 1
Membandingkan pengoptimalan bidding dengan dan tanpa cookie pihak ketiga, tanpa API PS.
Metodologi Pengukuran Untuk menghindari pengujian multi-variasi, gunakan data cookie pihak ketiga dan data cookie non-pihak ketiga untuk mengukur metrik berbasis konversi untuk kedua grup eksperimen dalam setiap eksperimen.
Pendapatan per tayangan iklan Efek Efek Efek
Kesalahan baku Kesalahan baku Kesalahan baku
Interval keyakinan 95% Interval keyakinan 95% Interval keyakinan 95%
(Tambahkan metrik Anda sendiri)
(Bidding) Tabel 2:

Contoh tabel template untuk melaporkan statistik deskriptif untuk metrik dalam grup perlakuan dan kontrol (diambil dari halaman 20, tetapi penguji harus mempertimbangkan metrik yang paling bermakna / dapat diberikan dan menyesuaikan tabel sesuai kebutuhan).

Penanganan
Pengoptimalan bidding menggunakan ARA dan data cookie non-pihak ketiga yang Anda gunakan 		Kontrol 1
Pengoptimalan bidding menggunakan cookie pihak ketiga dan data cookie non-pihak ketiga yang Anda gunakan 		Kontrol 2
Pengoptimalan bidding hanya menggunakan data cookie non-pihak ketiga
Metodologi Pengukuran Untuk menghindari pengujian multivariabel, gunakan data cookie pihak ketiga dan data cookie non-pihak ketiga untuk mengukur metrik berbasis konversi di semua grup.
Pendapatan per tayangan iklan Rata-rata Rata-rata Rata-rata
Simpangan baku Simpangan baku Simpangan baku
Persentil ke-25 dan ke-75 Persentil ke-25 dan ke-75 Persentil ke-25 dan ke-75
(tambahkan metrik Anda sendiri)

Sasaran 3 - Pengujian beban Layanan Agregasi

Lihat Framework Pengujian Beban Layanan Agregasi.