Panduan pengujian pengukuran

Tujuan panduan ini adalah memberikan panduan tentang cara menjalankan pengujian mandiri Attribution Reporting API Privacy Sandbox. Untuk mengetahui detail selengkapnya, lihat: Bagian 12.

• Pengukuran hasil grup kontrol dan grup perlakuan dalam desain eksperimental CMA 1 dan 2 dibahas dalam Panduan pengujian Relevance API, karena tujuan eksperimen tersebut adalah untuk menguji keefektifan penggunaan Protected Audience & Topics. Untuk mengetahui detail selengkapnya, lihat Bagian 11.

Sebelum memulai

• Tinjau panduan tentang cara mengonfigurasi dan menyiapkan Attribution Reporting API.
• Tinjau panduan pengujian CMA: Catatan eksperimen (November 2022), Panduan pengujian (Juni 2023), dan Panduan pengujian tambahan (Oktober 2023).

Tujuan evaluasi dan penyiapan eksperimen yang diusulkan

Tujuan 1 - Menentukan efikasi Attribution Reporting API untuk pelaporan

Kami mengusulkan penyiapan A/A untuk mengukur dampak pada pelaporan

• Proposal ini sesuai dengan panduan CMA tentang evaluasi metrik berbasis konversi. Untuk mengetahui detail selengkapnya, lihat Bagian 21 dan Bagian 12.
• Kami lebih memilih metode ini daripada Mode A/B karena pengujian Attribution Reporting API (ARA) dapat dilakukan dengan mengukur konversi secara bersamaan pada kumpulan tayangan iklan yang sama menggunakan dua metodologi pengukuran yang berbeda (data cookie pihak ketiga + data non-cookie pihak ketiga dan data ARA + data non-cookie pihak ketiga).
• Eksperimen A/A juga mengisolasi dampak Attribution Reporting API pada pengukuran konversi (misalnya, eksperimen ini menghindari perubahan pada rasio konversi karena tidak adanya cookie pihak ketiga).

Poin analisis yang disarankan

• Pilih sebagian kecil traffic yang cukup besar untuk mendapatkan hasil yang signifikan secara statistik dan memiliki cookie pihak ketiga serta API Privacy Sandbox. Idealnya, semua traffic ini, kecuali Mode B (yang menonaktifkan cookie pihak ketiga).
  • Sebaiknya kecualikan Mode B dari eksperimen A/A, karena cookie pihak ketiga tidak akan tersedia dan Anda tidak akan dapat membandingkan hasil ARA dengan hasil atribusi berbasis cookie pihak ketiga.
  • Jika ingin menyertakan Mode B, Anda harus mempertimbangkan mengaktifkan laporan debug untuk slice traffic Mode B. Laporan debug akan membantu Anda memecahkan masalah konfigurasi atau penerapan.
• Jika Anda berencana melakukan pengujian pada sebagian kecil traffic, kami memperkirakan Anda akan menerima hasil pengukuran yang lebih berisik dari yang diharapkan. Sebaiknya catat dalam analisis Anda berapa fraksi traffic yang digunakan dan apakah Anda melaporkan hasil berdasarkan laporan yang diberi derau atau laporan debug yang tidak diberi derau.
  • Untuk laporan ringkasan, nilai ringkasan Anda kemungkinan akan lebih rendah, dan Layanan Agregasi akan menambahkan derau dari distribusi yang sama, terlepas dari nilai ringkasan.
• Uji berbagai metodologi pengukuran pada bagian traffic tersebut
  • Kontrol 1 - Menggunakan metodologi pengukuran saat ini (data cookie pihak ketiga + data non-cookie pihak ketiga)
  • (opsional) Kontrol 2 - tanpa Privacy Sandbox dan tanpa cookie pihak ketiga, yaitu hanya data cookie non-pihak ketiga
    • Perhatikan bahwa mungkin masih ada beberapa cookie pihak ketiga yang tersedia untuk beberapa situs. Untuk hasil yang paling akurat, jangan gunakan cookie pihak ketiga tersebut untuk pengukuran dalam metodologi Kontrol 2 atau Perlakuan
  • Perlakuan - Data API Privacy Sandbox dan cookie non-pihak ketiga
    • Perhatikan bahwa mungkin masih ada beberapa cookie pihak ketiga yang tersedia untuk beberapa situs. Untuk hasil yang paling akurat, jangan gunakan cookie pihak ketiga tersebut untuk pengukuran dalam metodologi Kontrol 2 atau Perlakuan

Metrik

• Tentukan metrik yang sesuai untuk bisnis Anda dalam mengukur hasil, dan sertakan deskripsi tentang arti metrik tersebut dan cara pengukurannya.
  • Sebaiknya fokus pada dimensi dan metrik yang penting bagi pengiklan Anda. Misalnya, jika pengiklan Anda berfokus pada konversi pembelian, ukur jumlah konversi untuk konversi tersebut dan nilai pembelian.
• Metrik berdasarkan jumlah atau total (misalnya, rasio konversi) lebih ideal untuk digunakan dibandingkan dengan biaya per (misalnya, biaya per konversi). Untuk analisis A/A, metrik biaya dapat sepenuhnya berasal dari nilai konversi jumlah atau jumlah.
• Tentukan apakah metrik didasarkan pada Laporan Tingkat Peristiwa, Laporan Ringkasan, atau kombinasi kedua laporan (dan apakah laporan debug digunakan).
• Lihat tabel template yang disarankan untuk mendapatkan panduan tentang cara memformat masukan kuantitatif.

Analisis

• Cakupan:
  • Apakah Anda dapat melakukan pengukuran di seluruh kumpulan pengguna yang serupa dibandingkan dengan cookie pihak ketiga? Apakah Anda melihat cakupan yang lebih tinggi (misalnya dengan app-to-web)?
  • Apakah Anda dapat mengukur konversi (dan dimensi atau metrik) yang paling penting bagi Anda atau pengiklan Anda?
• Masukan kuantitatif
  • Misalnya, di pelaporan pengiklan, berapa persentase konversi utama yang dapat Anda laporkan untuk pengiklan tersebut, atau berapa persentase kampanye yang memenuhi standar kualitas pelaporan (menentukan standar kualitas membantu menyesuaikan kampanye dengan jumlah konversi yang kecil)
  • Misalnya, jika dikelompokkan menurut pengiklan, apakah ada pengiklan yang lebih atau kurang bergantung pada cookie pihak ketiga untuk pelaporan saat ini?
• Masukan kualitatif lainnya:
  • Bagaimana pengaruh ARA terhadap kompleksitas penyiapan pengukuran/atribusi pengiklan?
  • Apakah ARA membantu atau menghambat pengiklan dalam berfokus pada metrik dan sasaran yang penting bagi mereka?

Tabel template yang disarankan untuk melaporkan dampak

(Pelaporan) Tabel 1:

Contoh tabel template untuk melaporkan hasil eksperimen kepada CMA (diambil dari halaman 18, tetapi penguji harus mempertimbangkan metrik mana yang paling bermakna / layak untuk diberikan dan menyesuaikan tabel sesuai kebutuhan).

(Pelaporan) Tabel 2:

Contoh tabel template untuk melaporkan statistik deskriptif untuk metrik dalam grup perlakuan dan kontrol (diambil dari halaman 20, tetapi penguji harus mempertimbangkan metrik mana yang paling bermakna / layak untuk diberikan dan menyesuaikan tabel sesuai kebutuhan).

Sasaran 2 - Menentukan efikasi Attribution Reporting API untuk pengoptimalan bidding

Kami mengusulkan penyiapan A/B untuk mengukur dampak pada pengoptimalan bidding.

• Untuk mengukur dampak pada pengoptimalan bidding, Anda harus melatih dua model machine learning yang berbeda dan menggunakannya pada dua bagian traffic - satu model yang dilatih dengan metodologi pengukuran saat ini (cookie pihak ketiga + data non-cookie pihak ketiga) untuk diterapkan pada grup kontrol, dan satu model yang dilatih dengan Attribution Reporting API + data non-cookie pihak ketiga untuk diterapkan pada grup perlakuan.
• Pelatihan model harus didasarkan pada sebanyak mungkin traffic yang dianggap perlu oleh penguji untuk memaksimalkan performa, meskipun grup perlakuan adalah sebagian kecil traffic dan ada tumpang-tindih antara populasi pelatihan (misalnya, gunakan model cookie pihak ketiga yang ada yang melatih semua traffic, dan latih model ARA pada semua traffic ARA yang diaktifkan untuk Sasaran 1).
  • Jika mengirimkan hasil ke CMA, perhatikan apakah ada perbedaan signifikan antara slice traffic yang digunakan untuk melatih model yang berbeda (misalnya, jika model berbasis cookie pihak ketiga dilatih pada 100% traffic, tetapi model berbasis ARA hanya dilatih pada 1% traffic).
• Jika memungkinkan, pelatihan untuk model bidding perlakuan dan kontrol harus dilakukan selama jangka waktu yang sama.
• Pertimbangkan apakah Anda harus terus melatih dan memperbarui model bidding selama eksperimen, dan jika ya, apakah Anda harus melatih dengan traffic sebanyak mungkin atau hanya dengan traffic dari grup perlakuan dan kontrol.
• Model yang berbeda harus digunakan pada slice traffic yang terpisah sebagai eksperimen A/B. Untuk pengacakan dan penugasan pengguna di seluruh grup perlakuan dan kontrol, sebaiknya gunakan grup browser berlabel yang difasilitasi Chrome (Mode A) atau jalankan eksperimen Anda sendiri dengan kumpulan browser acak. Sebaiknya jangan gunakan Mode B karena tidak adanya cookie pihak ketiga akan mempersulit pelaporan metrik berbasis konversi.
  • Grup browser yang difasilitasi Chrome akan mengecualikan beberapa instance Chrome seperti pengguna Chrome Enterprise, yang mana kumpulan browser acak Anda sendiri mungkin tidak mengecualikan instance Chrome ini. Oleh karena itu, Anda harus menjalankan eksperimen hanya pada grup Mode A, atau hanya pada grup non-Mode A/Mode B untuk menghindari perbandingan metrik yang diperoleh di grup yang difasilitasi Chrome dengan metrik yang diperoleh di luar grup yang difasilitasi Chrome.
  • Jika tidak menggunakan grup browser berlabel yang difasilitasi Chrome (misalnya, menjalankan eksperimen pada traffic lain):
    • Pastikan pembagian pengguna untuk grup perlakuan dan kontrol dilakukan secara acak dan tidak bias. Terlepas dari penyiapan grup eksperimen, evaluasi karakteristik grup perlakuan dan kontrol untuk memverifikasi bahwa grup perlakuan dan kontrol dapat dibandingkan. (Lihat: Bagian 15)
    • Pastikan karakteristik pengguna dan konfigurasi kampanye grup perlakuan dan kontrol sama (misalnya, gunakan geografi yang serupa di grup perlakuan dan kontrol). (Lihat: Pasal 28)
      • Contoh spesifiknya mencakup: pastikan jenis konversi serupa diukur menggunakan jendela atribusi dan logika atribusi yang sama, kampanye menargetkan audiens, grup minat, dan geografi yang serupa serta menggunakan teks iklan dan format iklan yang serupa.
    • √ ukuran populasi awal untuk grup perlakuan dan kontrol cukup besar untuk memiliki fleksibilitas dalam bidding dan eksperimen.
  • Jika menggunakan grup browser berlabel yang difasilitasi Chrome (Mode A), pengacakan instance browser Chrome ke grup ditangani oleh Chrome. Sebaiknya Anda memeriksa, seperti sebelumnya, bahwa hasil pengacakan menghasilkan grup yang tidak bias / dapat dibandingkan untuk tujuan Anda.

Poin analisis yang disarankan

• Sebaiknya tentukan grup kontrol dan perlakuan, serta gunakan model machine learning yang berbeda untuk pengoptimalan bidding pada setiap grup:
  • Kontrol 1 - Menggunakan model pengoptimalan bidding yang dilatih dengan metodologi pengukuran saat ini (data cookie pihak ketiga + data non-cookie pihak ketiga)
  • (opsional) Kontrol 2 - Menggunakan model pengoptimalan bidding yang dilatih tanpa Privacy Sandbox dan tanpa cookie pihak ketiga, yaitu hanya data non-cookie pihak ketiga
    • Perhatikan bahwa mungkin masih ada beberapa cookie pihak ketiga yang tersedia untuk beberapa situs. Untuk hasil yang paling akurat, jangan gunakan cookie pihak ketiga tersebut untuk pengukuran dalam metodologi Kontrol 2 atau Perlakuan.
  • Perlakuan - Menggunakan model pengoptimalan bidding yang dilatih dengan data Attribution Reporting API dan cookie non-pihak ketiga
    • Perhatikan bahwa mungkin masih ada beberapa cookie pihak ketiga yang tersedia untuk beberapa situs. Untuk hasil yang paling akurat, jangan gunakan cookie pihak ketiga tersebut untuk pengukuran dalam metodologi Kontrol 2 atau Perlakuan.

Metrik

• Tentukan metrik yang sesuai untuk bisnis Anda dalam mengukur hasil, dan sertakan deskripsi tentang arti metrik tersebut dan cara pengukurannya.
  • Misalnya, metrik yang bermakna dapat berupa pembelanjaan (pendapatan penayang), yang selaras dengan panduan CMA untuk memahami dampak penghentian penggunaan cookie pihak ketiga terhadap "Pendapatan per tayangan iklan". Lihat Pasal 19 untuk mengetahui detail selengkapnya.
• Jika melaporkan metrik berbasis konversi, Anda harus menggunakan metodologi pengukuran yang sama untuk setiap grup, untuk menghindari pengujian multivariat (menguji dampak pada pengoptimalan dan pelaporan dalam satu eksperimen). Lihat tabel template yang disarankan untuk mendapatkan panduan tentang cara memformat masukan kuantitatif.
• Pertimbangkan cara lain untuk mengumpulkan metrik tentang dampak pengoptimalan bidding - misalnya, menggunakan simulasi bid. Apakah ada metrik simulasi yang berguna untuk memahami dampak cookie pihak ketiga dan ARA pada model bidding Anda?
• Tentukan apakah metrik didasarkan pada Laporan Tingkat Peristiwa, Laporan Ringkasan, atau kombinasi kedua laporan (dan apakah laporan debug digunakan).

Analisis

• Cakupan:
  • Apakah Anda dapat melakukan pengukuran di seluruh kumpulan pengguna yang serupa dibandingkan dengan cookie pihak ketiga? Apakah Anda melihat perubahan cakupan (misalnya dengan app-to-web)?
  • Apakah Anda dapat mengukur konversi (dan dimensi/metrik) yang paling penting bagi Anda atau pengiklan Anda?
• Bagaimana perbedaan antara grup akan memengaruhi hal berikut:
  • Pelaporan pengiklan, misalnya, persentase konversi utama yang dapat Anda laporkan.
  • Pelatihan dan pengoptimalan, misalnya, menyimulasikan dampak data konversi yang berbeda terhadap performa model.
• Masukan kualitatif lainnya:
  • Bagaimana pengaruh ARA terhadap kompleksitas penyiapan pengoptimalan bidding pengiklan?
  • Apakah ARA membantu atau menghalangi pengiklan untuk berfokus pada metrik dan sasaran yang penting bagi mereka?

Tabel template yang disarankan untuk dampak bidding

(Bidding) Tabel 1:

Contoh tabel template hasil eksperimen yang harus dikirimkan peserta pasar kepada CMA (diambil dari halaman 18, tetapi penguji harus mempertimbangkan metrik mana yang paling bermakna / dapat diberikan dan menyesuaikan tabel sesuai kebutuhan).

(Bidding) Tabel 2:

Contoh tabel template untuk melaporkan statistik deskriptif untuk metrik dalam grup perlakuan dan kontrol (diambil dari halaman 20, tetapi penguji harus mempertimbangkan metrik mana yang paling bermakna / layak untuk diberikan dan menyesuaikan tabel sesuai kebutuhan).

Tujuan 3 - Menguji beban Layanan Agregasi

Lihat Framework Pengujian Beban Layanan Agregasi.