Framework pengujian beban Layanan Agregasi

Kami menantikan masukan Anda terkait dokumen ini saat kami bersiap untuk menambahkannya ke repositori panduan publik kami.

Sebaiknya teknologi iklan menjalankan pengujian beban pada 100% traffic produksi:

1. Teknologi iklan harus mengakses pengukuran Atribusi Konversi menggunakan Attribution Reporting API sebagai kasus penggunaan pelaporan mereka.
2. Teknologi iklan harus membuat keputusan desain sambil meminimalkan gangguan (referensi: keputusan desain yang dimodelkan)
3. Selama pengujian, teknologi iklan harus melacak jumlah tugas yang dijalankan per hari (misalnya, tugas per pengiklan), perkiraan distribusi volume peristiwa konversi dan jumlah kunci gabungan sebagai input per tugas pemrosesan (lihat parameter tugas output_domain_blob_prefix dalam dokumentasi Aggregation Service API), dan perkiraan rata-rata peristiwa konversi per laporan input.
4. Untuk pengujian, teknologi iklan harus mencari jenis instance yang direkomendasikan dari tabel panduan penentuan ukuran berdasarkan ukuran tugas yang diharapkan (yaitu, volume laporan, ukuran domain) dan menentukan ukuran layanan agregasi yang di-deploy dengan tepat. Referensi: Panduan penentuan ukuran untuk Aggregated Service di AWS
5. Teknologi iklan harus menjalankan tugas agregasi untuk pengujian beban.

Sasaran

Panduan ini khusus untuk pengukuran atribusi konversi gabungan dan akan menyertakan petunjuk penyiapan dan konfigurasi utama yang ditujukan untuk digunakan oleh teknologi iklan untuk:

• Perkirakan ekspektasi pemuatan untuk pengukuran atribusi konversi gabungan.
• Mengoptimalkan penyiapan dan konfigurasi utama untuk performa dan derau berdasarkan dimensi dan sasaran yang ingin diukur, serta ukuran dan segmentasi pengiklan.

Prasyarat

Panduan ini ditujukan untuk audiens teknologi iklan. Sebelum mengikuti langkah-langkah berikut, Anda harus meninjau dokumentasi kami tentang menangani derau, keputusan desain laporan ringkasan, dan bereksperimen dengan lab derau untuk mendapatkan konfigurasi yang optimal.

Langkah

1. Strategi penyiapan kunci agregasi awal

Tentukan jumlah struktur kunci yang berbeda (yaitu, kumpulan dimensi) yang Anda butuhkan berdasarkan jenis dan tujuan bisnis Anda. Perhatikan bahwa mengoptimalkan struktur utama dapat membantu mengurangi noise dalam laporan.

Jumlah pengiklan yang Anda miliki
Misalnya, Anda memiliki 1.000 pengiklan.

Kesamaan antara pengiklan Anda
Kesamaan harus dinilai berdasarkan volume konversi, nilai konversi relatif, dan cakupan umum karakteristik pengiklan. Semakin mirip pengelompokan yang dapat Anda lakukan, semakin akurat hasil yang akan Anda peroleh (karena lebih sedikit varians dalam nilai output), dan oleh karena itu, semakin kecil dampak noise. Lihat pengelolaan kunci lanjutan untuk mengetahui detail selengkapnya. Misalnya, teknologi iklan dapat menyegmentasikan pengiklannya menurut industri, pembelanjaan, dan volume konversi sebagai berikut:

• Industri (misalnya: Asuransi, Perhiasan, Retail Pertumbuhan)
• Pembelanjaan (misalnya: <Rp500.000.000/kuartal, Rp500.000.000-Rp1.500.000.000/kuartal, Rp1.500.000.000-Rp2.500.000.000/kuartal)
• Volume konversi (Rendah, Sedang, Tinggi)

Jumlah struktur kunci gabungan yang akan dibuat
Misalnya, 27 (3x3x3) : 3 industri, 3 jenis pembelanjaan, dan 3 pengelompokan untuk nilai konversi.

2. Mengidentifikasi dimensi kunci agregasi

Selanjutnya, identifikasi dimensi penting yang ingin Anda lacak untuk tayangan iklan dan konversi guna memperkirakan jumlah kunci sisi sumber dan pemicu.

Untuk setiap struktur kunci agregasi, dimensi penting yang perlu Anda lacak untuk tayangan iklan akan membantu Anda menentukan jumlah kunci sisi sumber. Dimensi akan bergantung pada jenis pengiklan seperti industri, pembelanjaan, atau konversi. Contoh berikut membantu menjelaskan dimensi:

• Struktur Utama 1: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = rendah)

  • J: 4 dimensi: Kampanye (misalnya: 50 kemungkinan), Grup iklan (misalnya: 20 kemungkinan), Jenis perangkat (misalnya: 5 kemungkinan), Geo (misalnya: 50 kemungkinan)
    1. Kemungkinan kombinasi dimensi = 50 x 20 x 5 x 50 = 250.000. Hal ini menunjukkan jumlah kemungkinan kombinasi dimensi untuk kunci sisi sumber bagi struktur kunci 1.
    2. Perlu mencadangkan 18 bit (18 bit = 262.144 kemungkinan kombinasi)

• Struktur Kunci 2: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = sedang)

  • J: 4 dimensi: Kampanye (misalnya: 30 kemungkinan), Grup iklan (misalnya: 80 kemungkinan), Jenis iklan (misalnya: 3 kemungkinan), Geo (misalnya: 50 kemungkinan).
    1. Kemungkinan kombinasi dimensi = 30 x 80 x 3 x 50 = 360.000. Ini menunjukkan jumlah kombinasi dimensi atau kunci sisi sumber yang mungkin untuk struktur kunci 2.
    2. Perlu mencadangkan 19 bit (19 bit) = 524.288 kemungkinan kombinasi)

• Struktur Utama 3: Ulangi (rencanakan semua Struktur Utama yang Anda miliki dengan cara yang sama)

Untuk setiap struktur kunci agregasi, dimensi penting yang perlu Anda lacak untuk konversi akan membantu Anda menentukan kunci sisi pemicu. Contoh:

• Struktur Utama 1: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = rendah)

  • J: 2 dimensi: Kategori produk (misalnya: 100 kemungkinan), Jenis konversi (misalnya: 5 kemungkinan)
    1. Kemungkinan kombinasi dimensi = 100 x 5 = 500
    2. Perlu mencadangkan 9 bit (9 bit = 512 kemungkinan kombinasi)

• Struktur Kunci 2: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = sedang)

  • J: 3 dimensi: Kategori produk (misalnya: 50 kemungkinan), Jenis produk (10 kemungkinan), Jenis konversi (3 kemungkinan)
    1. Kemungkinan kombinasi dimensi = 50 x 10 x 3 = 1.500
    2. Perlu mencadangkan 11 bit (11 bit = 2.048 kemungkinan kombinasi)

• Struktur Utama 3: Ulangi (rencanakan semua Struktur Utama yang Anda miliki dengan cara yang sama)

Estimasi untuk Kunci Agregat

• Struktur Kunci 1: 250.000 kunci tayangan iklan x 500 kunci konversi = 125.000.000 kunci
• Struktur Kunci 2: 360.000 kunci tayangan x 1.500 kunci konversi = 540.000.000 kunci
• Struktur Kunci 3: (rencanakan juga semua Struktur Kunci yang Anda miliki)
• Ulangi untuk setiap Struktur Kunci
• Kunci Agregasi Maksimum = 540.000.000 kunci (di semua struktur kunci). Perlu mencadangkan 30 bit (30 bit = 1,07 miliar kemungkinan kombinasi)

Perkiraan volume konversi

Untuk setiap struktur kunci agregasi, perkiraan volume dapat dijelaskan menggunakan contoh berikut:

• Struktur Utama 1: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = rendah)
  • J: Perkirakan bahwa Struktur Utama 1 akan mencakup pembelanjaan pengiklan senilai sekitar $500.000 selama kuartal berikutnya dengan harga CPM rata-rata $8. Antisipasi bahwa hal ini akan menghasilkan 62.500.000 tayangan yang perlu didaftarkan.
  • Perkirakan bahwa rasio konversi rata-rata tayangan iklan yang akan dihasilkan oleh Struktur Utama 1 selama kuartal berikutnya adalah 0,08%, sehingga menghasilkan 50.000 konversi yang diatribusikan yang perlu dicatat. Untuk setiap konversi, ukur nilai pembelian dan jumlah pembelian.
• Struktur Utama 2: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = sedang)
  • J: Perkirakan bahwa Key 2 akan menghasilkan pembelanjaan senilai sekitar $800.000 selama kuartal berikutnya dengan harga CPM rata-rata $10. Antisipasi bahwa hal ini akan menghasilkan 80.000.000 tayangan iklan yang perlu didaftarkan.
  • Perkirakan rasio tayangan iklan terhadap konversi rata-rata yang akan dihasilkan Key 2 selama kuartal berikutnya adalah 0,03125%, sehingga menghasilkan 25.000 konversi yang diatribusikan yang perlu dicatat. Untuk setiap konversi, ukur nilai pembelian dan jumlah pembelian.
• Ulangi untuk setiap Struktur Kunci

Frekuensi pengiriman dan pengelompokan laporan (batch per pengiklan)**

Untuk setiap struktur kunci agregasi, Anda memerlukan laporan konversi yang dikirimkan secara berulang. Sebaiknya teknologi iklan mengelompokkan menurut pengiklan (untuk pemisahan data yang lebih bersih per laporan dan agregasi yang lebih efisien) dan menggunakan kolom shared_info.scheduled_report_time laporan untuk pengelompokan.

• A: Per jam
• B: Harian
• C: Mingguan

Catatan

• Untuk pengelompokan menurut pengiklan, verifikasi SLA dengan pengiklan.

• Pengelompokan yang lebih sering akan menyertakan noise yang lebih tinggi per batch. (Lihat: Keputusan: Frekuensi batch).

• Untuk menghindari error karena pengelompokan yang salah, pastikan batch menggunakan kolom scheduled_report_time, bukan report arrival time. Misalnya: jika Anda membuat batch setiap jam, batch untuk pukul 11.00 hanya boleh menyertakan laporan dengan scheduled_report_time antara pukul 10.00 dan 11.00, dan bukan laporan yang tiba antara pukul 10.00 dan 11.00 dengan scheduled_report_time yang berbeda (misalnya: 09.00).

Estimasi Volume Laporan

• Struktur Utama 1: 50.000 konversi yang diatribusikan / 2160 (pelaporan per jam, jam dalam satu kuartal) = 24 laporan ringkasan per jam per pengiklan (24 x 1000 pengiklan = 24 ribu laporan ringkasan)
• Struktur Utama 2: 25.000 konversi yang diatribusikan / 2160 (pelaporan per jam, jam dalam satu kuartal) = 12 laporan ringkasan per jam per pengiklan (12 x 1.000 pengiklan = 12 ribu laporan ringkasan)
• Struktur Utama 3: Ulangi (Repeat)
• Jumlah total laporan ringkasan per jam = 24 laporan ringkasan untuk struktur utama 1 + 12 laporan ringkasan untuk struktur utama 2 + ... = ... per jam per pengiklan

Ringkasan masukan

Dengan memahami perkiraan berikut dari teknologi iklan, kami dapat merencanakan fitur dan peningkatan untuk mendukung skala yang diperlukan oleh teknologi iklan. Sebaiknya Anda membagikan hal berikut kepada kami. Lihat panduan penentuan ukuran untuk Layanan Agregasi di AWS untuk mengetahui informasi selengkapnya:

• Kunci domain input maksimum (kunci yang akan diagregasi) per tugas layanan agregasi
• Volume laporan input maksimum per tugas (konversi yang diatribusikan)
• Estimasi kontribusi per laporan (key/value pair dalam laporan)
• Estimasi distribusi konversi yang dikaitkan per tugas
• Estimasi distribusi kunci domain dalam tugas
• Estimasi jumlah tugas per jam/hari/minggu