Framework pengujian beban Layanan Agregasi

Kami menerima masukan Anda terkait dokumen ini saat kami bersiap untuk menambahkannya ke repositori panduan publik kami.

Sebaiknya teknologi iklan menjalankan pengujian beban pada 100% traffic produksi:

1. Teknologi iklan harus mengakses pengukuran Atribusi Konversi menggunakan Attribution Reporting API sebagai kasus penggunaan pelaporan mereka.
2. Teknologi iklan harus membuat keputusan desain sekaligus meminimalkan derau (referensi: keputusan desain yang dimodelkan)
3. Saat melakukan pengujian, teknologi iklan harus melacak jumlah tugas yang dijalankan per hari (misalnya, per tugas pengiklan), estimasi distribusi volume peristiwa konversi dan jumlah kunci gabungan sebagai input per tugas pemrosesan (lihat parameter tugas output_domain_blob_prefix dalam dokumentasi Aggregation Service API), dan estimasi peristiwa konversi rata-rata per laporan input.
4. Untuk pengujian, teknologi iklan harus mencari jenis instance yang direkomendasikan dari tabel panduan ukuran berdasarkan ukuran tugas yang diharapkan (yaitu, volume laporan, ukuran domain), dan menyesuaikan ukuran layanan agregasi yang di-deploy sesuai kebutuhan. Referensi: Panduan pengukuran untuk Layanan Gabungan di AWS
5. Teknologi iklan harus menjalankan tugas agregasi untuk pengujian beban.

Sasaran

Panduan ini khusus untuk pengukuran atribusi konversi gabungan dan akan menyertakan petunjuk penyiapan dan konfigurasi utama yang dimaksudkan untuk digunakan oleh teknologi iklan guna:

• Estimasi ekspektasi beban untuk pengukuran atribusi konversi agregat.
• Mengoptimalkan penyiapan dan konfigurasi utama untuk performa dan derau berdasarkan dimensi dan sasaran yang ingin diukur, serta ukuran dan segmentasi pengiklan mereka.

Prasyarat

Panduan ini ditujukan untuk audiens teknologi iklan. Sebelum melakukan langkah-langkah berikut, Anda harus meninjau dokumentasi kami tentang menangani derau, keputusan desain laporan ringkasan, dan bereksperimen dengan lab derau untuk mendapatkan konfigurasi yang optimal.

Langkah

1. Strategi penyiapan kunci agregasi awal

Tentukan jumlah struktur kunci (yaitu kumpulan dimensi) yang berbeda yang Anda perlukan berdasarkan jenis dan tujuan bisnis Anda. Perhatikan bahwa mengoptimalkan struktur kunci dapat membantu mengurangi derau dalam laporan.

Jumlah pengiklan yang Anda miliki
Misalnya, Anda memiliki 1.000 pengiklan.

Kesamaan antara pengiklan Anda
Kesamaan harus dinilai berdasarkan volume konversi, nilai konversi relatif, dan cakupan umum karakteristik pengiklan. Makin mirip Anda dapat mengelompokkan data, makin baik hasil yang akan diperoleh (karena variasi nilai output lebih sedikit), sehingga makin sedikit pula dampak derau. Lihat pengelolaan kunci lanjutan untuk mengetahui detail selengkapnya. Misalnya, teknologi iklan dapat menyegmentasikan pengiklannya menurut industri, pembelanjaan, dan volume konversi sebagai berikut:

• Industri (misalnya: Asuransi, Perhiasan, Retail Pertumbuhan)
• Pembelanjaan (misalnya: <$50.000/kuartal, $50.000-$150.000/kuartal, $150.000-$250.000/kuartal)
• Volume konversi (Rendah, Sedang, Tinggi)

Jumlah struktur kunci agregat yang akan dibuat
Misalnya, 27 (3x3x3) : 3 industri, 3 jenis pembelanjaan, dan 3 pengelompokan untuk nilai konversi.

2. Mengidentifikasi dimensi kunci agregasi

Selanjutnya, identifikasi dimensi penting yang ingin Anda lacak untuk tayangan dan konversi guna memperkirakan jumlah kunci sisi sumber dan pemicu.

Untuk setiap struktur kunci agregasi, dimensi penting yang perlu Anda lacak untuk tayangan iklan akan membantu Anda menentukan jumlah kunci sisi sumber. Dimensi akan bergantung pada jenis pengiklan seperti industri, pembelanjaan, atau konversi. Contoh berikut membantu menjelaskan dimensi:

• Struktur Kunci 1: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = rendah)

  • A: 4 dimensi: Kampanye (mis.: 50 kemungkinan), Grup iklan (mis.: 20 kemungkinan), Jenis perangkat (misalnya: 5 kemungkinan), Geo (misalnya: 50 kemungkinan)
    1. Kemungkinan kombinasi dimensi = 50 x 20 x 5 x 50 = 250.000. Ini menunjukkan jumlah kemungkinan kombinasi dimensi untuk kunci sisi sumber untuk struktur kunci 1.
    2. Perlu mencadangkan 18 bit (18 bit = 262.144 kemungkinan kombinasi)

• Struktur Kunci 2: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = sedang)

  • A: 4 dimensi: Kampanye (mis.: 30 kemungkinan), Grup iklan (mis.: 80 kemungkinan), Jenis iklan (mis.: 3 kemungkinan), Geo (misalnya: 50 kemungkinan).
    1. Kemungkinan kombinasi dimensi = 30 x 80 x 3 x 50 = 360.000. Ini menunjukkan jumlah kemungkinan kombinasi dimensi atau kunci sisi sumber untuk struktur kunci 2.
    2. Perlu mencadangkan 19 bit (19 bit) = 524.288 kemungkinan kombinasi)

• Struktur Kunci 3: Ulangi (secara serupa, rencanakan untuk semua Struktur Kunci yang Anda miliki)

Untuk setiap struktur kunci agregasi, dimensi penting yang perlu Anda lacak untuk konversi akan membantu Anda menentukan kunci sisi pemicu. Contoh:

• Struktur Kunci 1: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = rendah)

  • A: 2 dimensi: Kategori produk (misalnya: 100 kemungkinan), Jenis konversi (misalnya: 5 kemungkinan)
    1. Kemungkinan kombinasi dimensi = 100 x 5 = 500
    2. Perlu mencadangkan 9 bit (9 bit = 512 kemungkinan kombinasi)

• Struktur Kunci 2: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = sedang)

  • A: 3 dimensi: Kategori produk (mis.: 50 kemungkinan), Jenis produk (10 kemungkinan), Jenis konversi (3 kemungkinan)
    1. Kemungkinan kombinasi dimensi = 50 x 10 x 3 = 1.500
    2. Perlu mencadangkan 11 bit (11 bit = 2.048 kemungkinan kombinasi)

• Struktur Kunci 3: Ulangi (secara serupa, rencanakan untuk semua Struktur Kunci yang Anda miliki)

Estimasi untuk Kunci Agregat

• Struktur Kunci 1: 250.000 kunci tayangan iklan x 500 kunci konversi = 125.000.000 kunci
• Struktur Kunci 2: 360.000 kunci tayangan x 1,5 ribu kunci konversi = 540.000.000 kunci
• Struktur Kunci 3: (secara serupa, rencanakan semua Struktur Kunci yang Anda miliki)
• Ulangi untuk setiap Struktur Kunci
• Kunci Agregat Maksimal = 540.000.000 kunci (di semua struktur kunci). Perlu mencadangkan 30 bit (30 bit = 1,07 miliar kemungkinan kombinasi)

Volume konversi yang diperkirakan

Untuk setiap struktur kunci agregasi, volume yang diperkirakan dapat dijelaskan menggunakan contoh berikut:

• Struktur Kunci 1: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = rendah)
  • A: Antisipasi bahwa Struktur Kunci 1 akan mencakup pembelanjaan pengiklan senilai sekitar $500.000 selama kuartal berikutnya dengan harga CPM rata-rata $8. Antisipasi bahwa hal ini akan menghasilkan 62.500.000 tayangan yang perlu didaftarkan.
  • Antisipasi bahwa rasio tayangan iklan ke konversi rata-rata yang akan dibentuk oleh Struktur Kunci 1 selama kuartal berikutnya adalah 0,08%, sehingga menghasilkan 50.000 konversi yang diatribusikan yang perlu dicatat. Untuk setiap konversi, ukur nilai pembelian dan jumlah pembelian.
• Struktur Kunci 2: (Industri = asuransi, pembelanjaan = <50.000, volume konversi = sedang)
  • A: Antisipasi bahwa Kunci 2 akan menghasilkan pembelanjaan senilai $800.000 selama kuartal berikutnya dengan harga CPM rata-rata $10. Antisipasi bahwa hal ini akan menghasilkan 80.000.000 tayangan yang perlu didaftarkan.
  • Antisipasi bahwa rasio tayangan iklan terhadap konversi rata-rata yang akan dihasilkan Kunci 2 selama kuartal berikutnya adalah 0,03125%, sehingga menghasilkan 25.000 konversi yang diatribusikan yang perlu dicatat. Untuk setiap konversi, ukur nilai pembelian dan jumlah pembelian.
• Ulangi untuk setiap Struktur Kunci

Frekuensi pelaporan pengiriman dan pengelompokan (batch per pengiklan)**

Untuk setiap struktur kunci agregasi, Anda memerlukan laporan konversi yang dikirimkan secara berulang. Sebaiknya teknologi iklan dikelompokkan menurut pengiklan (untuk pemisahan data yang lebih rapi per laporan dan agregasi yang lebih efisien) dan gunakan kolom shared_info.scheduled_report_time laporan untuk pengelompokan.

• A: Per jam
• B: Harian
• C: Mingguan

Catatan

• Untuk pengelompokan menurut pengiklan, verifikasi SLA dengan pengiklan.

• Pengelompokan yang lebih sering akan menyertakan derau yang lebih tinggi per batch. (Lihat: Keputusan: Frekuensi batch).

• Untuk menghindari error karena pengelompokan yang salah, pastikan batch menggunakan kolom scheduled_report_time, bukan report arrival time. Misalnya: jika Anda membuat batch setiap jam, batch untuk pukul 11.00 hanya boleh menyertakan laporan dengan scheduled_report_time antara pukul 10.00 dan 11.00, bukan laporan yang diterima antara pukul 10.00 dan 11.00 dengan scheduled_report_time yang berbeda (misalnya: 09.00).

Estimasi untuk Volume Laporan

• Struktur Utama 1: 50.000 konversi yang diatribusikan / 2.160 (pelaporan per jam, jam dalam kuartal) = 24 laporan ringkasan per jam per pengiklan (24 x 1.000 pengiklan = 24.000 laporan ringkasan)
• Struktur Utama 2: 25.000 konversi yang diatribusikan / 2.160 (pelaporan per jam, jam dalam kuartal) = 12 laporan ringkasan per jam per pengiklan (12 x 1.000 pengiklan = 12.000 laporan ringkasan)
• Struktur Kunci 3: Ulangi
• Total jumlah laporan ringkasan per jam = 24 laporan ringkasan untuk struktur utama 1 + 12 laporan ringkasan untuk struktur utama 2 + ... = ... per jam per pengiklan

Ringkasan masukan

Memahami estimasi berikut dari teknologi iklan membantu kami merencanakan fitur dan peningkatan untuk mendukung skala yang diperlukan oleh teknologi iklan. Sebaiknya Anda memberi tahu kami hal berikut. Lihat panduan penskalaan untuk Layanan Agregasi di AWS untuk mengetahui informasi selengkapnya:

• Kunci domain input maksimum (kunci yang akan digabungkan) per tugas layanan agregasi
• Volume laporan input maksimum per tugas (konversi yang diatribusikan)
• Estimasi kontribusi per laporan (pasangan kunci/nilai dalam laporan)
• Estimasi distribusi konversi yang diatribusikan per tugas
• Estimasi distribusi kunci domain dalam tugas
• Estimasi jumlah tugas per jam/hari/minggu