Ölçüm testi kılavuzu

Bu kılavuzun amacı, Özel Korumalı Alan Attribution Reporting API'sinin bağımsız bir testini çalıştırma konusunda rehberlik etmektir. Daha fazla bilgi için 12. Bölüm'ü inceleyin.

• Bu denemelerin amacı Protected Audience ve Topics kullanımının etkinliğini test etmek olduğundan, CMA'nın 1. ve 2. deneysel tasarımlarındaki kontrol ve işlem kolu sonuçlarının ölçümü Alaka Düzeyi API'leri test kılavuzunda ele alınmıştır. Daha ayrıntılı bilgi için 11. Bölüm'e bakın.

Başlamadan önce

• Attribution Reporting API'yi yapılandırma ve ayarlama hakkında bilgi edinmek için inceleyin.
• CMA test kılavuzlarını inceleyin: Experiments note (Kasım 2022), Testing guidance (Haziran 2023) ve Additional testing guidance (Ekim 2023).

Değerlendirme hedefleri ve önerilen deneme kurulumu

1. Hedef: Raporlama için Attribution Reporting API'nin etkinliğini belirleme

Raporlamadaki etkiyi ölçmek için A/A kurulumu öneriyoruz

• Bu teklif, dönüşüme dayalı metriklerin değerlendirilmesiyle ilgili CMA kılavuzuyla uyumludur. Daha ayrıntılı bilgi için 21. Bölüm ve 12. Bölüm'e bakın.
• A/B Modu yerine bu yöntemi tercih etmemizin nedeni, Attribution Reporting API'nin (ARA) testinin, aynı gösterim grubundaki dönüşümlerin iki farklı ölçüm metodolojisi (üçüncü taraf çerezleri + üçüncü taraf çerezi olmayan veriler ve ARA + üçüncü taraf çerezi olmayan veriler) kullanılarak aynı anda ölçülmesiyle yapılabilmesidir.
• A/A denemesi, Attribution Reporting API'nin dönüşüm ölçümü üzerindeki etkisini de yalıtır (ör. üçüncü taraf çerezlerinin olmaması nedeniyle dönüşüm oranlarında herhangi bir değişiklik olmasını önler).

Önerilen analiz noktaları

• İstatistiksel olarak anlamlı sonuçlar elde etmek için yeterince büyük olan ve hem üçüncü taraf çerezlerini hem de Özel Korumalı Alan API'lerini içeren bir trafik dilimi seçin. İdeal olarak bu, B modu (üçüncü taraf çerezlerini devre dışı bırakır) hariç tüm trafiktir.
  • Üçüncü taraf çerezleri kullanılamayacağından ve ARA sonuçlarını üçüncü taraf çerezlerine dayalı ilişkilendirme sonuçlarıyla karşılaştıramayacağınızdan B Modu'nu A/A denemesinin dışında tutmanızı öneririz.
  • B modunu dahil etmek istiyorsanız B modu trafik dilimi için hata ayıklama raporlarını etkinleştirmeyi düşünebilirsiniz. Hata ayıklama raporları, yapılandırma veya uygulama sorunlarını gidermenize yardımcı olur.
• Trafiğin daha küçük bir bölümünde test yapmayı planlıyorsanız beklenenden daha fazla gürültü içeren ölçüm sonuçları alacağınızı tahmin ediyoruz. Analizinizde, trafiğin ne kadarının kullanıldığını ve sonuçları gürültü eklenmiş raporlara mı yoksa gürültü eklenmemiş hata ayıklama raporlarına mı göre bildirdiğinizi belirtmenizi öneririz.
  • Özet raporlarda özet değerleriniz muhtemelen daha düşük olacaktır ve Toplama Hizmeti, özet değerden bağımsız olarak aynı dağıtımdan gürültü ekleyecektir.
• Trafiğin bu bölümünde farklı ölçüm yöntemlerini test edin
  • 1. kontrol: Mevcut ölçüm metodolojilerini kullanma (üçüncü taraf çerezleri + üçüncü taraf olmayan çerez verileri)
  • (isteğe bağlı) 2. kontrol: Özel Korumalı Alan ve üçüncü taraf çerezleri yok, yani yalnızca üçüncü taraf çerezi olmayan veriler
    • Bazı sitelerde hâlâ kullanılabilen üçüncü taraf çerezleri olabileceğini unutmayın. En doğru sonuçları elde etmek için bu üçüncü taraf çerezlerini Kontrol 2 veya Deney metodolojilerinde ölçüm için kullanmayın.
  • Değerlendirme: Özel Korumalı Alan API'leri ve üçüncü taraf olmayan çerez verileri
    • Bazı sitelerde hâlâ kullanılabilen üçüncü taraf çerezleri olabileceğini unutmayın. En doğru sonuçları elde etmek için bu üçüncü taraf çerezlerini Kontrol 2 veya Deney metodolojilerinde ölçüm için kullanmayın.

Metrikler

• Sonuçları ölçmek için işletmeniz açısından hangi metriklerin anlamlı olduğunu tanımlayın ve metriğin ne anlama geldiği ile nasıl ölçüldüğüne dair bir açıklama ekleyin.
  • Reklamverenleriniz için önemli olan boyutlara ve metriklere odaklanmanızı öneririz. Örneğin, reklamverenleriniz satın alma dönüşümlerine odaklanıyorsa bu dönüşümlerin sayısını ve satın alma değerini ölçün.
• Sayıya veya toplama dayalı metrikler (ör. dönüşüm oranı), birim başına maliyete (ör. dönüşüm başına maliyet) kıyasla daha idealdir. A/A analizi için maliyet metrikleri, dönüşüm değerlerinin sayısından veya toplamından tamamen elde edilebilir.
• Metriklerin etkinlik düzeyindeki raporlara, özet raporlara veya her iki raporun bir kombinasyonuna (ve hata ayıklama raporlarının kullanılıp kullanılmadığına) dayalı olup olmadığını belirtin.
• Nicel geri bildirimi nasıl biçimlendireceğinizle ilgili yönergeler için önerilen şablon tablolarına bakın.

Analiz

• Kapsam:
  • Üçüncü taraf çerezleriyle karşılaştırıldığında benzer bir kullanıcı grubu genelinde ölçüm yapabiliyor musunuz? Daha yüksek kapsam görüyor musunuz (örneğin, uygulamadan web'e geçişte)?
  • Sizin veya reklamverenlerinizin en çok önem verdiği dönüşümleri (ve boyutları ya da metrikleri) ölçebiliyor musunuz?
• Nicel geri bildirim
  • Örneğin, reklamveren raporlamasında bu reklamveren için hangi oranda önemli dönüşüm raporlayabilirsiniz veya hangi oranda kampanya bir raporlama kalitesi eşiğini karşılıyor (kalite eşiği belirlemek, dönüşüm sayısı az olan kampanyalarda ayarlama yapmaya yardımcı olur)
  • Örneğin, reklamverene göre dilimlenmiş olarak, bugün raporlama için üçüncü taraf çerezlerine daha fazla veya daha az bağımlı olan reklamverenler var mı?
• Diğer niteliksel geri bildirimler:
  • ARA, reklamverenlerin ölçüm/ilişkilendirme kurulumunun karmaşıklığını nasıl etkiler?
  • ARA, reklamverenlerin kendileri için önemli olan metrik ve hedeflere odaklanmasına yardımcı mı oluyor yoksa engel mi oluyor?

Etki raporlaması için önerilen şablon tablolar

(Raporlama) Tablo 1:

Deneme sonuçlarını CMA'ya bildirmek için örnek şablon tablosu (18. sayfadan alınmıştır ancak test kullanıcıları, hangi metriklerin sağlanmasının en anlamlı / uygun olduğunu değerlendirmeli ve tabloyu gerektiği gibi uyarlamalıdır).

(Raporlama) Tablo 2:

Deneme ve kontrol gruplarındaki metrikler için açıklayıcı istatistikleri raporlamaya yönelik örnek şablon tablosu (20. sayfadan alınmıştır ancak test uzmanları, hangi metriklerin en anlamlı / uygulanabilir olduğunu değerlendirmeli ve tabloyu gerektiği gibi uyarlamalıdır).

2. hedef: Teklif optimizasyonu için Attribution Reporting API'nin etkinliğini belirleme

Teklif optimizasyonuna yönelik etkiyi ölçmek için bir A/B kurulumu öneririz.

• Teklif optimizasyonu üzerindeki etkiyi ölçmek için iki farklı makine öğrenimi modelini eğitmeniz ve bunları iki trafik diliminde kullanmanız gerekir. Kontrol koluna uygulanacak mevcut ölçüm metodolojileri (üçüncü taraf çerezleri + üçüncü taraf çerezleri olmayan veriler) üzerinde eğitilmiş bir model ve işleme koluna uygulanacak Attribution Reporting API + üçüncü taraf çerezleri olmayan veriler üzerinde eğitilmiş bir model.
• Model eğitimi, varyasyon kolu daha küçük bir trafik dilimi olsa ve eğitim popülasyonları arasında çakışma olsa bile (ör. tüm trafikte eğitim veren mevcut üçüncü taraf çerez modelini kullanın ve ARA modelini 1. Hedef için etkinleştirilen tüm ARA trafiğinde eğitin) test kullanıcısının performansı en üst düzeye çıkarmak için gerekli gördüğü kadar trafik temel alınarak yapılmalıdır.
  • CMA'ya sonuç gönderiyorsanız farklı modelleri eğitmek için kullanılan trafik dilimleri arasında önemli bir fark olup olmadığını belirtin (ör. üçüncü taraf çerezlerine dayalı modeller trafiğin% 100'ü üzerinde eğitilirken ARA'ya dayalı modeller yalnızca trafiğin% 1'i üzerinde eğitiliyorsa).
• Mümkünse hem deney kolu hem de kontrol teklif modellerinin eğitimi aynı süre boyunca yapılmalıdır.
• Deneme sırasında teklif modellerini sürekli olarak eğitip güncellemeniz gerekip gerekmediğini ve gerekirse mümkün olduğunca fazla trafik üzerinde mi yoksa yalnızca değerlendirme ve kontrol kollarından gelen trafik üzerinde mi eğitim yapmanız gerektiğini değerlendirin.
• Farklı modeller, A/B denemesi olarak trafiğin ayrı dilimlerinde kullanılmalıdır. Deney ve kontrol kolları arasında kullanıcıların rastgele dağıtılması ve atanması için Chrome tarafından kolaylaştırılan etiketli tarayıcı gruplarını (A Modu) kullanmanızı veya rastgele tarayıcı kümeleriyle kendi denemenizi yapmanızı öneririz. Üçüncü taraf çerezlerinin olmaması, dönüşüme dayalı metriklerin raporlanmasını zorlaştıracağından B modunu kullanmanızı önermiyoruz.
  • Chrome'un sağladığı tarayıcı grupları, Enterprise Chrome kullanıcıları gibi bazı Chrome örneklerini hariç tutar. Kendi rastgele tarayıcı gruplarınız bu Chrome örneklerini hariç tutmayabilir. Bu nedenle, Chrome tarafından kolaylaştırılan gruplarda elde edilen metrikleri Chrome tarafından kolaylaştırılmayan gruplarda elde edilen metriklerle karşılaştırmamak için denemenizi yalnızca A Modu gruplarında veya yalnızca A Modu/B Modu olmayan gruplarda çalıştırmanız gerekir.
  • Chrome tarafından kolaylaştırılan etiketli tarayıcı grupları kullanılmıyorsa (ör. diğer trafikte deneme yürütülüyorsa):
    • Kullanıcıların deneme ve kontrol gruplarına ayrılmasının rastgele ve tarafsız olduğunu doğrulayın. Deneme grubu ayarlarından bağımsız olarak, değerlendirme ve kontrol gruplarının karşılaştırılabilir olduğunu doğrulamak için değerlendirme ve kontrol kollarına ait özellikleri değerlendirin. (Bkz: Bölüm 15)
    • Deney ve kontrol gruplarının kullanıcı özelliklerinin ve kampanya yapılandırmalarının aynı olduğunu doğrulayın (örneğin, hem deney hem de kontrol gruplarında benzer coğrafi konumlar kullanın). (Bkz. Bölüm 28)
      • Özel örnekler arasında şunlar yer alır: benzer dönüşüm türlerinin aynı ilişkilendirme penceresi ve aynı ilişkilendirme mantığı kullanılarak ölçüldüğünü doğrulayın, kampanyalar benzer kitleleri, ilgi alanı gruplarını ve coğrafi konumları hedefliyor ve benzer reklam metni ve reklam biçimleri kullanıyor.
    • √ Değerlendirme ve kontrol gruplarının başlangıçtaki popülasyon boyutları, teklif verme ve deneme konusunda esneklik sağlayacak kadar büyük olmalıdır.
  • Chrome tarafından kolaylaştırılan etiketli tarayıcı grupları (A Modu) kullanılıyorsa Chrome tarayıcı örneklerinin gruplara rastgele dağıtılması Chrome tarafından yapılır. Daha önce olduğu gibi, rastgeleleştirme işleminin amaçlarınız doğrultusunda tarafsız / karşılaştırılabilir gruplar oluşturduğunu kontrol etmeniz önerilir.

Önerilen analiz noktaları

• Kontrol ve deneme kolları tanımlamanızı ve her kol için teklif optimizasyonunda farklı bir makine öğrenimi modeli kullanmanızı öneririz:
  • Kontrol 1: Mevcut ölçüm metodolojileri (üçüncü taraf çerezleri + üçüncü taraf olmayan çerez verileri) üzerinde eğitilmiş teklif optimizasyonu modelini kullanın.
  • (isteğe bağlı) 2. kontrol: Özel Korumalı Alan ve üçüncü taraf çerezleri olmadan eğitilmiş teklif optimizasyonu modelini kullanın. Yani yalnızca üçüncü taraf çerezleri olmayan veriler kullanılmalıdır.
    • Bazı sitelerde hâlâ üçüncü taraf çerezleri bulunabileceğini unutmayın. En doğru sonuçlar için bu üçüncü taraf çerezlerini Kontrol 2 veya Deney metodolojilerinde ölçüm amacıyla kullanmayın.
  • İşlem: Attribution Reporting API ve üçüncü taraf olmayan çerez verileri üzerinde eğitilmiş teklif optimizasyonu modelini kullanın
    • Bazı sitelerde hâlâ üçüncü taraf çerezleri bulunabileceğini unutmayın. En doğru sonuçlar için bu üçüncü taraf çerezlerini Kontrol 2 veya Deney metodolojilerinde ölçüm amacıyla kullanmayın.

Metrikler

• Sonuçları ölçmek için işletmeniz açısından hangi metriklerin anlamlı olduğunu tanımlayın ve metriğin ne anlama geldiği ile nasıl ölçüldüğüne dair bir açıklama ekleyin.
  • Örneğin, anlamlı metrik, üçüncü taraf çerezleri için desteğin sonlandırılmasının "gösterim başına gelir " üzerindeki etkisini anlamak için CMA'nın yönergeleriyle uyumlu olan harcama (yayıncı geliri) olabilir. Daha fazla bilgi için 19. Bölüm'e bakın.
• Dönüşüme dayalı metriklerle ilgili rapor oluşturuyorsanız çok değişkenli testten (optimizasyon ve raporlama üzerindeki etkiyi tek bir denemede test etme) kaçınmak için her kol için aynı ölçüm metodolojisini kullanmanız gerekir. Nicel geri bildirimi nasıl biçimlendireceğinizle ilgili yönergeler için önerilen şablon tablolarına bakın.
• Teklif optimizasyonunun etkisiyle ilgili metrikleri toplamanın başka yollarını (ör. teklifleri simüle etme) da düşünebilirsiniz. Üçüncü taraf çerezlerinin ve ARA'nın teklif modelleriniz üzerindeki etkisini anlamak için kullanılabilecek simüle edilmiş metrikler var mı?
• Metriklerin etkinlik düzeyindeki raporlara, özet raporlara veya her iki raporun bir kombinasyonuna (ve hata ayıklama raporlarının kullanılıp kullanılmadığına) dayalı olup olmadığını belirtin.

Analiz

• Kapsam:
  • Üçüncü taraf çerezleriyle karşılaştırıldığında benzer bir kullanıcı grubu genelinde ölçüm yapabiliyor musunuz? Kapsamda herhangi bir değişiklik görüyor musunuz (ör. uygulamadan web'e geçiş)?
  • Sizin veya reklamverenlerinizin en çok önem verdiği dönüşümleri (ve boyutları/metrikleri) ölçebiliyor musunuz?
• Gruplar arasındaki farklar aşağıdakileri nasıl etkiler?
  • Örneğin, reklamveren raporlaması: Hangi önemli dönüşümlerin yüzdesini raporlayabilirsiniz?
  • Eğitim ve optimizasyon, örneğin farklı dönüşüm verilerinin model performansı üzerindeki etkisini simüle eder.
• Diğer niteliksel geri bildirimler:
  • ARA, reklamverenlerin teklif optimizasyonu ayarlarının karmaşıklığını nasıl etkiler?
  • ARA, reklamverenlerin kendileri için önemli olan metrik ve hedeflere odaklanmasına yardımcı mı oluyor yoksa engel mi oluyor?

Teklif verme etkisi için önerilen şablon tablolar

(Teklif verme) Tablo 1:

Pazar katılımcılarının CMA'ya göndermesi gereken deneysel sonuçların örnek şablon tablosu (18. sayfadan alınmıştır ancak test kullanıcıları, hangi metriklerin sağlanmasının en anlamlı / uygun olduğunu değerlendirmeli ve tabloyu gerektiği gibi uyarlamalıdır).

(Teklifli sistem) Tablo 2:

Deneme ve kontrol gruplarındaki metrikler için açıklayıcı istatistikleri raporlamaya yönelik örnek şablon tablosu (20. sayfadan alınmıştır ancak test uzmanları, hangi metriklerin en anlamlı / uygulanabilir olduğunu değerlendirmeli ve tabloyu gerektiği gibi uyarlamalıdır).

3. hedef: Aggregation Service'i yük testi

Aggregation Service Yük Testi Çerçevesi başlıklı makaleyi inceleyin.