Bu kılavuzun amacı, Privacy Sandbox Attribution Reporting API'nin bağımsız bir testini çalıştırma konusunda yol göstermektir. Daha fazla bilgi için: 12. Bölüm'e bakın.
- CMA'nın 1 ve 2 numaralı deneme tasarımlarındaki kontrol ve deney kolu sonuçlarının ölçümü, bu denemelerin amacı Protected Audience ve Topics'in kullanımını test etmek olduğu için Alaka düzeyi API'leri test kılavuzunda ele alınmıştır. Daha ayrıntılı bilgi için 11. Bölüm'e bakın.
Başlamadan önce
- Attribution Reporting API'yi yapılandırma ve ayarlamayla ilgili yol gösterici bilgiler için bu makaleyi inceleyin.
- CMA test kılavuzlarını inceleyin: Denemeler notu (Kasım 2022), Test kılavuzu (Haziran 2023) ve Ek test kılavuzu (Ekim 2023).
Değerlendirme hedefleri ve önerilen deneme kurulumu
1. Hedef: Raporlama için Attribution Reporting API'nin etkinliğini belirleme
Raporlamaya olan etkiyi ölçmek için bir A/A kurulumu öneriyoruz
- Bu teklif, dönüşümlere dayalı metriklerin değerlendirilmesiyle ilgili CMA yönergeleriyle uyumludur. Daha ayrıntılı bilgi için 21. Bölüm ve 12. Bölüm'e bakın.
- Attribution Reporting API'yi (ARA) test etmek, iki farklı ölçüm metodolojisi (üçüncü taraf çerezleri + üçüncü taraf dışı çerez verileri ve ARA + üçüncü taraf dışı çerez verileri) kullanılarak aynı gösterim grubundaki dönüşümler aynı anda ölçüldüğünden bu yöntemi A/B Modu'na tercih ederiz.
- Karşılaştırmalı deneme, Attribution Reporting API'nin dönüşüm ölçümü üzerindeki etkisini de izole eder (örneğin, üçüncü taraf çerezlerinin olmaması nedeniyle dönüşüm oranlarında herhangi bir değişiklik olmasını önler).
Önerilen analiz noktaları
- İstatistiksel olarak anlamlı sonuçlar elde etmek için yeterince büyük ve hem üçüncü taraf çerezleri hem de Özel Korumalı Alan API'leri içeren bir trafik dilimi seçin. İdeal olarak bu, üçüncü taraf çerezlerini devre dışı bırakan B modu hariç tüm trafiktir.
- Üçüncü taraf çerezleri kullanılamayacağı ve ARA sonuçlarını üçüncü taraf çerez tabanlı ilişkilendirme sonuçlarıyla karşılaştıramayacağınız için B modunu A/A denemesinden hariç tutmanızı öneririz.
- B modunu dahil etmek istiyorsanız trafikteki B modu dilimi için hata ayıklama raporlarını etkinleştirmeyi düşünebilirsiniz. Hata ayıklama raporları, yapılandırma veya uygulama sorunlarını gidermenize yardımcı olur.
- Trafiğin daha küçük bir diliminde test yapmayı planlıyorsanız beklenenden daha gürültülü ölçüm sonuçları alacağınızı tahmin ediyoruz. Analizinizde, trafiğin ne kadarının kullanıldığını ve sonuçları gürültülü raporlara göre mi yoksa gürültü içermeyen hata ayıklama raporlarına göre mi raporladığınızı belirtmenizi öneririz.
- Özet raporlarda özet değerleriniz muhtemelen daha düşük olur ve Toplama Hizmeti, özet değerden bağımsız olarak aynı dağılımın gürültüsünü ekler.
- Bu trafik diliminde farklı ölçüm metodolojilerini test edin
- 1. Kontrol: Mevcut ölçüm metodolojilerini kullanın (üçüncü taraf çerezleri + üçüncü taraf çerezleri olmayan veriler)
- (isteğe bağlı) 2. kontrol: Özel Korumalı Alan ve üçüncü taraf çerezleri yoktur, yani yalnızca üçüncü taraf olmayan çerez verileri vardır
- Bazı sitelerde hâlâ kullanılabilen üçüncü taraf çerezleri olabileceğini unutmayın. En doğru sonuçlar için Kontrol 2 veya Deneme yöntemlerinde ölçüm için bu üçüncü taraf çerezlerini kullanmayın.
- Değerlendirme: Özel Korumalı Alan API'leri ve üçüncü taraf olmayan çerez verileri
- Bazı sitelerde hâlâ kullanılabilen üçüncü taraf çerezleri olabileceğini unutmayın. En doğru sonuçlar için Kontrol 2 veya Deneme yöntemlerinde ölçüm için bu üçüncü taraf çerezlerini kullanmayın.
Metrikler
- İşletmenizin sonuçları ölçmek için hangi metrikleri kullanmasının mantıklı olduğunu tanımlayın ve metriğin ne anlama geldiğine ve nasıl ölçüldüğüne dair bir açıklama ekleyin.
- Reklamverenleriniz için önemli olan boyut ve metriklere odaklanmanızı öneririz. Örneğin, reklamverenleriniz satın alma dönüşümlerine odaklanıyorsa bu dönüşümlerin sayısını ve satın alma değerini ölçün.
- Sayı veya toplama dayalı metrikler (ör. dönüşüm oranı), maliyete dayalı metriklere (ör. dönüşüm başına maliyet) kıyasla çalışmak için daha idealdir. Karşılaştırmalı analiz için maliyet metrikleri, dönüşüm değerlerinin sayısından veya toplamından tamamen türetilebilir.
- Metriklerin etkinlik düzeyindeki raporlara, özet raporlara veya her ikisinin bir kombinasyonuna dayalı olup olmadığını (ve hata ayıklama raporlarının kullanılıp kullanılmadığını) belirtin.
- Nicel geri bildirimlerin nasıl biçimlendirileceğiyle ilgili bilgi için önerilen şablon tablolarına bakın.
Analiz
- Kapsam:
- Üçüncü taraf çerezlerine kıyasla benzer bir kullanıcı grubuyla ölçüm yapabiliyor musunuz? Daha yüksek bir kapsam görüyor musunuz (ör. uygulamadan web'e)?
- Sizin veya reklamverenlerinizin en çok önemsediği dönüşümleri (ve boyutları ya da metrikleri) ölçebiliyor musunuz?
- Nicel geri bildirim
- Örneğin, reklamveren raporlarında, söz konusu reklamveren için temel dönüşümlerin yüzde kaçının raporlanabileceğini veya kampanyaların yüzde kaçının bir raporlama kalite çıtasını karşıladığını (kalite çıtası oluşturmak, dönüşüm sayısı az olan kampanyalar için ayarlamalar yapmanıza yardımcı olur)
- Örneğin, reklamverene göre segmentlere ayrılmış olarak, günümüzde raporlama için aşağı yukarı üçüncü taraf çerezlerine bağımlı olan reklamverenler var mı?
- Diğer niteliksel geri bildirimler:
- ARA, reklamverenlerin ölçüm/ilişkilendirme ayarlarının karmaşıklığını nasıl etkiler?
- ARA, reklamverenlerin kendileri için önemli olan metriklere ve hedeflere odaklanmasına yardımcı oluyor mu yoksa engelliyor mu?
Etkiyi raporlamak için önerilen şablon tabloları
(Raporlama) Tablo 1:
Deneme sonuçlarını CMA'ya bildirmek için örnek şablon tablosu (18. sayfadan alınmıştır ancak test kullanıcıları, hangi metriklerin sağlanmasının en anlamlı / uygun olduğunu dikkate almalı ve tabloyu gerektiği gibi uyarlamalıdır).
|
Değerlendirme vs Kontrol 1 Önerilen son durumu mevcut durumla karşılaştırır |
İşlem ve Kontrol 2 Önerilen son durumu, hiç PS API'si olmayan bir durumla karşılaştırır. |
2. kontrol grubu ve 1. kontrol grubu karşılaştırması PS API'leri olmadan, üçüncü taraf çerezleri olan ve olmayan dönüşüm ölçümünü karşılaştırır. |
|
| Ölçüm Metodolojisi | Değişiklik (üçüncü taraf çerez verileri olmayan ARA) için dönüşüm ölçümünü 1. kontrol (üçüncü taraf çerez ve üçüncü taraf çerez olmayan çerez verileri) ile karşılaştırın | Deneme (üçüncü taraf dışı çerez verileri olan ARA) için dönüşüm ölçümünü Kontrol 2 (yalnızca üçüncü taraf dışı çerez verileri) ile karşılaştırın | 2. kontrol grubu (yalnızca üçüncü taraf çerezleri olmayan veriler) için dönüşüm ölçümünü 1. kontrol grubuyla (üçüncü taraf çerezleri ve üçüncü taraf çerezleri olmayan veriler) karşılaştırın |
| Dolar başına dönüşüm sayısı | Etki | Etki | Etki |
| Standart hata | Standart hata | Standart hata | |
| %95 güven aralığı | %95 güven aralığı | %95 güven aralığı | |
| Toplam dönüşüm sayısı | Etki | Etki | Etki |
| Standart hata | Standart hata | Standart hata | |
| %95 güven aralığı | %95 güven aralığı | %95 güven aralığı | |
| Dönüşüm oranı | Etki | Etki | Etki |
| Standart hata | Standart hata | Standart hata | |
| %95 güven aralığı | %95 güven aralığı | %95 güven aralığı | |
| (kendi metriklerinizi ekleyin) |
(Raporlama) Tablo 2:
Tedavi ve kontrol gruplarındaki metrikler için açıklayıcı istatistikleri raporlamaya yönelik örnek şablon tablo (20. sayfadan alınmıştır ancak test kullanıcıları, hangi metriklerin sağlanmasının en anlamlı / uygun olduğunu dikkate almalı ve tabloyu gerektiği gibi uyarlamalıdır).
| Metrik | İşleme
ARA ve kullandığınız üçüncü taraf dışı çerez verileri kullanılarak dönüşüm ölçümü |
1. kontrol
Üçüncü taraf çerezlerini ve kullandığınız üçüncü taraf dışı çerez verilerini kullanan dönüşüm ölçümü |
Kontrol 2
Yalnızca üçüncü taraf olmayan çerez verilerini kullanan dönüşüm ölçümü |
| Dolar başına dönüşüm sayısı | Ortalama | Ortalama | Ortalama |
| Standart sapma | Standart sapma | Standart sapma | |
| 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | |
| Toplam dönüşüm sayısı | Ortalama | Ortalama | Ortalama |
| Standart sapma | Standart sapma | Standart sapma | |
| 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | |
| Dönüşüm oranı | Ortalama | Ortalama | Ortalama |
| Standart sapma | Standart sapma | Standart sapma | |
| 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | |
| (kendi metriklerinizi ekleyin) |
2. hedef: Teklif optimizasyonu için Attribution Reporting API'nin etkinliğini belirleme
Teklif optimizasyonu üzerindeki etkiyi ölçmek için bir A/B kurulumu öneririz.
- Teklif optimizasyonunun etkisini ölçmek için iki farklı makine öğrenimi modeli eğitmeniz ve bunları iki trafik diliminde kullanmanız gerekir. Kontrol koluna uygulanacak model, mevcut ölçüm metodolojileri (üçüncü taraf çerezleri + üçüncü taraf çerezleri olmayan veriler) üzerinde eğitilir. Tedavi koluna uygulanacak model ise Attribution Reporting API + üçüncü taraf çerezleri olmayan veriler üzerinde eğitilir.
- Model eğitimi, işlem kolu daha küçük bir trafik dilimi olsa ve eğitim popülasyonları arasında çakışma olsa bile test uzmanının performansı en üst düzeye çıkarmak için gerekli gördüğü kadar trafik temel almalıdır (örneğin, tüm trafikte eğitim gören mevcut üçüncü taraf çerez modelini kullanın ve ARA modelini 1. Hedef için etkinleştirilen tüm ARA trafiğinde eğitin).
- Sonuçları CMA'ya gönderiyorsanız farklı modelleri eğitmek için kullanılan trafik dilimleri arasında önemli bir fark olup olmadığını belirtin (örneğin, üçüncü taraf çerez tabanlı modeller trafiğin% 100'ünde eğitiliyorsa ancak ARA tabanlı modeller trafiğin yalnızca% 1'inde eğitiliyorsa).
- Mümkünse hem deney hem de kontrol teklifli sistem modelleri için eğitim aynı süre boyunca yapılmalıdır.
- Deneme sırasında teklif modellerini sürekli olarak eğitip güncelleyip güncellemeyeceğinizi ve güncellerseniz mümkün olduğunca fazla trafikte mi yoksa yalnızca değerlendirme ve kontrol kollarındaki trafikte mi eğiteceğinizi değerlendirin.
- Farklı modeller, A/B denemesi olarak birbirinden bağımsız trafik dilimlerinde kullanılmalıdır. Kullanıcıları değerlendirme ve kontrol kolları arasında rastgele dağıtmak için Chrome tarafından desteklenen etiketli tarayıcı gruplarını (A Modu) kullanmanızı veya rastgele tarayıcı gruplarıyla kendi denemenizi çalıştırmanızı öneririz. Üçüncü taraf çerezlerinin olmaması, dönüşüme dayalı metrikler hakkında raporlamayı zorlaştıracağından B modunu kullanmanızı önermeyiz.
- Chrome tarafından desteklenen tarayıcı grupları, Enterprise Chrome kullanıcıları gibi bazı Chrome örneklerini hariç tutar. Bu Chrome örnekleri, kendi rastgele tarayıcı gruplarınız tarafından hariç tutulmayabilir. Bu nedenle, Chrome tarafından desteklenen gruplarda elde edilen metrikleri Chrome tarafından desteklenmeyen gruplardaki metriklerle karşılaştırmamak için denemenizi yalnızca A modu gruplarında veya yalnızca A modu olmayan/B modu gruplarında çalıştırmanız gerekir.
- Chrome tarafından desteklenen etiketli tarayıcı gruplarını kullanmıyorsanız (örneğin, denemeyi başka trafikte çalıştırıyorsanız):
- Kullanıcıların deneme ve kontrol grubuna ayrılmasının rastgele ve tarafsız olduğunu doğrulayın. Deneme grubu ayarından bağımsız olarak, değerlendirme ve kontrol gruplarının benzer olduğunu doğrulamak için değerlendirme ve kontrol kollarının özelliklerini değerlendirin. (Bkz. Bölüm 15)
- Deneme ve kontrol gruplarının kullanıcı özelliklerinin ve kampanya yapılandırmalarının aynı olduğunu doğrulayın (örneğin, hem deneme hem de kontrol gruplarında benzer coğrafi bölgeler kullanın). (Bkz. Bölüm 28)
- Belirli örnekler şunlardır: Benzer dönüşüm türlerinin aynı ilişkilendirme aralığı ve aynı ilişkilendirme mantığı kullanılarak ölçüldüğünden, kampanyaların benzer kitleleri, ilgi alanı gruplarını ve coğrafi bölgeleri hedeflediğinden ve benzer reklam metinleri ile reklam biçimleri kullandığından emin olun.
- √ Tedavi ve kontrol grupları için ilk popülasyon boyutlarının, teklif verme ve deneme için esneklik sağlayacak kadar büyük olması gerekir.
- Chrome tarafından desteklenen etiketli tarayıcı grupları (A modu) kullanılıyorsa Chrome tarayıcı örneklerini gruplara rastgele dağıtma işlemi Chrome tarafından gerçekleştirilir. Önceki gibi, rastgeleleştirmenin amaçlarınıza uygun şekilde tarafsız / karşılaştırılabilir gruplar oluşturduğundan emin olmanız önerilir.
Önerilen analiz noktaları
- Kontrol ve deneme kolları tanımlamanızı ve her kol için teklif optimizasyonu amacıyla farklı bir makine öğrenimi modeli kullanmanızı öneririz:
- 1. kontrol grubu: Mevcut ölçüm metodolojileri (üçüncü taraf çerezleri + üçüncü taraf olmayan çerez verileri) üzerinde eğitilmiş teklifli sistem optimizasyon modelini kullanın
- (isteğe bağlı) 2. kontrol: Özel Korumalı Alan ve üçüncü taraf çerezleri olmadan eğitilen teklif optimizasyonu modelini (yani yalnızca üçüncü taraf çerezleri olmayan verileri) kullanın
- Bazı sitelerde hâlâ kullanılabilen üçüncü taraf çerezleri olabileceğini unutmayın. En doğru sonuçlar için Kontrol 2 veya Tedavi metodolojilerinde ölçüm için bu üçüncü taraf çerezlerini kullanmayın.
- Tedavi: Attribution Reporting API ve üçüncü taraf olmayan çerez verileri üzerinde eğitilen teklif optimizasyonu modelini kullanın
- Bazı sitelerde hâlâ kullanılabilen üçüncü taraf çerezleri olabileceğini unutmayın. En doğru sonuçlar için Kontrol 2 veya Tedavi metodolojilerinde ölçüm için bu üçüncü taraf çerezlerini kullanmayın.
Metrikler
- İşletmenizin sonuçları ölçmek için hangi metrikleri kullanmasının mantıklı olduğunu tanımlayın ve metriğin ne anlama geldiğine ve nasıl ölçüldüğüne dair bir açıklama ekleyin.
- Örneğin, anlamlı metrik harcama (yayıncı geliri) olabilir. Bu metrik, CMA'nın üçüncü taraf çerezleri için desteğin sonlandırılmasının "Gösterim başına gelirler" üzerindeki etkisini anlama kılavuzuyla uyumludur. Daha fazla bilgi için 19. Bölüm'e bakın.
- Dönüşüme dayalı metriklerle ilgili rapor oluşturuyorsanız çok değişkenli testi (bir denemede optimizasyon ve raporlama üzerindeki etkiyi test etme) önlemek için her kol için aynı ölçüm metodolojisini kullanmanız gerekir. Nicel geri bildirimlerin nasıl biçimlendirileceğiyle ilgili bilgi için önerilen şablon tablolarına bakın.
- Teklif optimizasyonu etkisiyle ilgili metrikleri toplamanın diğer yollarını (ör. teklif simülasyonu) değerlendirin. Üçüncü taraf çerezlerinin ve ARA'nın teklif modelleriniz üzerindeki etkisini anlamak için faydalı olabilecek simüle edilmiş metrik var mı?
- Metriklerin etkinlik düzeyindeki raporlara, özet raporlara veya her ikisinin bir kombinasyonuna dayalı olup olmadığını (ve hata ayıklama raporlarının kullanılıp kullanılmadığını) belirtin.
Analiz
- Kapsam:
- Üçüncü taraf çerezlerine kıyasla benzer bir kullanıcı grubuyla ölçüm yapabiliyor musunuz? Kapsamda (ör. uygulamadan web'e) herhangi bir değişiklik görüyor musunuz?
- Sizin veya reklamverenlerinizin en çok önemsediği dönüşümleri (ve boyutları/metrikleri) ölçebiliyor musunuz?
- Gruplar arasındaki farklar aşağıdakileri nasıl etkiler?
- Reklamveren raporlaması (ör. önemli dönüşümlerin yüzde kaçı raporlanabilir?).
- Örneğin, eğitim ve optimizasyon, farklı dönüşüm verilerinin model performansı üzerindeki etkisini simüle eder.
- Diğer niteliksel geri bildirimler:
- ARA, reklamverenlerin teklifli sistem optimizasyon ayarlarının karmaşıklığını nasıl etkiler?
- ARA, reklamverenlerin kendileri için önemli olan metriklere ve hedeflere odaklanmasına yardımcı oluyor mu yoksa engelliyor mu?
Teklif verme etkisi için önerilen şablon tabloları
(Teklifli Sistem) Tablo 1:
Pazar katılımcılarının CMA'ya göndermesi gereken deneysel sonuçların örnek şablon tablosu (18. sayfadan alınmıştır ancak test kullanıcıları, hangi metriklerin sağlanmasının en anlamlı / uygun olduğunu dikkate almalı ve tabloyu gerektiği gibi uyarlamalıdır).
|
Değerlendirme vs Kontrol 1 Önerilen son durumu mevcut durumla karşılaştırır |
İşlem ve Kontrol 2 Önerilen son durumu, hiç PS API'si olmayan bir durumla karşılaştırır. |
2. kontrol grubu ve 1. kontrol grubu Teklif optimizasyonunu, PS API'leri olmadan üçüncü taraf çerezleri ile ve üçüncü taraf çerezleri olmadan karşılaştırır. |
|
| Ölçüm Metodolojisi | Çok değişkenli testi önlemek için her denemedeki her iki kol için dönüşüme dayalı metrikleri ölçmek üzere üçüncü taraf çerezlerini ve üçüncü taraf olmayan çerez verilerini kullanın. | ||
| Gösterim başına gelir | Etki | Etki | Etki |
| Standart hata | Standart hata | Standart hata | |
| %95 güven aralığı | %95 güven aralığı | %95 güven aralığı | |
| (Kendi metriklerinizi ekleyin) | |||
(Teklif Verme) Tablo 2:
Tedavi ve kontrol gruplarındaki metrikler için açıklayıcı istatistikleri raporlamaya yönelik örnek şablon tablo (20. sayfadan alınmıştır ancak test kullanıcıları, hangi metriklerin sağlanmasının en anlamlı / uygun olduğunu dikkate almalı ve tabloyu gerektiği gibi uyarlamalıdır).
|
İşlem ARA ve kullandığınız üçüncü taraf dışı çerez verilerini kullanarak teklif optimizasyonu |
1. kontrol Üçüncü taraf çerezleri ve kullandığınız üçüncü taraf dışı çerez verilerini kullanan teklif optimizasyonu |
2. kontrol Yalnızca üçüncü taraf olmayan çerez verilerini kullanan teklif optimizasyonu |
|
| Ölçüm Metodolojisi | Çok değişkenli testi önlemek için tüm kollarda dönüşüme dayalı metrikleri ölçmek üzere üçüncü taraf çerezlerini ve üçüncü taraf olmayan çerez verilerini kullanın. | ||
| Gösterim başına gelir | Ortalama | Ortalama | Ortalama |
| Standart sapma | Standart sapma | Standart sapma | |
| 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | 25. ve 75. yüzdelik dilim | |
| (kendi metriklerinizi ekleyin) | |||
3. Hedef: Aggregation Service'i yük testine tabi tutma
Toplama Hizmeti Yük Testi Çerçevesi başlıklı makaleyi inceleyin.