मेज़रमेंट टेस्टिंग गाइड

इस गाइड का मकसद, Privacy Sandbox Attribution Reporting API का स्टैंडअलोन टेस्ट चलाने के बारे में दिशा-निर्देश देना है. ज़्यादा जानकारी के लिए, सेक्शन 12 देखें.

  • सीएमए के एक्सपेरिमेंटल डिज़ाइन 1 और 2 में, कंट्रोल और ट्रीटमेंट ग्रुप के नतीजों को मेज़र करने के बारे में Relevance APIs की जांच से जुड़े दिशा-निर्देशों में बताया गया है. ऐसा इसलिए है, क्योंकि उन एक्सपेरिमेंट का मकसद Protected Audience और Topics के इस्तेमाल की असरदारता की जांच करना है. ज़्यादा जानकारी के लिए, सेक्शन 11 देखें.

शुरू करने से पहले

आकलन के लक्ष्य और सुझाया गया प्रयोग सेटअप

पहला लक्ष्य - रिपोर्टिंग के लिए Attribution Reporting API की असरदारता तय करना

हम रिपोर्टिंग पर होने वाले असर को मेज़र करने के लिए, A/A सेटअप का सुझाव देते हैं

  • यह प्रस्ताव, कन्वर्ज़न पर आधारित मेट्रिक के आकलन के लिए CMA के दिशा-निर्देशों के मुताबिक है. ज़्यादा जानकारी के लिए, सेक्शन 21 और सेक्शन 12 देखें.
  • हम मोड A/B के बजाय इस तरीके को प्राथमिकता देते हैं, क्योंकि एट्रिब्यूशन रिपोर्टिंग एपीआई (ARA) की जांच, इंप्रेशन के एक ही सेट पर कन्वर्ज़न को एक साथ मेज़र करके की जा सकती है. इसके लिए, मेज़रमेंट के दो अलग-अलग तरीकों (तीसरे पक्ष की कुकी + तीसरे पक्ष की कुकी का डेटा और ARA + तीसरे पक्ष की कुकी का डेटा) का इस्तेमाल किया जाता है.
  • A/A एक्सपेरिमेंट से, कन्वर्ज़न मेज़रमेंट पर Attribution Reporting API के असर को भी अलग किया जा सकता है. उदाहरण के लिए, यह तीसरे पक्ष की कुकी की कमी की वजह से कन्वर्ज़न रेट में होने वाले किसी भी बदलाव को रोकता है.

विश्लेषण के लिए सुझाए गए पॉइंट

  • आंकड़ों के हिसाब से अहम नतीजे पाने के लिए, ट्रैफ़िक का ऐसा स्लाइस चुनें जो ज़रूरत के मुताबिक बड़ा हो. साथ ही, उसमें तीसरे पक्ष की कुकी और Privacy Sandbox API, दोनों शामिल हों. आम तौर पर, यह मोड B को छोड़कर (जो तीसरे पक्ष की कुकी बंद कर देता है) पूरा ट्रैफ़िक होता है.
    • हमारा सुझाव है कि A/A एक्सपेरिमेंट से मोड B को बाहर रखें, क्योंकि तीसरे पक्ष की कुकी उपलब्ध नहीं होंगी. साथ ही, आपके पास ARA के नतीजों की तुलना, तीसरे पक्ष की कुकी पर आधारित एट्रिब्यूशन के नतीजों से करने का विकल्प नहीं होगा.
    • अगर आपको मोड B शामिल करना है, तो आपको ट्रैफ़िक के मोड B स्लाइस के लिए, डीबग रिपोर्ट चालू करनी चाहिए. डीबग रिपोर्ट की मदद से, कॉन्फ़िगरेशन या लागू करने से जुड़ी किसी भी समस्या को हल किया जा सकता है.
  • अगर आपको ट्रैफ़िक के छोटे हिस्से पर टेस्ट करना है, तो हमें उम्मीद है कि आपको मेज़रमेंट के नतीजे उम्मीद से ज़्यादा गड़बड़ मिलेंगे. हमारा सुझाव है कि अपने विश्लेषण में यह नोट करें कि ट्रैफ़िक का कितना हिस्सा इस्तेमाल किया गया था. साथ ही, यह भी बताएं कि नॉइज़ वाली रिपोर्ट या बिना नॉइज़ वाली डीबग रिपोर्ट के आधार पर नतीजे दिखाए जा रहे हैं या नहीं.
    • खास जानकारी वाली रिपोर्ट के लिए, खास जानकारी की वैल्यू कम हो सकती हैं. साथ ही, एग्रीगेशन सेवा उसी डिस्ट्रिब्यूशन से नॉइज़ जोड़ेगी, भले ही खास जानकारी की वैल्यू कुछ भी हो.
  • ट्रैफ़िक के उस स्लाइस पर मेज़रमेंट के अलग-अलग तरीकों की जांच करें
    • कंट्रोल 1 - मेज़रमेंट के मौजूदा तरीकों का इस्तेमाल करना (तीसरे पक्ष की कुकी + तीसरे पक्ष की कुकी का डेटा)
    • (ज़रूरी नहीं) दूसरा कंट्रोल - Privacy Sandbox और तीसरे पक्ष की कुकी का इस्तेमाल नहीं किया जाता. इसका मतलब है कि सिर्फ़ तीसरे पक्ष की कुकी का डेटा इस्तेमाल नहीं किया जाता
      • ध्यान दें कि कुछ साइटों पर अब भी तीसरे पक्ष की कुछ कुकी उपलब्ध हो सकती हैं - सबसे सटीक नतीजों के लिए, कंट्रोल 2 या ट्रीटमेंट के तरीकों में मेज़रमेंट के लिए, तीसरे पक्ष की उन कुकी का इस्तेमाल न करें
    • ट्रीटमेंट - Privacy Sandbox API और तीसरे पक्ष की कुकी के अलावा अन्य कुकी का डेटा
      • ध्यान दें कि कुछ साइटों पर अब भी तीसरे पक्ष की कुछ कुकी उपलब्ध हो सकती हैं - सबसे सटीक नतीजों के लिए, कंट्रोल 2 या ट्रीटमेंट के तरीकों में मेज़रमेंट के लिए, तीसरे पक्ष की उन कुकी का इस्तेमाल न करें

मेट्रिक

  • यह तय करें कि नतीजों को मेज़र करने के लिए, आपके कारोबार के लिए कौनसी मेट्रिक सही हैं. साथ ही, यह भी बताएं कि मेट्रिक का क्या मतलब है और उसे कैसे मेज़र किया जा रहा है.
    • हमारा सुझाव है कि आप उन डाइमेंशन और मेट्रिक पर फ़ोकस करें जो विज्ञापन देने वालों के लिए अहम हैं. उदाहरण के लिए, अगर विज्ञापन देने वाले लोग या कंपनियां परचेज़ कन्वर्ज़न पर फ़ोकस करती हैं, तो उन कन्वर्ज़न और परचेज़ वैल्यू की संख्या मेज़र करें.
  • गिनती या योग (उदाहरण के लिए, कन्वर्ज़न रेट) पर आधारित मेट्रिक, हर लागत (उदाहरण के लिए, हर कन्वर्ज़न की लागत) के मुकाबले बेहतर होती हैं. A/A विश्लेषण के लिए, लागत मेट्रिक को कन्वर्ज़न वैल्यू की गिनती या कुल वैल्यू से पूरी तरह से लिया जा सकता है.
  • बताएं कि मेट्रिक, इवेंट-लेवल की रिपोर्ट, खास जानकारी वाली रिपोर्ट या दोनों रिपोर्ट के कॉम्बिनेशन पर आधारित हैं या नहीं. साथ ही, यह भी बताएं कि डीबग रिपोर्ट का इस्तेमाल किया गया था या नहीं.
  • संख्या के हिसाब से फ़ीडबैक को फ़ॉर्मैट करने का तरीका जानने के लिए, सुझाई गई टेंप्लेट टेबल देखें.

विश्लेषण

  • कवरेज:
    • क्या तीसरे पक्ष की कुकी की तुलना में, उपयोगकर्ताओं के मिलते-जुलते सेट को मेज़र किया जा सकता है? क्या आपको ज़्यादा कवरेज दिख रही है, जैसे कि ऐप्लिकेशन से वेब पर?
    • क्या आपके पास उन कन्वर्ज़न (और डाइमेंशन या मेट्रिक) को मेज़र करने का विकल्प है जो आपके या विज्ञापन देने वाले लोगों या कंपनियों के लिए सबसे ज़्यादा मायने रखते हैं?
  • संख्या के हिसाब से फ़ीडबैक
    • उदाहरण के लिए, विज्ञापन देने वाले की रिपोर्टिंग में, उस विज्ञापन देने वाले के लिए कितने प्रतिशत मुख्य कन्वर्ज़न रिपोर्ट किए जा सकते हैं या कितने प्रतिशत कैंपेन, रिपोर्टिंग क्वालिटी बार को पूरा करते हैं (क्वालिटी बार तय करने से, कम कन्वर्ज़न की संख्या वाले कैंपेन में बदलाव करने में मदद मिलती है)
    • विज्ञापन देने वाले के हिसाब से, उदाहरण के लिए, क्या आज भी कुछ विज्ञापन देने वाले लोग या कंपनियां, रिपोर्टिंग के लिए तीसरे पक्ष की कुकी पर ज़्यादा या कम निर्भर हैं?
  • क्वालिटी से जुड़ा अन्य सुझाव, शिकायत या राय:
    • ARA, विज्ञापन देने वालों के मेज़रमेंट/एट्रिब्यूशन सेटअप की जटिलता पर कैसे असर डालता है?
    • क्या विज्ञापन देने वाले लोगों या कंपनियों को, उनके लिए अहम मेट्रिक और लक्ष्यों पर फ़ोकस करने में, एआरए से मदद मिलती है या नहीं?

असर की रिपोर्टिंग के लिए सुझाई गई टेंप्लेट टेबल

(रिपोर्टिंग) टेबल 1:

सीएमए को एक्सपेरिमेंट के नतीजों की रिपोर्ट करने के लिए, टेंप्लेट टेबल का उदाहरण (पेज 18 से लिया गया है. हालांकि, टेस्टर को यह ध्यान रखना चाहिए कि कौनसी मेट्रिक सबसे ज़्यादा काम की / उपलब्ध हैं और टेबल को ज़रूरत के हिसाब से अडजस्ट करें).

ट्रीटमेंट बनाम कंट्रोल 1
सुझाई गई आखिरी स्थिति की तुलना मौजूदा स्थिति से करता है 		ट्रीटमेंट बनाम कंट्रोल 2
यह, एंड स्टेटस की तुलना बिना किसी PS API के करता है. 		कंट्रोल ग्रुप 2 बनाम कंट्रोल ग्रुप 1
इसमें तीसरे पक्ष की कुकी के साथ और बिना तीसरे पक्ष की कुकी के, कन्वर्ज़न मेज़रमेंट की तुलना की जाती है. इसके लिए, किसी भी PS API का इस्तेमाल नहीं किया जाता.
मेज़रमेंट का तरीका ट्रीटमेंट (तीसरे पक्ष की कुकी के डेटा के साथ ARA) के लिए कन्वर्ज़न मेज़रमेंट की तुलना, कंट्रोल 1 (तीसरे पक्ष की कुकी और तीसरे पक्ष की कुकी के डेटा) से करें ट्रीटमेंट (तीसरे पक्ष की कुकी के डेटा के साथ ARA) के लिए कन्वर्ज़न मेज़रमेंट की तुलना, कंट्रोल 2 (सिर्फ़ तीसरे पक्ष की कुकी का डेटा) से करें कंट्रोल ग्रुप 2 (सिर्फ़ तीसरे पक्ष की कुकी का डेटा) और कंट्रोल ग्रुप 1 (तीसरे पक्ष की कुकी और तीसरे पक्ष की कुकी का डेटा) के लिए, कन्वर्ज़न मेज़रमेंट की तुलना करना
हर डॉलर के हिसाब से कन्वर्ज़न असर असर असर
मानक गड़बड़ी मानक गड़बड़ी मानक गड़बड़ी
95% कॉन्फ़िडेंस इंटरवल 95% कॉन्फ़िडेंस इंटरवल 95% कॉन्फ़िडेंस इंटरवल
कुल कन्वर्ज़न असर असर असर
मानक गड़बड़ी मानक गड़बड़ी मानक गड़बड़ी
95% कॉन्फ़िडेंस इंटरवल 95% कॉन्फ़िडेंस इंटरवल 95% कॉन्फ़िडेंस इंटरवल
कन्वर्ज़न रेट असर असर असर
मानक गड़बड़ी मानक गड़बड़ी मानक गड़बड़ी
95% कॉन्फ़िडेंस इंटरवल 95% कॉन्फ़िडेंस इंटरवल 95% कॉन्फ़िडेंस इंटरवल
(अपनी मेट्रिक जोड़ें)
(रिपोर्टिंग) टेबल 2:

ट्रीटमेंट और कंट्रोल ग्रुप में मेट्रिक के लिए, जानकारी देने वाले आंकड़ों की रिपोर्टिंग के लिए टेंप्लेट टेबल का उदाहरण (पेज 20 से लिया गया है, लेकिन टेस्टर को यह ध्यान रखना चाहिए कि टेबल में कौनसी मेट्रिक सबसे ज़्यादा काम की / उपलब्ध हैं और उन्हें ज़रूरत के हिसाब से अडजस्ट करें).

मेट्रिक ट्रीटमेंट
ARA और आपके इस्तेमाल किए गए तीसरे पक्ष के अलावा किसी भी कुकी डेटा का इस्तेमाल करके कन्वर्ज़न मेज़रमेंट 		कंट्रोल ग्रुप 1
तीसरे पक्ष की कुकी और ऐसे किसी भी कुकी डेटा का इस्तेमाल करके कन्वर्ज़न मेज़रमेंट करना जिसका इस्तेमाल आपने नहीं किया है 		कंट्रोल 2
सिर्फ़ तीसरे पक्ष की कुकी के डेटा का इस्तेमाल करके कन्वर्ज़न मेज़रमेंट
हर डॉलर के हिसाब से कन्वर्ज़न मध्यमान मध्यमान मध्यमान
स्टैंडर्ड डेविएशन स्टैंडर्ड डेविएशन स्टैंडर्ड डेविएशन
25वां और 75वां पर्सेंटाइल 25वां और 75वां पर्सेंटाइल 25वां और 75वां पर्सेंटाइल
कुल कन्वर्ज़न मध्यमान मध्यमान मध्यमान
स्टैंडर्ड डेविएशन स्टैंडर्ड डेविएशन स्टैंडर्ड डेविएशन
25वां और 75वां पर्सेंटाइल 25वां और 75वां पर्सेंटाइल 25वां और 75वां पर्सेंटाइल
कन्वर्ज़न रेट मध्यमान मध्यमान मध्यमान
स्टैंडर्ड डेविएशन स्टैंडर्ड डेविएशन स्टैंडर्ड डेविएशन
25वां और 75वां पर्सेंटाइल 25वां और 75वां पर्सेंटाइल 25वां और 75वां पर्सेंटाइल
(अपनी मेट्रिक जोड़ें)

दूसरा लक्ष्य - बिडिंग ऑप्टिमाइज़ेशन के लिए, Attribution Reporting API की असरदारता का पता लगाना

हम बिडिंग ऑप्टिमाइज़ेशन पर असर को मेज़र करने के लिए, A/B सेटअप का सुझाव देते हैं.

  • बिडिंग ऑप्टिमाइज़ेशन पर पड़ने वाले असर को मेज़र करने के लिए, आपको दो अलग-अलग मशीन लर्निंग मॉडल को ट्रेनिंग देनी होगी और उन्हें ट्रैफ़िक के दो स्लाइस पर इस्तेमाल करना होगा. एक मॉडल को मौजूदा मेज़रमेंट के तरीकों (तीसरे पक्ष की कुकी + तीसरे पक्ष की कुकी से जुड़ा डेटा) पर ट्रेन किया जाएगा, ताकि उसे कंट्रोल ग्रुप में लागू किया जा सके. वहीं, दूसरे मॉडल को एट्रिब्यूशन रिपोर्टिंग एपीआई + तीसरे पक्ष की कुकी से जुड़े डेटा पर ट्रेन किया जाएगा, ताकि उसे ट्रीटमेंट ग्रुप में लागू किया जा सके.
  • मॉडल की ट्रेनिंग, ज़्यादा से ज़्यादा ट्रैफ़िक पर आधारित होनी चाहिए, ताकि टेस्टर परफ़ॉर्मेंस को बेहतर बना सके. भले ही, ट्रीटमेंट ग्रुप, ट्रैफ़िक का छोटा हिस्सा हो और ट्रेनिंग पॉप्युलेशन के बीच ओवरलैप हो. उदाहरण के लिए, सभी ट्रैफ़िक पर ट्रेनिंग कर रहे तीसरे पक्ष के मौजूदा कुकी मॉडल का इस्तेमाल करें और लक्ष्य 1 के लिए चालू किए गए सभी ARA ट्रैफ़िक पर ARA मॉडल को ट्रेनिंग दें.
    • सीएमए को नतीजे सबमिट करते समय, ध्यान दें कि अलग-अलग मॉडल को ट्रेनिंग देने के लिए इस्तेमाल की गई ट्रैफ़िक स्लाइस में काफ़ी अंतर है या नहीं. उदाहरण के लिए, अगर तीसरे पक्ष की कुकी पर आधारित मॉडल को 100% ट्रैफ़िक पर ट्रेन किया जाता है, लेकिन एआरए पर आधारित मॉडल को सिर्फ़ 1% ट्रैफ़िक पर ट्रेन किया जाता है.
  • अगर हो सके, तो ट्रीटमेंट और कंट्रोल बिडिंग मॉडल, दोनों के लिए ट्रेनिंग एक ही समय तक होनी चाहिए.
  • यह तय करें कि आपको एक्सपेरिमेंट के दौरान, बिडिंग मॉडल को लगातार ट्रेन और अपडेट करना चाहिए या नहीं. अगर आपको ऐसा करना है, तो यह तय करें कि आपको ज़्यादा से ज़्यादा ट्रैफ़िक पर ट्रेनिंग देनी चाहिए या सिर्फ़ ट्रीटमेंट और कंट्रोल ग्रुप के ट्रैफ़िक पर.
  • अलग-अलग मॉडल का इस्तेमाल, A/B एक्सपेरिमेंट के तौर पर ट्रैफ़िक के अलग-अलग हिस्सों पर किया जाना चाहिए. हमारा सुझाव है कि उपयोगकर्ताओं को रैंडमाइज़ करने और उन्हें अलग-अलग ग्रुप में असाइन करने के लिए, Chrome की मदद से लेबल किए गए ब्राउज़र ग्रुप (मोड A) का इस्तेमाल करें. इसके अलावा, ब्राउज़र के रैंडमाइज़ किए गए सेट के साथ अपना प्रयोग भी चलाया जा सकता है. हमारा सुझाव है कि आप मोड B का इस्तेमाल न करें. इसकी वजह यह है कि तीसरे पक्ष की कुकी के न होने से, कन्वर्ज़न पर आधारित मेट्रिक की रिपोर्टिंग करना मुश्किल हो जाएगा.
    • Chrome की मदद से बनाए गए ब्राउज़र ग्रुप में, Enterprise Chrome के उपयोगकर्ताओं जैसे कुछ Chrome इंस्टेंस शामिल नहीं होंगे. हालांकि, हो सकता है कि आपके ब्राउज़र के अपने रैंडमाइज़ किए गए सेट में, ये Chrome इंस्टेंस शामिल हों. इसलिए, आपको अपना एक्सपेरिमेंट सिर्फ़ मोड A ग्रुप पर चलाना चाहिए या सिर्फ़ मोड A/मोड B ग्रुप के बाहर चलाना चाहिए. इससे, Chrome की मदद से बनाए गए ग्रुप से मिली मेट्रिक की तुलना, Chrome की मदद से बनाए गए ग्रुप से बाहर मिली मेट्रिक से करने से बचने में मदद मिलेगी.
    • अगर Chrome की मदद से लेबल किए गए ब्राउज़र ग्रुप का इस्तेमाल नहीं किया जा रहा है, तो (उदाहरण के लिए, दूसरे ट्रैफ़िक पर एक्सपेरिमेंट चलाना):
      • पुष्टि करें कि उपयोगकर्ताओं को ट्रीटमेंट और कंट्रोल ग्रुप में बांटने का तरीका, रैंडम और निष्पक्ष हो. एक्सपेरिमेंट ग्रुप के सेटअप के बावजूद, ट्रीटमेंट और कंट्रोल ग्रुप की विशेषताओं का आकलन करें. इससे यह पुष्टि की जा सकेगी कि ट्रीटमेंट और कंट्रोल ग्रुप की तुलना की जा सकती है या नहीं. (देखें: सेक्शन 15)
      • पुष्टि करें कि ट्रीटमेंट और कंट्रोल ग्रुप के उपयोगकर्ता की विशेषताएं और कैंपेन कॉन्फ़िगरेशन एक जैसे हों. उदाहरण के लिए, ट्रीटमेंट और कंट्रोल, दोनों ग्रुप में एक जैसे भौगोलिक क्षेत्रों का इस्तेमाल करें. (देखें: सेक्शन 28)
        • कुछ खास उदाहरणों में ये शामिल हैं: एक ही एट्रिब्यूशन विंडो और एक ही एट्रिब्यूशन लॉजिक का इस्तेमाल करके, मिलते-जुलते कन्वर्ज़न टाइप को मेज़र किया जा रहा है. साथ ही, कैंपेन मिलती-जुलती ऑडियंस, इंटरेस्ट ग्रुप, और भौगोलिक क्षेत्रों को टारगेट कर रहे हैं. साथ ही, मिलती-जुलती विज्ञापन कॉपी और विज्ञापन फ़ॉर्मैट का इस्तेमाल कर रहे हैं.
      • √ ट्रीटमेंट और कंट्रोल ग्रुप के लिए शुरुआती पॉप्युलेशन साइज़, बिडिंग और एक्सपेरिमेंट के लिए ज़रूरत के मुताबिक हों.
    • अगर Chrome की मदद से लेबल किए गए ब्राउज़र ग्रुप (मोड A) का इस्तेमाल किया जा रहा है, तो Chrome ब्राउज़र के इंस्टेंस को ग्रुप में रैंडमाइज़ करने की प्रोसेस Chrome मैनेज करता है. हमारा सुझाव है कि आप पहले की तरह ही यह देखें कि रैंडमाइज़ेशन की वजह से, आपके काम के लिए बिना किसी पक्षपात के / तुलना किए जा सकने वाले ग्रुप बनें.

विश्लेषण के लिए सुझाए गए पॉइंट

  • हमारा सुझाव है कि आप कंट्रोल और ट्रीटमेंट ग्रुप तय करें. साथ ही, हर ग्रुप के लिए बिडिंग ऑप्टिमाइज़ेशन के लिए, अलग-अलग मशीन लर्निंग मॉडल का इस्तेमाल करें:
    • कंट्रोल 1 - मेज़रमेंट के मौजूदा तरीकों (तीसरे पक्ष की कुकी + तीसरे पक्ष की कुकी का डेटा) पर ट्रेन किए गए बिडिंग ऑप्टिमाइज़ेशन मॉडल का इस्तेमाल करना
    • (ज़रूरी नहीं) दूसरा कंट्रोल - बिडिंग ऑप्टिमाइज़ेशन मॉडल का इस्तेमाल करें. इसे Privacy Sandbox और तीसरे पक्ष की कुकी के बिना ट्रेन किया गया है. इसका मतलब है कि इसमें सिर्फ़ तीसरे पक्ष की कुकी का डेटा शामिल नहीं है
      • ध्यान दें कि कुछ साइटों पर अब भी तीसरे पक्ष की कुछ कुकी उपलब्ध हो सकती हैं. सबसे सटीक नतीजे पाने के लिए, कंट्रोल 2 या ट्रीटमेंट के तरीकों में मेज़रमेंट के लिए, तीसरे पक्ष की उन कुकी का इस्तेमाल न करें.
    • इलाज - Attribution Reporting API और तीसरे पक्ष की कुकी के डेटा पर ट्रेन किए गए बिडिंग ऑप्टिमाइज़ेशन मॉडल का इस्तेमाल करें
      • ध्यान दें कि कुछ साइटों पर अब भी तीसरे पक्ष की कुछ कुकी उपलब्ध हो सकती हैं. सबसे सटीक नतीजे पाने के लिए, कंट्रोल 2 या ट्रीटमेंट के तरीकों में मेज़रमेंट के लिए, तीसरे पक्ष की उन कुकी का इस्तेमाल न करें.

मेट्रिक

  • यह तय करें कि नतीजों को मेज़र करने के लिए, आपके कारोबार के लिए कौनसी मेट्रिक सही हैं. साथ ही, यह भी बताएं कि मेट्रिक का क्या मतलब है और उसे कैसे मेज़र किया जा रहा है.
    • उदाहरण के लिए, काम की मेट्रिक, खर्च (पब्लिशर की आय) हो सकती है. यह "हर इंप्रेशन से होने वाली आय" पर, तीसरे पक्ष की कुकी के इस्तेमाल को बंद करने से होने वाले असर को समझने के लिए, सीएमए के दिशा-निर्देशों के मुताबिक है. ज़्यादा जानकारी के लिए, सेक्शन 19 देखें.
  • अगर किसी कन्वर्ज़न-आधारित मेट्रिक की रिपोर्टिंग की जा रही है, तो आपको हर ग्रुप के लिए एक ही मेज़रमेंट के तरीके का इस्तेमाल करना चाहिए. इससे मल्टीवैरिएबल टेस्टिंग (एक एक्सपेरिमेंट में ऑप्टिमाइज़ेशन और रिपोर्टिंग पर असर की जांच) से बचा जा सकता है. संख्या के हिसाब से फ़ीडबैक को फ़ॉर्मैट करने का तरीका जानने के लिए, सुझाई गई टेंप्लेट टेबल देखें.
  • बिडिंग ऑप्टिमाइज़ेशन के असर से जुड़ी मेट्रिक इकट्ठा करने के लिए, अन्य तरीकों का इस्तेमाल करें. उदाहरण के लिए, सिम्युलेट की गई बिड का इस्तेमाल करना. क्या ऐसी कोई सिम्युलेट की गई मेट्रिक है जो आपके बिडिंग मॉडल पर तीसरे पक्ष की कुकी और एआरए के असर को समझने में मददगार हो सकती है?
  • बताएं कि मेट्रिक, इवेंट-लेवल की रिपोर्ट, खास जानकारी वाली रिपोर्ट या दोनों रिपोर्ट के कॉम्बिनेशन पर आधारित हैं या नहीं. साथ ही, यह भी बताएं कि डीबग रिपोर्ट का इस्तेमाल किया गया था या नहीं.

विश्लेषण

  • कवरेज:
    • क्या तीसरे पक्ष की कुकी की तुलना में, उपयोगकर्ताओं के मिलते-जुलते सेट को मेज़र किया जा सकता है? क्या आपको कवरेज में कोई बदलाव दिख रहा है (उदाहरण के लिए, ऐप्लिकेशन से वेब पर)?
    • क्या आपके पास उन कन्वर्ज़न (और डाइमेंशन/मेट्रिक) को मेज़र करने का विकल्प है जो आपके या विज्ञापन देने वाले लोगों या कंपनियों के लिए सबसे ज़्यादा अहम हैं?
  • ग्रुप के बीच के अंतर से इन पर क्या असर पड़ेगा:
    • विज्ञापन देने वाले की रिपोर्टिंग, उदाहरण के लिए, कितने प्रतिशत मुख्य कन्वर्ज़न रिपोर्ट किए जा सकते हैं.
    • उदाहरण के लिए, ट्रेनिंग और ऑप्टिमाइज़ेशन, मॉडल की परफ़ॉर्मेंस पर अलग-अलग कन्वर्ज़न डेटा के असर को सिम्युलेट करते हैं.
  • क्वालिटी से जुड़ा अन्य सुझाव, शिकायत या राय:
    • ARA का इस्तेमाल करने से, विज्ञापन देने वालों के बिडिंग ऑप्टिमाइज़ेशन सेटअप की जटिलता पर क्या असर पड़ता है?
    • क्या एआरए की मदद से, विज्ञापन देने वाले लोग या कंपनियां उन मेट्रिक और लक्ष्यों पर फ़ोकस कर पाती हैं जो उनके लिए अहम हैं या नहीं?

बिडिंग के असर के लिए सुझाई गई टेंप्लेट टेबल

(बिडिंग) टेबल 1:

एक्सपेरिमेंट के नतीजों की टेंप्लेट टेबल का उदाहरण, जिसे मार्केट में हिस्सा लेने वाले लोगों को सीएमए को सबमिट करना चाहिए (यह टेबल पेज 18 से ली गई है. हालांकि, टेस्टर को यह ध्यान रखना चाहिए कि टेबल में कौनसी मेट्रिक सबसे ज़्यादा काम की / उपलब्ध हैं और उन्हें ज़रूरत के हिसाब से टेबल में शामिल करें).

ट्रीटमेंट बनाम कंट्रोल 1
सुझाई गई आखिरी स्थिति की तुलना मौजूदा स्थिति से करता है 		ट्रीटमेंट बनाम कंट्रोल 2
यह, एंड स्टेटस की तुलना बिना किसी PS API के करता है. 		कंट्रोल ग्रुप 2 बनाम कंट्रोल ग्रुप 1
बिडिंग ऑप्टिमाइज़ेशन की तुलना, तीसरे पक्ष की कुकी के साथ और उसके बिना की जाती है. इसमें किसी भी PS API का इस्तेमाल नहीं किया जाता.
मेज़रमेंट का तरीका मल्टीवेरिएट टेस्टिंग से बचने के लिए, हर एक्सपेरिमेंट में दोनों ग्रुप के लिए कन्वर्ज़न पर आधारित मेट्रिक को मेज़र करने के लिए, तीसरे पक्ष की कुकी और तीसरे पक्ष की कुकी के अलावा अन्य डेटा का इस्तेमाल करें.
हर इंप्रेशन से होने वाली आय असर असर असर
मानक गड़बड़ी मानक गड़बड़ी मानक गड़बड़ी
95% कॉन्फ़िडेंस इंटरवल 95% कॉन्फ़िडेंस इंटरवल 95% कॉन्फ़िडेंस इंटरवल
(अपनी मेट्रिक जोड़ें)
(बिडिंग) टेबल 2:

ट्रीटमेंट और कंट्रोल ग्रुप में मेट्रिक के लिए, जानकारी देने वाले आंकड़ों की रिपोर्टिंग के लिए टेंप्लेट टेबल का उदाहरण (पेज 20 से लिया गया है, लेकिन टेस्टर को यह ध्यान रखना चाहिए कि टेबल में कौनसी मेट्रिक सबसे ज़्यादा काम की / उपलब्ध हैं और उन्हें ज़रूरत के हिसाब से अडजस्ट करें).

ट्रीटमेंट
ARA और तीसरे पक्ष के अलावा किसी अन्य कुकी डेटा का इस्तेमाल करके बिडिंग ऑप्टिमाइज़ेशन 		कंट्रोल ग्रुप 1
तीसरे पक्ष की कुकी और आपके इस्तेमाल किए गए ऐसे किसी भी कुकी डेटा का इस्तेमाल करके बिडिंग ऑप्टिमाइज़ेशन 		कंट्रोल ग्रुप 2
सिर्फ़ तीसरे पक्ष की कुकी के डेटा का इस्तेमाल करके बिडिंग ऑप्टिमाइज़ेशन
मेज़रमेंट का तरीका मल्टीवेरिएट टेस्टिंग से बचने के लिए, सभी ग्रुप में कन्वर्ज़न पर आधारित मेट्रिक को मेज़र करने के लिए, तीसरे पक्ष की कुकी और तीसरे पक्ष की कुकी के अलावा अन्य कुकी के डेटा का इस्तेमाल करें.
हर इंप्रेशन से होने वाली आय मध्यमान मध्यमान मध्यमान
स्टैंडर्ड डेविएशन स्टैंडर्ड डेविएशन स्टैंडर्ड डेविएशन
25वां और 75वां पर्सेंटाइल 25वां और 75वां पर्सेंटाइल 25वां और 75वां पर्सेंटाइल
(अपनी मेट्रिक जोड़ें)

तीसरा लक्ष्य - एग्रीगेशन सेवा की लोड टेस्टिंग

एग्रीगेशन सेवा के लिए लोड टेस्टिंग फ़्रेमवर्क देखें.