मेज़रमेंट टेस्टिंग गाइड

इस गाइड का मकसद, Privacy Sandbox Attribution Reporting API की स्टैंडअलोन टेस्टिंग करने के बारे में जानकारी देना है. ज़्यादा जानकारी के लिए, सेक्शन 12 देखें.

• सीएमए के एक्सपेरिमेंटल डिज़ाइन 1 और 2 में, कंट्रोल और ट्रीटमेंट आर्म के नतीजों का मेज़रमेंट, Relevance APIs की टेस्टिंग से जुड़े दिशा-निर्देश में शामिल है. ऐसा इसलिए, क्योंकि इन एक्सपेरिमेंट का मकसद, Protected Audience और Topics का इस्तेमाल करने की असरदारता की जांच करना है. ज़्यादा जानकारी के लिए, सेक्शन 11 देखें.

शुरू करने से पहले

• Attribution Reporting API को कॉन्फ़िगर और सेट अप करने के बारे में दिशा-निर्देश देखें.
• सीएमए की टेस्टिंग से जुड़ी गाइडलाइन देखें: एक्सपेरिमेंट से जुड़ी जानकारी (नवंबर 2022), टेस्टिंग से जुड़ी गाइडलाइन (जून 2023), और टेस्टिंग से जुड़ी अतिरिक्त गाइडलाइन (अक्टूबर 2023).

आकलन के लक्ष्य और एक्सपेरिमेंट का सुझाया गया सेटअप

पहला लक्ष्य - रिपोर्टिंग के लिए, Attribution Reporting API कितना असरदार है, यह तय करना

हम रिपोर्टिंग पर पड़ने वाले असर को मेज़र करने के लिए, A/A सेटअप का सुझाव देते हैं

• यह प्रस्ताव, कन्वर्ज़न पर आधारित मेट्रिक के आकलन के बारे में सीएमए के दिशा-निर्देशों के मुताबिक है. ज़्यादा जानकारी के लिए, सेक्शन 21 और सेक्शन 12 देखें.
• हम मोड A/B के बजाय इस तरीके को प्राथमिकता देते हैं. इसकी वजह यह है कि एट्रिब्यूशन रिपोर्टिंग एपीआई (एआरए) की टेस्टिंग की जा सकती है. इसके लिए, तीसरे पक्ष की कुकी + तीसरे पक्ष की कुकी के अलावा अन्य डेटा और एआरए + तीसरे पक्ष की कुकी के अलावा अन्य डेटा, दोनों का इस्तेमाल करके इंप्रेशन के एक ही सेट पर कन्वर्ज़न को एक साथ मेज़र किया जा सकता है.
• A/A एक्सपेरिमेंट से, कन्वर्ज़न मेज़रमेंट पर Attribution Reporting API के असर का पता चलता है. उदाहरण के लिए, इससे तीसरे पक्ष की कुकी के न होने की वजह से कन्वर्ज़न रेट में होने वाले बदलावों से बचा जा सकता है.

विश्लेषण के लिए सुझाए गए पॉइंट

• ट्रैफ़िक का ऐसा हिस्सा चुनें जो आंकड़ों के हिसाब से अहम नतीजे पाने के लिए काफ़ी बड़ा हो. साथ ही, उसमें तीसरे पक्ष की कुकी और Privacy Sandbox API, दोनों शामिल हों. आदर्श रूप से, यह सारा ट्रैफ़िक होता है. हालांकि, मोड B (जो तीसरे पक्ष की कुकी को बंद करता है) को छोड़कर.
  • हमारा सुझाव है कि मोड B को A/A एक्सपेरिमेंट से बाहर रखें. ऐसा इसलिए, क्योंकि तीसरे पक्ष की कुकी उपलब्ध नहीं होंगी. साथ ही, एआरए के नतीजों की तुलना, तीसरे पक्ष की कुकी पर आधारित एट्रिब्यूशन के नतीजों से नहीं की जा सकेगी.
  • अगर आपको मोड B को शामिल करना है, तो आपको मोड B के ट्रैफ़िक स्लाइस के लिए डीबग रिपोर्ट चालू करनी चाहिए. डीबग रिपोर्ट की मदद से, कॉन्फ़िगरेशन या लागू करने से जुड़ी किसी भी समस्या को हल किया जा सकता है.
• अगर आपको ट्रैफ़िक के छोटे हिस्से पर टेस्ट करना है, तो हम उम्मीद करते हैं कि आपको मेज़रमेंट के ऐसे नतीजे मिलेंगे जिनमें काफ़ी नॉइज़ होगी. हमारा सुझाव है कि अपने विश्लेषण में यह जानकारी शामिल करें कि ट्रैफ़िक का कितना हिस्सा इस्तेमाल किया गया. साथ ही, यह भी बताएं कि नतीजों की रिपोर्टिंग, नॉइज़ वाली रिपोर्ट के आधार पर की जा रही है या नॉइज़ वाली डीबग रिपोर्ट के आधार पर.
  • खास जानकारी वाली रिपोर्ट के लिए, आपकी खास जानकारी वाली वैल्यू कम हो सकती हैं. साथ ही, एग्रीगेशन सेवा एक ही डिस्ट्रिब्यूशन से नॉइज़ जोड़ेगी, भले ही खास जानकारी वाली वैल्यू कुछ भी हो.
• ट्रैफ़िक के उस हिस्से पर मेज़रमेंट के अलग-अलग तरीकों को आज़माएं
  • कंट्रोल ग्रुप 1 - मेज़रमेंट के मौजूदा तरीकों का इस्तेमाल करें (तीसरे पक्ष की कुकी + तीसरे पक्ष की कुकी के अलावा अन्य कुकी का डेटा)
  • (ज़रूरी नहीं) कंट्रोल ग्रुप 2 - इसमें Privacy Sandbox और तीसरे पक्ष की कुकी का इस्तेमाल नहीं किया जाता. इसका मतलब है कि इसमें सिर्फ़ तीसरे पक्ष की कुकी के अलावा अन्य कुकी का डेटा इस्तेमाल किया जाता है
    • ध्यान दें कि कुछ साइटों के लिए, तीसरे पक्ष की कुछ कुकी अब भी उपलब्ध हो सकती हैं. सबसे सटीक नतीजे पाने के लिए, कंट्रोल 2 या ट्रीटमेंट के तरीकों में मेज़रमेंट के लिए, तीसरे पक्ष की उन कुकी का इस्तेमाल न करें
  • ट्रीटमेंट ग्रुप - Privacy Sandbox API और तीसरे पक्ष की कुकी के अलावा अन्य कुकी का डेटा
    • ध्यान दें कि कुछ साइटों के लिए, तीसरे पक्ष की कुछ कुकी अब भी उपलब्ध हो सकती हैं. सबसे सटीक नतीजे पाने के लिए, कंट्रोल 2 या ट्रीटमेंट के तरीकों में मेज़रमेंट के लिए, तीसरे पक्ष की उन कुकी का इस्तेमाल न करें

मेट्रिक

• तय करें कि आपके कारोबार के लिए, नतीजों को मेज़र करने के लिए कौनसी मेट्रिक काम की हैं. साथ ही, मेट्रिक का मतलब और उसे मेज़र करने के तरीके के बारे में जानकारी शामिल करें.
  • हमारा सुझाव है कि आप उन डाइमेंशन और मेट्रिक पर फ़ोकस करें जो विज्ञापन देने वाले लोगों या कंपनियों के लिए ज़रूरी हैं. उदाहरण के लिए, अगर आपके विज्ञापन देने वाले लोग या कंपनियां, परचेज़ कन्वर्ज़न पर फ़ोकस करती हैं, तो उनके लिए कन्वर्ज़न की संख्या और खरीदारी की वैल्यू मेज़र करें.
• गिनती या योग पर आधारित मेट्रिक (उदाहरण के लिए, कन्वर्ज़न रेट) के साथ काम करना, लागत प्रति (उदाहरण के लिए, हर कन्वर्ज़न की लागत) के मुकाबले ज़्यादा बेहतर होता है. A/A विश्लेषण के लिए, लागत मेट्रिक को कन्वर्ज़न वैल्यू की संख्या या योग से पूरी तरह से निकाला जा सकता है.
• यह बताएं कि मेट्रिक, इवेंट-लेवल की रिपोर्ट, खास जानकारी वाली रिपोर्ट या दोनों रिपोर्ट के कॉम्बिनेशन पर आधारित हैं. साथ ही, यह भी बताएं कि क्या डीबग रिपोर्ट का इस्तेमाल किया गया था.
• क्वांटिटेटिव फ़ीडबैक को फ़ॉर्मैट करने के तरीके के बारे में जानने के लिए, सुझाई गई टेंप्लेट टेबल देखें.

विश्लेषण

• कवरेज:
  • क्या तीसरे पक्ष की कुकी की तुलना में, उपयोगकर्ताओं के एक जैसे सेट को मेज़र किया जा सकता है? क्या आपको ज़्यादा कवरेज दिख रहा है (जैसे, ऐप्लिकेशन से वेब पर रीडायरेक्ट करने वाले विज्ञापन)?
  • क्या आपके पास उन कन्वर्ज़न (और डाइमेंशन या मेट्रिक) को मेज़र करने का विकल्प है जो आपके या विज्ञापन देने वाले लोगों या कंपनियों के लिए सबसे ज़्यादा ज़रूरी हैं?
• क्वांटिटेटिव फ़ीडबैक
  • विज्ञापन देने वाले व्यक्ति या कंपनी की रिपोर्टिंग के लिए, उदाहरण के लिए, विज्ञापन देने वाले उस व्यक्ति या कंपनी के लिए, कितने प्रतिशत मुख्य कन्वर्ज़न रिपोर्ट किए जा सकते हैं या कितने प्रतिशत कैंपेन, रिपोर्टिंग क्वालिटी बार को पूरा करते हैं (क्वालिटी बार तय करने से, कम कन्वर्ज़न वाले कैंपेन को अडजस्ट करने में मदद मिलती है)
  • विज्ञापन देने वाले व्यक्ति या कंपनी के हिसाब से स्लाइस किया गया. उदाहरण के लिए, क्या विज्ञापन देने वाले कुछ लोग या कंपनियां, रिपोर्टिंग के लिए आज तीसरे पक्ष की कुकी पर ज़्यादा या कम निर्भर हैं?
• क्वालिटेटिव फ़ीडबैक के अन्य उदाहरण:
  • एआरए, विज्ञापन देने वाले लोगों या कंपनियों के मेज़रमेंट/एट्रिब्यूशन सेटअप की जटिलता पर कैसे असर डालता है?
  • क्या एआरए, विज्ञापन देने वाले लोगों या कंपनियों को उन मेट्रिक और लक्ष्यों पर फ़ोकस करने में मदद करता है जो उनके लिए अहम हैं या इसमें रुकावट डालता है?

असर की रिपोर्टिंग के लिए, सुझाई गई टेंप्लेट टेबल

(रिपोर्टिंग) पहली टेबल:

सीएमए को एक्सपेरिमेंट के नतीजे रिपोर्ट करने के लिए, टेंप्लेट टेबल का उदाहरण (पेज 18 से लिया गया है. हालांकि, टेस्टर को यह तय करना चाहिए कि कौनसी मेट्रिक सबसे ज़्यादा काम की हैं / उपलब्ध कराई जा सकती हैं. साथ ही, ज़रूरत के मुताबिक टेबल में बदलाव करना चाहिए).

(रिपोर्टिंग) टेबल 2:

ट्रीटमेंट और कंट्रोल ग्रुप में मेट्रिक के लिए, ब्यौरे वाली खास जानकारी की रिपोर्टिंग के लिए, टेंप्लेट टेबल का उदाहरण (पेज 20 से लिया गया है. हालांकि, टेस्टर को यह तय करना चाहिए कि कौनसी मेट्रिक सबसे अहम / उपलब्ध हैं और टेबल को ज़रूरत के मुताबिक बनाना चाहिए).

दूसरा लक्ष्य - बिडिंग को ऑप्टिमाइज़ करने के लिए, Attribution Reporting API की परफ़ॉर्मेंस का आकलन करना

हम बिडिंग ऑप्टिमाइज़ेशन पर पड़ने वाले असर को मेज़र करने के लिए, A/B सेटअप का सुझाव देते हैं.

• बिडिंग ऑप्टिमाइज़ेशन पर पड़ने वाले असर का आकलन करने के लिए, आपको दो अलग-अलग मशीन लर्निंग मॉडल को ट्रेन करना होगा. साथ ही, उन्हें ट्रैफ़िक के दो स्लाइस पर इस्तेमाल करना होगा. कंट्रोल आर्म पर, मौजूदा मेज़रमेंट के तरीकों (तीसरे पक्ष की कुकी + तीसरे पक्ष की कुकी के अलावा अन्य डेटा) के आधार पर ट्रेन किए गए मॉडल का इस्तेमाल करना होगा. वहीं, ट्रीटमेंट आर्म पर, Attribution Reporting API + तीसरे पक्ष की कुकी के अलावा अन्य डेटा के आधार पर ट्रेन किए गए मॉडल का इस्तेमाल करना होगा.
• मॉडल की ट्रेनिंग, टेस्टर के हिसाब से ज़्यादा से ज़्यादा ट्रैफ़िक पर आधारित होनी चाहिए, ताकि परफ़ॉर्मेंस को ज़्यादा से ज़्यादा बढ़ाया जा सके. भले ही, ट्रीटमेंट ग्रुप में ट्रैफ़िक का छोटा हिस्सा हो और ट्रेनिंग पापुलेशन में ओवरलैप हो. उदाहरण के लिए, मौजूदा तीसरे पक्ष की कुकी मॉडल का इस्तेमाल करें, जो सभी ट्रैफ़िक पर ट्रेनिंग दे रहा है. साथ ही, ARA मॉडल को Goal 1 के लिए चालू किए गए सभी ARA ट्रैफ़िक पर ट्रेन करें.
  • अगर सीएमए को नतीजे सबमिट किए जा रहे हैं, तो ध्यान दें कि अलग-अलग मॉडल को ट्रेनिंग देने के लिए इस्तेमाल किए गए ट्रैफ़िक स्लाइस के बीच कोई बड़ा अंतर तो नहीं है. उदाहरण के लिए, अगर तीसरे पक्ष की कुकी पर आधारित मॉडल को 100% ट्रैफ़िक पर ट्रेन किया जाता है, लेकिन एआरए पर आधारित मॉडल को सिर्फ़ 1% ट्रैफ़िक पर ट्रेन किया जाता है.
• अगर हो सके, तो ट्रीटमेंट और कंट्रोल, दोनों बिडिंग मॉडल को एक ही समय तक ट्रेनिंग दी जानी चाहिए.
• यह तय करें कि आपको एक्सपेरिमेंट के दौरान, बिडिंग मॉडल को लगातार ट्रेन और अपडेट करना है या नहीं. अगर हां, तो आपको ज़्यादा से ज़्यादा ट्रैफ़िक पर ट्रेन करना चाहिए या सिर्फ़ ट्रीटमेंट और कंट्रोल ग्रुप के ट्रैफ़िक पर.
• अलग-अलग मॉडल को, ट्रैफ़िक के अलग-अलग हिस्सों पर A/B एक्सपेरिमेंट के तौर पर इस्तेमाल किया जाना चाहिए. हमारा सुझाव है कि उपयोगकर्ता को रैंडम तरीके से चुनने और उन्हें ट्रीटमेंट और कंट्रोल ग्रुप में असाइन करने के लिए, Chrome की मदद से लेबल किए गए ब्राउज़र ग्रुप (मोड A) का इस्तेमाल करें. इसके अलावा, ब्राउज़र के रैंडम सेट के साथ अपना एक्सपेरिमेंट भी चलाया जा सकता है. हम मोड B का इस्तेमाल करने का सुझाव नहीं देते, क्योंकि तीसरे पक्ष की कुकी के न होने से, कन्वर्ज़न पर आधारित मेट्रिक की रिपोर्ट बनाना मुश्किल हो जाएगा.
  • Chrome की मदद से बनाए गए ब्राउज़र ग्रुप में, Enterprise Chrome का इस्तेमाल करने वाले लोगों जैसे कुछ Chrome इंस्टेंस शामिल नहीं किए जाएंगे. हालांकि, आपके रैंडमाइज़ किए गए ब्राउज़र के सेट में, इन Chrome इंस्टेंस को शामिल किया जा सकता है. इसलिए, आपको अपना एक्सपेरिमेंट सिर्फ़ मोड A वाले ग्रुप पर या सिर्फ़ मोड A/मोड B वाले ग्रुप पर चलाना चाहिए. इससे, Chrome की सुविधा वाले ग्रुप से मिली मेट्रिक की तुलना, Chrome की सुविधा वाले ग्रुप के बाहर से मिली मेट्रिक से नहीं की जाएगी.
  • अगर Chrome की मदद से लेबल किए गए ब्राउज़र ग्रुप का इस्तेमाल नहीं किया जा रहा है (उदाहरण के लिए, दूसरे ट्रैफ़िक पर एक्सपेरिमेंट चलाना):
    • पुष्टि करें कि उपयोगकर्ताओं को ट्रीटमेंट और कंट्रोल ग्रुप में रैंडम तरीके से बांटा गया हो और इसमें कोई पक्षपात न किया गया हो. एक्सपेरिमेंट ग्रुप के सेटअप से कोई फ़र्क़ नहीं पड़ता. ट्रीटमेंट और कंट्रोल ग्रुप की तुलना करने के लिए, ट्रीटमेंट और कंट्रोल ग्रुप की विशेषताओं का आकलन करें. (देखें: सेक्शन 15)
    • पुष्टि करें कि ट्रीटमेंट और कंट्रोल ग्रुप के उपयोगकर्ताओं की विशेषताएं और कैंपेन कॉन्फ़िगरेशन एक जैसे हों. उदाहरण के लिए, ट्रीटमेंट और कंट्रोल ग्रुप, दोनों में एक जैसे भौगोलिक क्षेत्रों का इस्तेमाल करें. (देखें: सेक्शन 28)
      • उदाहरण के लिए: पुष्टि करें कि एक जैसे कन्वर्ज़न टाइप को एक ही एट्रिब्यूशन विंडो और एक ही एट्रिब्यूशन लॉजिक का इस्तेमाल करके मेज़र किया जा रहा है. साथ ही, कैंपेन एक जैसी ऑडियंस, दिलचस्पी वाले ग्रुप, और भौगोलिक क्षेत्रों को टारगेट कर रहे हैं. इसके अलावा, वे एक जैसी विज्ञापन कॉपी और विज्ञापन फ़ॉर्मैट का इस्तेमाल कर रहे हैं.
    • √ ट्रीटमेंट और कंट्रोल ग्रुप के लिए शुरुआती आबादी का साइज़ इतना बड़ा हो कि बिडिंग और एक्सपेरिमेंट के लिए फ़्लेक्सिबिलिटी मिल सके.
  • अगर Chrome की मदद से लेबल किए गए ब्राउज़र ग्रुप (मोड A) का इस्तेमाल किया जा रहा है, तो Chrome ब्राउज़र के इंस्टेंस को ग्रुप में रैंडम तरीके से बांटने का काम Chrome करता है. हमारा सुझाव है कि आप पहले की तरह यह जांच करें कि रैंडमाइज़ेशन के नतीजे, आपके मकसद के लिए निष्पक्ष / तुलना किए जा सकने वाले ग्रुप में मिलते हैं या नहीं.

विश्लेषण के लिए सुझाए गए पॉइंट

• हमारा सुझाव है कि कंट्रोल और ट्रीटमेंट ग्रुप तय करें. साथ ही, हर ग्रुप के लिए बिडिंग ऑप्टिमाइज़ेशन के लिए अलग-अलग मशीन लर्निंग मॉडल का इस्तेमाल करें:
  • कंट्रोल ग्रुप 1 - मौजूदा मेज़रमेंट के तरीकों (तीसरे पक्ष की कुकी + तीसरे पक्ष की कुकी के अलावा अन्य कुकी का डेटा) के आधार पर ट्रेन किए गए बिडिंग ऑप्टिमाइज़ेशन मॉडल का इस्तेमाल करना
  • (ज़रूरी नहीं) कंट्रोल ग्रुप 2 - ऐसे बिडिंग ऑप्टिमाइज़ेशन मॉडल का इस्तेमाल करें जिसे Privacy Sandbox और तीसरे पक्ष की कुकी के डेटा के बिना ट्रेन किया गया हो. इसका मतलब है कि सिर्फ़ तीसरे पक्ष की कुकी के डेटा का इस्तेमाल न किया गया हो
    • ध्यान दें कि कुछ साइटों के लिए, तीसरे पक्ष की कुछ कुकी अब भी उपलब्ध हो सकती हैं. सबसे सटीक नतीजे पाने के लिए, Control 2 या ट्रीटमेंट के तरीकों में मेज़रमेंट के लिए, तीसरे पक्ष की उन कुकी का इस्तेमाल न करें.
  • ट्रीटमेंट - Attribution Reporting API और तीसरे पक्ष की कुकी के डेटा के आधार पर ट्रेन किए गए बिडिंग ऑप्टिमाइज़ेशन मॉडल का इस्तेमाल करें
    • ध्यान दें कि कुछ साइटों के लिए, तीसरे पक्ष की कुछ कुकी अब भी उपलब्ध हो सकती हैं. सबसे सटीक नतीजे पाने के लिए, Control 2 या ट्रीटमेंट के तरीकों में मेज़रमेंट के लिए, तीसरे पक्ष की उन कुकी का इस्तेमाल न करें.

मेट्रिक

• तय करें कि आपके कारोबार के लिए, नतीजों को मेज़र करने के लिए कौनसी मेट्रिक काम की हैं. साथ ही, मेट्रिक का मतलब और उसे मेज़र करने के तरीके के बारे में जानकारी शामिल करें.
  • उदाहरण के लिए, अहम मेट्रिक, खर्च (पब्लिशर का रेवेन्यू) हो सकती है. यह "हर इंप्रेशन से मिलने वाले रेवेन्यू" पर तीसरे पक्ष की कुकी के इस्तेमाल को बंद करने से पड़ने वाले असर को समझने के लिए, CMA के दिशा-निर्देशों के मुताबिक है. ज़्यादा जानकारी के लिए, सेक्शन 19 देखें.
• अगर कन्वर्ज़न पर आधारित किसी मेट्रिक की रिपोर्टिंग की जा रही है, तो आपको हर ग्रुप के लिए मेज़रमेंट की एक ही तरीके का इस्तेमाल करना चाहिए. इससे मल्टीवैरिएट टेस्टिंग (एक ही एक्सपेरिमेंट में ऑप्टिमाइज़ेशन और रिपोर्टिंग पर असर की जांच करना) से बचा जा सकता है. क्वांटिटेटिव फ़ीडबैक को फ़ॉर्मैट करने के तरीके के बारे में जानने के लिए, सुझाई गई टेंप्लेट टेबल देखें.
• बिडिंग ऑप्टिमाइज़ेशन के असर से जुड़ी मेट्रिक इकट्ठा करने के अन्य तरीकों का इस्तेमाल करें. उदाहरण के लिए, बिड सिम्युलेट करना. क्या कोई ऐसी सिम्युलेटेड मेट्रिक है जिससे यह समझने में मदद मिलेगी कि तीसरे पक्ष की कुकी और एआरए का असर, आपके बिडिंग मॉडल पर क्या पड़ेगा?
• यह बताएं कि मेट्रिक, इवेंट-लेवल की रिपोर्ट, खास जानकारी वाली रिपोर्ट या दोनों रिपोर्ट के कॉम्बिनेशन पर आधारित हैं. साथ ही, यह भी बताएं कि क्या डीबग रिपोर्ट का इस्तेमाल किया गया था.

विश्लेषण

• कवरेज:
  • क्या तीसरे पक्ष की कुकी की तुलना में, उपयोगकर्ताओं के एक जैसे सेट को मेज़र किया जा सकता है? क्या आपको कवरेज में कोई बदलाव दिख रहा है? जैसे, ऐप्लिकेशन से वेब पर स्विच करने की सुविधा के साथ?
  • क्या आपके पास उन कन्वर्ज़न (और डाइमेंशन/मेट्रिक) को मेज़र करने का विकल्प है जो आपके या विज्ञापन देने वाले लोगों या कंपनियों के लिए सबसे ज़्यादा ज़रूरी हैं?
• ग्रुप के बीच के अंतर से, इन पर क्या असर पड़ेगा:
  • विज्ञापन देने वाले व्यक्ति या कंपनी के लिए रिपोर्टिंग. उदाहरण के लिए, मुख्य कन्वर्ज़न का कितना प्रतिशत रिपोर्ट किया जा सकेगा.
  • ट्रेनिंग और ऑप्टिमाइज़ेशन. उदाहरण के लिए, मॉडल की परफ़ॉर्मेंस पर अलग-अलग कन्वर्ज़न डेटा के असर का अनुमान लगाना.
• क्वालिटेटिव फ़ीडबैक के अन्य उदाहरण:
  • एआरए से, विज्ञापन देने वाले लोगों या कंपनियों के बिडिंग ऑप्टिमाइज़ेशन सेटअप की जटिलता पर क्या असर पड़ता है?
  • क्या एआरए की मदद से, विज्ञापन देने वाले लोग या कंपनियां उन मेट्रिक और लक्ष्यों पर फ़ोकस कर पाती हैं जो उनके लिए अहम हैं या इससे उन्हें ऐसा करने में मुश्किल होती है?

बिडिंग पर पड़ने वाले असर के लिए, सुझाई गई टेंप्लेट टेबल

(बिडिंग) पहली टेबल:

एक्सपेरिमेंट के नतीजों की टेंप्लेट टेबल का उदाहरण. मार्केट में शामिल लोगों या कंपनियों को यह टेबल, सीएमए को सबमिट करनी चाहिए (यह पेज 18 से लिया गया है. हालांकि, टेस्टर को यह तय करना चाहिए कि कौनसी मेट्रिक सबसे ज़्यादा काम की हैं या उन्हें उपलब्ध कराना आसान है. साथ ही, उन्हें टेबल को ज़रूरत के हिसाब से बदलना चाहिए).

(बिडिंग) दूसरी टेबल:

ट्रीटमेंट और कंट्रोल ग्रुप में मेट्रिक के लिए, ब्यौरे वाली खास जानकारी की रिपोर्टिंग के लिए, टेंप्लेट टेबल का उदाहरण (पेज 20 से लिया गया है. हालांकि, टेस्टर को यह तय करना चाहिए कि कौनसी मेट्रिक सबसे अहम / उपलब्ध हैं और टेबल को ज़रूरत के मुताबिक बनाना चाहिए).

तीसरा लक्ष्य - एग्रीगेशन सेवा की लोड टेस्टिंग करना

एग्रीगेशन सेवा के लोड टेस्टिंग फ़्रेमवर्क के बारे में जानें.