পরিমাপ পরীক্ষার নির্দেশিকা

এই নির্দেশিকার লক্ষ্য হল প্রাইভেসি স্যান্ডবক্স অ্যাট্রিবিউশন রিপোর্টিং API-এর একটি স্বতন্ত্র পরীক্ষা চালানোর বিষয়ে নির্দেশিকা প্রদান করা। আরও বিস্তারিত জানার জন্য, দেখুন: বিভাগ 12 ।

• CMA-এর পরীক্ষামূলক নকশা 1 এবং 2-তে নিয়ন্ত্রণ এবং চিকিৎসা শাখার ফলাফল পরিমাপ প্রাসঙ্গিকতা API পরীক্ষার নির্দেশিকাতে অন্তর্ভুক্ত করা হয়েছে, কারণ এই পরীক্ষাগুলির লক্ষ্য হল সুরক্ষিত শ্রোতা এবং বিষয়গুলি ব্যবহারের কার্যকারিতা পরীক্ষা করা। আরও বিস্তারিত জানার জন্য, বিভাগ 11 দেখুন।

শুরু করার আগে

• অ্যাট্রিবিউশন রিপোর্টিং API কনফিগার এবং সেট আপ করার নির্দেশিকা পর্যালোচনা করুন।
• CMA পরীক্ষার নির্দেশিকা পর্যালোচনা করুন: পরীক্ষামূলক নোট (নভেম্বর ২০২২), পরীক্ষার নির্দেশিকা (জুন ২০২৩) এবং অতিরিক্ত পরীক্ষার নির্দেশিকা (অক্টোবর ২০২৩)।

মূল্যায়ন লক্ষ্য এবং প্রস্তাবিত পরীক্ষামূলক সেটআপ

লক্ষ্য ১ - রিপোর্টিংয়ের জন্য অ্যাট্রিবিউশন রিপোর্টিং API-এর কার্যকারিতা নির্ধারণ করা

প্রতিবেদনের উপর প্রভাব পরিমাপ করার জন্য আমরা একটি A/A সেটআপ প্রস্তাব করছি

• এই প্রস্তাবটি রূপান্তর-ভিত্তিক মেট্রিক্সের মূল্যায়নের উপর CMA নির্দেশিকার সাথে সামঞ্জস্যপূর্ণ। আরও বিস্তারিত জানার জন্য, বিভাগ 21 এবং বিভাগ 12 দেখুন।
• আমরা মোড A/B এর চেয়ে এই পদ্ধতিটি পছন্দ করি কারণ অ্যাট্রিবিউশন রিপোর্টিং API (ARA) পরীক্ষা করার জন্য দুটি ভিন্ন পরিমাপ পদ্ধতি (তৃতীয় পক্ষের কুকি + অ-তৃতীয় পক্ষের কুকি ডেটা এবং ARA + অ-তৃতীয় পক্ষের কুকি ডেটা) ব্যবহার করে একই ইম্প্রেশনের সেটে রূপান্তর পরিমাপ করা যেতে পারে।
• একটি A/A পরীক্ষা রূপান্তর পরিমাপের উপর অ্যাট্রিবিউশন রিপোর্টিং API-এর প্রভাবকেও আলাদা করে (উদাহরণস্বরূপ, এটি তৃতীয় পক্ষের কুকিজের অভাবের কারণে রূপান্তর হারে যেকোনো পরিবর্তন এড়ায়)।

বিশ্লেষণের প্রস্তাবিত বিষয়গুলি

• পরিসংখ্যানগতভাবে উল্লেখযোগ্য ফলাফল পাওয়ার জন্য যথেষ্ট বড় ট্র্যাফিকের একটি অংশ বেছে নিন এবং এতে তৃতীয় পক্ষের কুকি এবং গোপনীয়তা স্যান্ডবক্স API উভয়ই রয়েছে। আদর্শভাবে, মোড B (যা তৃতীয় পক্ষের কুকিজ অক্ষম করে) ব্যতীত, এটি সমস্ত ট্র্যাফিক।
  • আমরা A/A পরীক্ষা থেকে মোড B বাদ দেওয়ার পরামর্শ দিচ্ছি, কারণ তৃতীয় পক্ষের কুকিজ পাওয়া যাবে না এবং আপনি ARA ফলাফলের সাথে তৃতীয় পক্ষের কুকি-ভিত্তিক অ্যাট্রিবিউশন ফলাফলের তুলনা করতে পারবেন না।
  • যদি আপনি মোড B অন্তর্ভুক্ত করতে চান, তাহলে আপনার মোড B ট্র্যাফিকের জন্য ডিবাগ রিপোর্ট সক্রিয় করার কথা বিবেচনা করা উচিত। ডিবাগ রিপোর্টগুলি আপনাকে যেকোনো কনফিগারেশন বা বাস্তবায়ন সমস্যা সমাধানে সহায়তা করবে।
• যদি আপনি ট্র্যাফিকের একটি ছোট অংশে পরীক্ষা করার পরিকল্পনা করেন, তাহলে আমরা আশা করি আপনি প্রত্যাশার চেয়ে বেশি শব্দযুক্ত পরিমাপের ফলাফল পাবেন। আমরা আপনার বিশ্লেষণে উল্লেখ করার পরামর্শ দিচ্ছি যে ট্র্যাফিকের কত অংশ ব্যবহার করা হয়েছে এবং আপনি শব্দহীন প্রতিবেদনের উপর ভিত্তি করে ফলাফল রিপোর্ট করছেন নাকি শব্দহীন ডিবাগ প্রতিবেদনের উপর ভিত্তি করে।
  • সারাংশ প্রতিবেদনের জন্য, আপনার সারাংশের মান সম্ভবত কম হবে এবং সারাংশের মান যাই হোক না কেন, Aggregation Service একই বিতরণ থেকে শব্দ যোগ করবে।
• ট্র্যাফিকের সেই অংশে বিভিন্ন পরিমাপ পদ্ধতি পরীক্ষা করুন
  • নিয়ন্ত্রণ ১ - বর্তমান পরিমাপ পদ্ধতি ব্যবহার করুন (তৃতীয় পক্ষের কুকি + অ-তৃতীয় পক্ষের কুকিজ ডেটা)
  • (ঐচ্ছিক) নিয়ন্ত্রণ ২ - কোনও গোপনীয়তা স্যান্ডবক্স এবং কোনও তৃতীয় পক্ষের কুকি নেই, অর্থাৎ, শুধুমাত্র অ-তৃতীয় পক্ষের কুকি ডেটা
    • মনে রাখবেন যে কিছু সাইটে এখনও কিছু তৃতীয় পক্ষের কুকিজ উপলব্ধ থাকতে পারে - সবচেয়ে সঠিক ফলাফলের জন্য, নিয়ন্ত্রণ 2 বা চিকিত্সা পদ্ধতিতে পরিমাপের জন্য সেই তৃতীয় পক্ষের কুকিজ ব্যবহার করবেন না।
  • চিকিৎসা - গোপনীয়তা স্যান্ডবক্স API এবং নন-থার্ড-পার্টি কুকিজ ডেটা
    • মনে রাখবেন যে কিছু সাইটে এখনও কিছু তৃতীয় পক্ষের কুকিজ উপলব্ধ থাকতে পারে - সবচেয়ে সঠিক ফলাফলের জন্য, নিয়ন্ত্রণ 2 বা চিকিত্সা পদ্ধতিতে পরিমাপের জন্য সেই তৃতীয় পক্ষের কুকিজ ব্যবহার করবেন না।

মেট্রিক্স

• আপনার ব্যবসার ফলাফল পরিমাপের জন্য কোন মেট্রিক্স যুক্তিসঙ্গত তা নির্ধারণ করুন এবং মেট্রিকের অর্থ কী এবং এটি কীভাবে পরিমাপ করা হচ্ছে তার একটি বিবরণ অন্তর্ভুক্ত করুন।
  • আমরা আপনার বিজ্ঞাপনদাতাদের জন্য গুরুত্বপূর্ণ মাত্রা এবং মেট্রিক্সের উপর মনোযোগ দেওয়ার পরামর্শ দিচ্ছি। উদাহরণস্বরূপ, যদি আপনার বিজ্ঞাপনদাতারা ক্রয় রূপান্তরের উপর মনোযোগ দেন, তাহলে তাদের জন্য রূপান্তরের সংখ্যা এবং ক্রয় মূল্য পরিমাপ করুন।
• গণনা বা যোগফলের উপর ভিত্তি করে মেট্রিক্স (উদাহরণস্বরূপ, রূপান্তর হার) ব্যবহার করা আরও আদর্শ, প্রতি খরচের (উদাহরণস্বরূপ, প্রতি রূপান্তরের খরচ) বিপরীতে। A/A বিশ্লেষণের জন্য, খরচের মেট্রিক্স সম্পূর্ণরূপে গণনা বা যোগফলের রূপান্তর মান থেকে নেওয়া যেতে পারে।
• মেট্রিকগুলি ইভেন্ট-লেভেল রিপোর্ট, সারাংশ রিপোর্ট, নাকি উভয় রিপোর্টের সংমিশ্রণের উপর ভিত্তি করে তৈরি করা হয়েছে (এবং ডিবাগ রিপোর্ট ব্যবহার করা হয়েছে কিনা) তা উল্লেখ করুন।
• পরিমাণগত প্রতিক্রিয়া কীভাবে বিন্যাস করতে হয় তার নির্দেশনার জন্য প্রস্তাবিত টেমপ্লেট টেবিলগুলি দেখুন।

বিশ্লেষণ

• কভারেজ:
  • থার্ড-পার্টি কুকির তুলনায় আপনি কি একই ধরণের ব্যবহারকারীর সংখ্যা পরিমাপ করতে পারবেন? আপনি কি বেশি কভারেজ দেখতে পাচ্ছেন (যেমন অ্যাপ-টু-ওয়েব ব্যবহার করে)?
  • আপনি কি আপনার বা আপনার বিজ্ঞাপনদাতাদের সবচেয়ে বেশি পছন্দের রূপান্তরগুলি (এবং মাত্রা বা মেট্রিক্স) পরিমাপ করতে সক্ষম?
• পরিমাণগত প্রতিক্রিয়া
  • উদাহরণস্বরূপ, বিজ্ঞাপনদাতার প্রতিবেদনের ক্ষেত্রে, আপনি সেই বিজ্ঞাপনদাতার জন্য কত শতাংশ মূল রূপান্তর রিপোর্ট করতে পারবেন, অথবা কত শতাংশ প্রচারণা একটি প্রতিবেদনের মান বার পূরণ করে (একটি মান বার তৈরি করলে ছোট রূপান্তর সংখ্যা সহ প্রচারণাগুলির জন্য সামঞ্জস্য করতে সাহায্য করে)
  • উদাহরণস্বরূপ, বিজ্ঞাপনদাতাদের দ্বারা কাটা, এমন কিছু বিজ্ঞাপনদাতা আছেন যারা আজকাল রিপোর্ট করার জন্য তৃতীয় পক্ষের কুকিজের উপর কমবেশি নির্ভরশীল?
• অন্যান্য গুণগত প্রতিক্রিয়া:
  • বিজ্ঞাপনদাতাদের পরিমাপ/অ্যাট্রিবিউশন সেটআপের জটিলতাকে ARA কীভাবে প্রভাবিত করে?
  • ARA কি বিজ্ঞাপনদাতাদের তাদের জন্য গুরুত্বপূর্ণ মেট্রিক্স এবং লক্ষ্যগুলিতে মনোনিবেশ করতে সাহায্য করে নাকি বাধা দেয়?

প্রভাব রিপোর্ট করার জন্য প্রস্তাবিত টেমপ্লেট টেবিল

(রিপোর্টিং) টেবিল ১:

CMA-তে পরীক্ষামূলক ফলাফল রিপোর্ট করার জন্য টেমপ্লেট টেবিলের উদাহরণ ( পৃষ্ঠা 18 থেকে নেওয়া হয়েছে, তবে পরীক্ষকদের বিবেচনা করা উচিত কোন মেট্রিক্সগুলি প্রদান করা সবচেয়ে অর্থবহ / সম্ভাব্য এবং প্রয়োজন অনুসারে টেবিলটি অভিযোজিত করা) ।

(রিপোর্টিং) টেবিল ২:

চিকিৎসা এবং নিয়ন্ত্রণ গোষ্ঠীতে মেট্রিক্সের বর্ণনামূলক পরিসংখ্যান রিপোর্ট করার জন্য উদাহরণ টেমপ্লেট টেবিল ( পৃষ্ঠা 20 থেকে নেওয়া হয়েছে, তবে পরীক্ষকদের বিবেচনা করা উচিত কোন মেট্রিক্সগুলি প্রদান করা সবচেয়ে অর্থবহ / সম্ভাব্য এবং প্রয়োজন অনুসারে টেবিলটি অভিযোজিত করা) ।

লক্ষ্য ২ - বিডিং অপ্টিমাইজেশনের জন্য অ্যাট্রিবিউশন রিপোর্টিং API-এর কার্যকারিতা নির্ধারণ করা

বিডিং অপ্টিমাইজেশনের উপর প্রভাব পরিমাপ করার জন্য আমরা একটি A/B সেটআপ প্রস্তাব করছি।

• বিডিং অপ্টিমাইজেশনের প্রভাব পরিমাপ করার জন্য, আপনাকে দুটি ভিন্ন মেশিন লার্নিং মডেল প্রশিক্ষণ দিতে হবে এবং দুটি ট্র্যাফিকের উপর সেগুলি ব্যবহার করতে হবে - একটি মডেল বর্তমান পরিমাপ পদ্ধতিতে প্রশিক্ষিত (তৃতীয় পক্ষের কুকি + অ-তৃতীয় পক্ষের-কুকি ডেটা) যা নিয়ন্ত্রণ বাহুতে প্রয়োগ করা হবে, এবং একটি মডেল অ্যাট্রিবিউশন রিপোর্টিং API + অ-তৃতীয় পক্ষের-কুকি ডেটা যা চিকিত্সা বাহুতে প্রয়োগ করা হবে।
• মডেল প্রশিক্ষণটি পারফরম্যান্স সর্বাধিক করার জন্য পরীক্ষক যতটা প্রয়োজনীয় মনে করেন তার উপর ভিত্তি করে হওয়া উচিত, এমনকি যদি চিকিৎসা শাখাটি ট্র্যাফিকের একটি ছোট অংশ হয় এবং প্রশিক্ষণ জনসংখ্যার মধ্যে ওভারল্যাপ থাকে (উদাহরণস্বরূপ, বিদ্যমান তৃতীয়-পক্ষের কুকি মডেলটি ব্যবহার করুন যা সমস্ত ট্র্যাফিকের উপর প্রশিক্ষণ দিচ্ছে, এবং লক্ষ্য 1 এর জন্য সক্ষম সমস্ত ARA ট্র্যাফিকের উপর ARA মডেলটিকে প্রশিক্ষণ দিন)।
  • CMA-তে ফলাফল জমা দেওয়ার সময়, বিভিন্ন মডেলকে প্রশিক্ষণের জন্য ব্যবহৃত ট্র্যাফিক স্লাইসের মধ্যে উল্লেখযোগ্য পার্থক্য আছে কিনা তা লক্ষ্য করুন (উদাহরণস্বরূপ, যদি তৃতীয় পক্ষের কুকি-ভিত্তিক মডেলগুলিকে ১০০% ট্র্যাফিকের উপর প্রশিক্ষণ দেওয়া হয় কিন্তু ARA-ভিত্তিক মডেলগুলিকে কেবল ১% ট্র্যাফিকের উপর প্রশিক্ষণ দেওয়া হয়)।
• যদি সম্ভব হয়, চিকিৎসা এবং নিয়ন্ত্রণ বিডিং মডেল উভয়ের প্রশিক্ষণ একই সময়ের জন্য অনুষ্ঠিত হওয়া উচিত।
• পরীক্ষা চলাকালীন আপনার কি ক্রমাগত বিডিং মডেলগুলিকে প্রশিক্ষণ এবং আপডেট করা উচিত এবং যদি তা করেন, তাহলে আপনার কি যতটা সম্ভব ট্র্যাফিকের উপর প্রশিক্ষণ দেওয়া উচিত নাকি শুধুমাত্র ট্রিটমেন্ট এবং কন্ট্রোল আর্মস থেকে ট্র্যাফিকের উপর প্রশিক্ষণ দেওয়া উচিত তা বিবেচনা করুন।
• A/B পরীক্ষা হিসেবে ট্র্যাফিকের বিচ্ছিন্ন অংশগুলিতে বিভিন্ন মডেল ব্যবহার করা উচিত। ব্যবহারকারীর র‍্যান্ডমাইজেশন এবং ট্রিটমেন্ট এবং কন্ট্রোল আর্মস জুড়ে অ্যাসাইনমেন্টের জন্য, আমরা Chrome-সুবিধাযুক্ত লেবেলযুক্ত ব্রাউজার গ্রুপ ( Mode A ) ব্যবহার করার পরামর্শ দিই অথবা ব্রাউজারের র‍্যান্ডমাইজড সেট দিয়ে আপনার নিজস্ব পরীক্ষা চালানোর পরামর্শ দিই। আমরা মোড B ব্যবহার করার পরামর্শ দিই না কারণ তৃতীয় পক্ষের কুকির অভাব রূপান্তর-ভিত্তিক মেট্রিক্সের প্রতিবেদন করা কঠিন করে তুলবে।
  • Chrome-সুবিধাপ্রাপ্ত ব্রাউজার গ্রুপগুলি কিছু Chrome ইনস্ট্যান্স বাদ দেবে, যেমন এন্টারপ্রাইজ Chrome ব্যবহারকারীরা, যেখানে আপনার নিজস্ব র্যান্ডমাইজড ব্রাউজার সেটগুলি এই Chrome ইনস্ট্যান্সগুলিকে বাদ নাও দিতে পারে। অতএব, Chrome-সুবিধাপ্রাপ্ত গ্রুপগুলিতে প্রাপ্ত মেট্রিক্সের সাথে Chrome-সুবিধাপ্রাপ্ত গ্রুপের বাইরে প্রাপ্ত মেট্রিক্সের তুলনা এড়াতে আপনার পরীক্ষাটি শুধুমাত্র Mode A গ্রুপগুলিতে অথবা শুধুমাত্র নন-মোড A/Mode B গ্রুপগুলিতে চালানো উচিত।
  • যদি Chrome-সুবিধাযুক্ত লেবেলযুক্ত ব্রাউজার গ্রুপ ব্যবহার না করা হয় (উদাহরণস্বরূপ, অন্যান্য ট্র্যাফিকের উপর পরীক্ষা চালানো):
    • ব্যবহারকারীদের চিকিৎসা ও নিয়ন্ত্রণ বিভাজন এলোমেলো এবং নিরপেক্ষ কিনা তা যাচাই করুন। পরীক্ষামূলক গ্রুপ সেটআপ নির্বিশেষে, চিকিৎসা ও নিয়ন্ত্রণ গোষ্ঠীর বৈশিষ্ট্য মূল্যায়ন করুন যাতে চিকিৎসা ও নিয়ন্ত্রণ গোষ্ঠীগুলি তুলনাযোগ্য কিনা তা যাচাই করা যায়। (দেখুন: বিভাগ ১৫ )
    • ব্যবহারকারীর বৈশিষ্ট্য এবং চিকিৎসা ও নিয়ন্ত্রণ গোষ্ঠীর প্রচারণার কনফিগারেশন একই কিনা তা যাচাই করুন (উদাহরণস্বরূপ, চিকিৎসা ও নিয়ন্ত্রণ গোষ্ঠী উভয় ক্ষেত্রেই একই রকম জিও ব্যবহার করুন)। (দেখুন: বিভাগ ২৮ )
      • নির্দিষ্ট উদাহরণগুলির মধ্যে রয়েছে: একই অ্যাট্রিবিউশন উইন্ডো এবং একই অ্যাট্রিবিউশন লজিক ব্যবহার করে একই ধরণের রূপান্তরের ধরণ পরিমাপ করা হচ্ছে কিনা তা যাচাই করা, প্রচারাভিযানগুলি একই ধরণের দর্শক, আগ্রহী গোষ্ঠী এবং ভূ-বিশ্বকে লক্ষ্য করে এবং একই ধরণের বিজ্ঞাপন কপি এবং বিজ্ঞাপন ফর্ম্যাট ব্যবহার করে।
    • √ চিকিৎসা এবং নিয়ন্ত্রণ গোষ্ঠীর জন্য প্রাথমিক জনসংখ্যার আকার যথেষ্ট বড় যাতে দরপত্র এবং পরীক্ষা-নিরীক্ষার জন্য নমনীয়তা থাকে।
  • যদি আপনি Chrome-সুবিধাযুক্ত লেবেলযুক্ত ব্রাউজার গ্রুপ ( মোড A ) ব্যবহার করেন, তাহলে Chrome ব্রাউজারের উদাহরণগুলিকে গ্রুপে র‍্যান্ডমাইজেশন করার কাজ Chrome দ্বারা পরিচালিত হয়। আগের মতোই, র‍্যান্ডমাইজেশনের ফলে আপনার উদ্দেশ্যে নিরপেক্ষ / তুলনীয় গ্রুপ তৈরি হয় কিনা তা পরীক্ষা করার পরামর্শ দেওয়া হচ্ছে।

বিশ্লেষণের প্রস্তাবিত বিষয়গুলি

• আমরা নিয়ন্ত্রণ এবং চিকিত্সার হাতিয়ারগুলিকে সংজ্ঞায়িত করার এবং প্রতিটি হাতিয়ারের জন্য বিডিং অপ্টিমাইজেশনের জন্য একটি ভিন্ন মেশিন লার্নিং মডেল ব্যবহার করার পরামর্শ দিচ্ছি:
  • নিয়ন্ত্রণ ১ - বর্তমান পরিমাপ পদ্ধতিতে প্রশিক্ষিত বিডিং অপ্টিমাইজেশন মডেল ব্যবহার করুন (তৃতীয় পক্ষের কুকি + অ-তৃতীয় পক্ষের কুকিজ ডেটা)
  • (ঐচ্ছিক) নিয়ন্ত্রণ ২ - কোনও গোপনীয়তা স্যান্ডবক্স এবং কোনও তৃতীয় পক্ষের কুকির উপর প্রশিক্ষিত বিডিং অপ্টিমাইজেশন মডেল ব্যবহার করুন, অর্থাৎ, শুধুমাত্র অ-তৃতীয় পক্ষের কুকি ডেটা
    • মনে রাখবেন যে কিছু সাইটে এখনও কিছু তৃতীয় পক্ষের কুকিজ উপলব্ধ থাকতে পারে—সবচেয়ে সঠিক ফলাফলের জন্য, নিয়ন্ত্রণ 2 বা চিকিত্সা পদ্ধতিতে পরিমাপের জন্য সেই তৃতীয় পক্ষের কুকিজ ব্যবহার করবেন না।
  • চিকিৎসা - অ্যাট্রিবিউশন রিপোর্টিং API এবং নন-থার্ড-পার্টি কুকিজ ডেটার উপর প্রশিক্ষিত বিডিং অপ্টিমাইজেশন মডেল ব্যবহার করুন
    • মনে রাখবেন যে কিছু সাইটে এখনও কিছু তৃতীয় পক্ষের কুকিজ উপলব্ধ থাকতে পারে—সবচেয়ে সঠিক ফলাফলের জন্য, নিয়ন্ত্রণ 2 বা চিকিত্সা পদ্ধতিতে পরিমাপের জন্য সেই তৃতীয় পক্ষের কুকিজ ব্যবহার করবেন না।

মেট্রিক্স

• আপনার ব্যবসার ফলাফল পরিমাপের জন্য কোন মেট্রিক্স যুক্তিসঙ্গত তা নির্ধারণ করুন এবং মেট্রিকের অর্থ কী এবং এটি কীভাবে পরিমাপ করা হচ্ছে তার একটি বিবরণ অন্তর্ভুক্ত করুন।
  • উদাহরণস্বরূপ, অর্থপূর্ণ মেট্রিকটি ব্যয় (প্রকাশকের রাজস্ব) হতে পারে, যা "প্রতি ইম্প্রেশনের আয়"-এর উপর তৃতীয় পক্ষের কুকি অবচয়নের প্রভাব বোঝার জন্য CMA-এর নির্দেশিকার সাথে সামঞ্জস্যপূর্ণ। আরও বিস্তারিত জানার জন্য বিভাগ 19 দেখুন।
• যদি কোনও রূপান্তর-ভিত্তিক মেট্রিক্সের উপর রিপোর্টিং করেন, তাহলে মাল্টিভেরিয়েট টেস্টিং (একটি পরীক্ষায় অপ্টিমাইজেশন এবং রিপোর্টিংয়ের উপর প্রভাব পরীক্ষা করা) এড়াতে প্রতিটি শাখার জন্য একই পরিমাপ পদ্ধতি ব্যবহার করা উচিত। পরিমাণগত প্রতিক্রিয়া কীভাবে ফর্ম্যাট করবেন সে সম্পর্কে নির্দেশনার জন্য প্রস্তাবিত টেমপ্লেট টেবিলগুলি দেখুন।
• বিডিং অপ্টিমাইজেশন প্রভাবের উপর মেট্রিক্স সংগ্রহ করার অন্যান্য উপায় বিবেচনা করুন - উদাহরণস্বরূপ, সিমুলেটিং বিড ব্যবহার করে। আপনার বিডিং মডেলগুলিতে তৃতীয় পক্ষের কুকিজ এবং ARA এর প্রভাব বোঝার জন্য কি কোনও সিমুলেটেড মেট্রিক্স কার্যকর হবে?
• মেট্রিকগুলি ইভেন্ট-লেভেল রিপোর্ট, সারাংশ রিপোর্ট, নাকি উভয় রিপোর্টের সংমিশ্রণের উপর ভিত্তি করে তৈরি করা হয়েছে (এবং ডিবাগ রিপোর্ট ব্যবহার করা হয়েছে কিনা) তা উল্লেখ করুন।

বিশ্লেষণ

• কভারেজ:
  • তৃতীয় পক্ষের কুকির তুলনায় আপনি কি একই ধরণের ব্যবহারকারীর সংখ্যা পরিমাপ করতে সক্ষম? আপনি কি কভারেজের ক্ষেত্রে কোন পরিবর্তন দেখতে পাচ্ছেন (যেমন অ্যাপ-টু-ওয়েব)?
  • আপনি কি আপনার বা আপনার বিজ্ঞাপনদাতাদের সবচেয়ে বেশি পছন্দের রূপান্তরগুলি (এবং মাত্রা/মেট্রিক্স) পরিমাপ করতে সক্ষম?
• গ্রুপগুলির মধ্যে পার্থক্যগুলি নিম্নলিখিত বিষয়গুলিকে কীভাবে প্রভাবিত করবে:
  • উদাহরণস্বরূপ, বিজ্ঞাপনদাতার প্রতিবেদন। আপনি কত শতাংশ মূল রূপান্তর রিপোর্ট করতে পারবেন।
  • উদাহরণস্বরূপ, প্রশিক্ষণ এবং অপ্টিমাইজেশন মডেলের কর্মক্ষমতার উপর বিভিন্ন রূপান্তর ডেটার প্রভাব অনুকরণ করে।
• অন্যান্য গুণগত প্রতিক্রিয়া:
  • বিজ্ঞাপনদাতাদের বিডিং অপ্টিমাইজেশন সেটআপের জটিলতাকে ARA কীভাবে প্রভাবিত করে?
  • ARA কি বিজ্ঞাপনদাতাদের তাদের জন্য গুরুত্বপূর্ণ মেট্রিক্স এবং লক্ষ্যগুলিতে মনোনিবেশ করতে সাহায্য করে নাকি বাধা দেয়?

বিডিং প্রভাবের জন্য প্রস্তাবিত টেমপ্লেট টেবিল

(বিডিং) টেবিল ১:

বাজার অংশগ্রহণকারীদের CMA-তে জমা দেওয়া উচিত এমন পরীক্ষামূলক ফলাফলের টেমপ্লেট টেবিলের উদাহরণ ( পৃষ্ঠা ১৮ থেকে নেওয়া হয়েছে, তবে পরীক্ষকদের বিবেচনা করা উচিত কোন মেট্রিক্সগুলি প্রদান করা সবচেয়ে অর্থবহ / সম্ভাব্য এবং প্রয়োজন অনুসারে টেবিলটি অভিযোজিত করা) ।

(বিডিং) টেবিল ২:

চিকিৎসা এবং নিয়ন্ত্রণ গোষ্ঠীতে মেট্রিক্সের বর্ণনামূলক পরিসংখ্যান রিপোর্ট করার জন্য উদাহরণ টেমপ্লেট টেবিল ( পৃষ্ঠা 20 থেকে নেওয়া হয়েছে, তবে পরীক্ষকদের বিবেচনা করা উচিত কোন মেট্রিক্সগুলি প্রদান করা সবচেয়ে অর্থবহ / সম্ভাব্য এবং প্রয়োজন অনুসারে টেবিলটি অভিযোজিত করা) ।

লক্ষ্য ৩ - সমষ্টি পরিষেবা লোড পরীক্ষা করা

একত্রীকরণ পরিষেবা লোড পরীক্ষার কাঠামো দেখুন।