راهنمای تست اندازه گیری

هدف این راهنما ارائه راهنمایی در مورد اجرای یک آزمایش مستقل از API گزارش‌دهی اسناد و مدارک حریم خصوصی در محیط سندباکس است. برای جزئیات بیشتر، به بخش ۱۲ مراجعه کنید.

• اندازه‌گیری نتایج بازوی کنترل و درمان در طرح‌های آزمایشی ۱ و ۲ CMA در راهنمای آزمایش APIهای مرتبط پوشش داده شده است، زیرا هدف از این آزمایش‌ها، سنجش اثربخشی استفاده از مخاطبان و مباحث محافظت‌شده است. برای جزئیات بیشتر، به بخش ۱۱ مراجعه کنید.

قبل از اینکه شروع کنی

• برای راهنمایی در مورد پیکربندی و راه‌اندازی API گزارش‌دهی انتساب، آن را بررسی کنید.
• مرور راهنمای آزمایش CMA: یادداشت آزمایش‌ها (نوامبر ۲۰۲۲)، راهنمای آزمایش (ژوئن ۲۰۲۳) و راهنمای آزمایش‌های تکمیلی (اکتبر ۲۰۲۳).

اهداف ارزیابی و طرح آزمایش پیشنهادی

هدف ۱ - تعیین اثربخشی API گزارش‌دهی انتساب برای گزارش‌دهی

ما یک سیستم A/A برای سنجش تأثیر بر گزارش‌دهی پیشنهاد می‌کنیم.

• این پیشنهاد با راهنمایی CMA در مورد ارزیابی معیارهای مبتنی بر تبدیل همسو است. برای جزئیات بیشتر، به بخش ۲۱ و بخش ۱۲ مراجعه کنید.
• ما این روش را نسبت به حالت A/B ترجیح می‌دهیم، زیرا آزمایش API گزارش‌دهی انتساب (ARA) را می‌توان با اندازه‌گیری همزمان تبدیل‌ها در همان مجموعه از نمایش‌ها با استفاده از دو روش اندازه‌گیری مختلف (کوکی‌های شخص ثالث + داده‌های کوکی غیرشخص ثالث و ARA + داده‌های کوکی غیرشخص ثالث) انجام داد.
• یک آزمایش A/A همچنین تأثیر API گزارش‌دهی انتساب را بر اندازه‌گیری تبدیل جدا می‌کند (برای مثال، به دلیل عدم وجود کوکی‌های شخص ثالث، از هرگونه تغییر در نرخ تبدیل جلوگیری می‌کند).

نکات پیشنهادی برای تحلیل

• بخشی از ترافیک را انتخاب کنید که به اندازه کافی بزرگ باشد تا نتایج آماری معناداری به دست آید و هم کوکی‌های شخص ثالث و هم APIهای Privacy Sandbox را داشته باشد. در حالت ایده‌آل، این تمام ترافیک است، به جز حالت B (که کوکی‌های شخص ثالث را غیرفعال می‌کند).
  • توصیه می‌کنیم حالت B را از آزمایش A/A حذف کنید، زیرا کوکی‌های شخص ثالث در دسترس نخواهند بود و شما نمی‌توانید نتایج ARA را با نتایج انتساب مبتنی بر کوکی شخص ثالث مقایسه کنید.
  • اگر می‌خواهید حالت B را نیز فعال کنید، باید فعال کردن گزارش‌های اشکال‌زدایی را برای بخش ترافیک حالت B در نظر بگیرید. گزارش‌های اشکال‌زدایی به شما کمک می‌کنند تا هرگونه مشکل پیکربندی یا پیاده‌سازی را عیب‌یابی کنید.
• اگر قصد دارید روی بخش کوچک‌تری از ترافیک آزمایش کنید، انتظار داریم نتایج اندازه‌گیری نویزدارتری نسبت به حد انتظار دریافت کنید. توصیه می‌کنیم در تحلیل خود به این نکته توجه کنید که چه کسری از ترافیک استفاده شده است و آیا نتایج را بر اساس گزارش‌های نویزدار گزارش می‌دهید یا گزارش‌های اشکال‌زدایی بدون نویز.
  • برای گزارش‌های خلاصه، مقادیر خلاصه شما احتمالاً کمتر خواهد بود و سرویس تجمیع، صرف نظر از مقدار خلاصه، نویزهایی را از همان توزیع اضافه خواهد کرد.
• روش‌های اندازه‌گیری مختلف را روی آن بخش از ترافیک آزمایش کنید
  • کنترل ۱ - از روش‌های اندازه‌گیری فعلی استفاده کنید (کوکی‌های شخص ثالث + داده‌های کوکی‌های غیرشخص ثالث)
  • (اختیاری) کنترل ۲ - بدون Privacy Sandbox و بدون کوکی‌های شخص ثالث، یعنی فقط داده‌های کوکی غیرشخص ثالث
    • توجه داشته باشید که ممکن است هنوز برخی کوکی‌های شخص ثالث در برخی سایت‌ها موجود باشند - برای دقیق‌ترین نتایج، از این کوکی‌های شخص ثالث برای اندازه‌گیری در روش‌های Control 2 یا Treatment استفاده نکنید.
  • درمان - API های سندباکس حریم خصوصی و داده‌های کوکی‌های غیرشخص ثالث
    • توجه داشته باشید که ممکن است هنوز برخی کوکی‌های شخص ثالث در برخی سایت‌ها موجود باشند - برای دقیق‌ترین نتایج، از این کوکی‌های شخص ثالث برای اندازه‌گیری در روش‌های Control 2 یا Treatment استفاده نکنید.

معیارها

• مشخص کنید کدام معیارها برای سنجش نتایج کسب و کار شما منطقی هستند و توضیحی در مورد معنای آن معیار و نحوه سنجش آن ارائه دهید.
  • پیشنهاد می‌کنیم روی ابعاد و معیارهایی تمرکز کنید که برای تبلیغ‌کنندگان شما مهم هستند. برای مثال، اگر تبلیغ‌کنندگان شما روی تبدیل‌های خرید تمرکز دارند، تعداد تبدیل‌ها و ارزش خرید را برای آنها اندازه‌گیری کنید.
• معیارهای مبتنی بر تعداد یا مجموع (برای مثال، نرخ تبدیل) در مقایسه با هزینه به ازای هر تبدیل (برای مثال، هزینه به ازای هر تبدیل) برای کار ایده‌آل‌تر هستند. برای تحلیل A/A، معیارهای هزینه را می‌توان به طور کامل از مقادیر تعداد یا مجموع تبدیل استخراج کرد.
• مشخص کنید که آیا معیارها بر اساس گزارش‌های سطح رویداد، گزارش‌های خلاصه یا ترکیبی از هر دو گزارش هستند (و اینکه آیا از گزارش‌های اشکال‌زدایی استفاده شده است).
• برای راهنمایی در مورد نحوه قالب‌بندی بازخورد کمی، به جداول الگوی پیشنهادی مراجعه کنید.

تحلیل

• پوشش:
  • آیا می‌توانید در مقایسه با کوکی‌های شخص ثالث، این معیار را در بین مجموعه‌ی مشابهی از کاربران اندازه‌گیری کنید؟ آیا پوشش بالاتری (مثلاً با استفاده از اپلیکیشن به وب) مشاهده می‌کنید؟
  • آیا می‌توانید تبدیل‌ها (و ابعاد یا معیارهایی) را که شما یا تبلیغ‌کنندگانتان بیشتر به آنها اهمیت می‌دهند، اندازه‌گیری کنید؟
• بازخورد کمی
  • برای مثال، در گزارش تبلیغ‌کننده، چند درصد از تبدیل‌های کلیدی را می‌توانید برای آن تبلیغ‌کننده گزارش دهید، یا چند درصد از کمپین‌ها به نوار کیفیت گزارش‌دهی می‌رسند (به دست آوردن یک نوار کیفیت به تنظیم کمپین‌هایی با تعداد تبدیل کم کمک می‌کند)
  • برای مثال، با توجه به تقسیم‌بندی بر اساس تبلیغ‌کننده، آیا تبلیغ‌کنندگانی وجود دارند که امروزه کم و بیش برای گزارش‌دهی به کوکی‌های شخص ثالث وابسته باشند؟
• سایر بازخوردهای کیفی:
  • چگونه ARA بر پیچیدگی تنظیمات اندازه‌گیری/انتساب تبلیغ‌کنندگان تأثیر می‌گذارد؟
  • آیا ARA به تبلیغ‌کنندگان در تمرکز بر معیارها و اهدافی که برایشان مهم است کمک می‌کند یا مانع آنها می‌شود؟

جداول الگوی پیشنهادی برای گزارش تأثیر

(گزارش‌دهی) جدول ۱:

جدول نمونه برای گزارش نتایج آزمایش به CMA (برگرفته از صفحه ۱۸ ، اما آزمایش‌کنندگان باید در نظر بگیرند که چه معیارهایی معنادارتر/عملی‌تر هستند تا جدول را در صورت نیاز ارائه و تطبیق دهند) .

(گزارش‌دهی) جدول ۲:

جدول نمونه برای گزارش آمار توصیفی برای معیارها در گروه‌های درمان و کنترل (برگرفته از صفحه 20 ، اما آزمایش‌کنندگان باید در نظر بگیرند که کدام معیارها معنادارتر/عملی‌تر هستند تا جدول را در صورت نیاز ارائه و تطبیق دهند) .

هدف ۲ - تعیین اثربخشی API گزارش‌دهی تخصیص برای بهینه‌سازی پیشنهاد قیمت

ما یک چیدمان A/B برای اندازه‌گیری تأثیر بر بهینه‌سازی پیشنهاد قیمت پیشنهاد می‌دهیم.

• برای اندازه‌گیری تأثیر بهینه‌سازی پیشنهاد قیمت، باید دو مدل یادگیری ماشین مختلف را آموزش دهید و از آنها در دو بخش از ترافیک استفاده کنید - یک مدل که بر اساس روش‌های اندازه‌گیری فعلی (کوکی‌های شخص ثالث + داده‌های کوکی‌های غیرشخص ثالث) آموزش دیده است تا در بازوی کنترل اعمال شود، و یک مدل که بر اساس API گزارش‌دهی انتساب + داده‌های کوکی‌های غیرشخص ثالث آموزش دیده است تا در بازوی درمان اعمال شود.
• آموزش مدل باید بر اساس حداکثر ترافیکی باشد که آزمایش‌کننده برای به حداکثر رساندن عملکرد لازم می‌داند، حتی اگر بازوی درمان بخش کوچکی از ترافیک باشد و بین جمعیت‌های آموزشی همپوشانی وجود داشته باشد (برای مثال، از مدل کوکی شخص ثالث موجود که روی تمام ترافیک آموزش می‌دهد استفاده کنید و مدل ARA را روی تمام ترافیک ARA فعال شده برای هدف ۱ آموزش دهید).
  • اگر نتایج را به CMA ارسال می‌کنید، توجه داشته باشید که آیا تفاوت معناداری بین برش‌های ترافیکی مورد استفاده برای آموزش مدل‌های مختلف وجود دارد یا خیر (برای مثال، اگر مدل‌های مبتنی بر کوکی شخص ثالث روی ۱۰۰٪ ترافیک آموزش داده شوند اما مدل‌های مبتنی بر ARA فقط روی ۱٪ ترافیک آموزش داده شوند).
• در صورت امکان، آموزش برای هر دو مدل پیشنهاد قیمت درمان و کنترل باید در مدت زمان یکسانی انجام شود.
• در نظر بگیرید که آیا باید در طول آزمایش به طور مداوم مدل‌های پیشنهاددهنده را آموزش داده و به‌روزرسانی کنید، و اگر این کار را انجام می‌دهید، آیا باید تا حد امکان روی ترافیک بیشتر آموزش دهید یا فقط روی ترافیک بازوهای درمان و کنترل.
• مدل‌های مختلف باید روی بخش‌های مجزای ترافیک به عنوان یک آزمایش A/B استفاده شوند. برای تصادفی‌سازی و تخصیص کاربر بین بازوهای درمان و کنترل، توصیه می‌کنیم از گروه‌های مرورگر برچسب‌گذاری شده با کروم ( حالت A ) استفاده کنید یا آزمایش خود را با مجموعه‌های تصادفی از مرورگرها اجرا کنید. استفاده از حالت B را توصیه نمی‌کنیم زیرا عدم وجود کوکی‌های شخص ثالث، گزارش‌دهی در مورد معیارهای مبتنی بر تبدیل را دشوار می‌کند.
  • گروه‌های مرورگر تسهیل‌شده توسط کروم، برخی از نمونه‌های کروم مانند کاربران سازمانی کروم را حذف می‌کنند، در حالی که مجموعه‌های تصادفی مرورگرهای شما ممکن است این نمونه‌های کروم را حذف نکنند. بنابراین، شما باید آزمایش خود را فقط روی گروه‌های حالت A یا فقط روی گروه‌های غیر حالت A/حالت B اجرا کنید تا از مقایسه معیارهای به‌دست‌آمده در گروه‌های تسهیل‌شده توسط کروم با معیارهای به‌دست‌آمده در خارج از گروه‌های تسهیل‌شده توسط کروم جلوگیری شود.
  • اگر از گروه‌های مرورگر برچسب‌گذاری‌شده‌ی کروم استفاده نمی‌کنید (مثلاً اجرای آزمایش روی ترافیک دیگر):
    • تأیید کنید که تقسیم کاربران در گروه درمان و کنترل تصادفی و بی‌طرفانه است. صرف نظر از نحوه‌ی قرارگیری گروه‌های آزمایش، ویژگی‌های گروه‌های درمان و کنترل را ارزیابی کنید تا از قابل مقایسه بودن گروه‌های درمان و کنترل اطمینان حاصل شود. (به بخش ۱۵ مراجعه کنید)
    • تأیید کنید که ویژگی‌های کاربر و پیکربندی کمپین گروه‌های درمان و کنترل یکسان هستند (برای مثال، از موقعیت‌های جغرافیایی مشابه در هر دو گروه درمان و کنترل استفاده کنید). (به بخش ۲۸ مراجعه کنید)
      • مثال‌های خاص عبارتند از: تأیید کنید که انواع تبدیل مشابه با استفاده از همان پنجره تخصیص و همان منطق تخصیص اندازه‌گیری می‌شوند، کمپین‌ها مخاطبان، گروه‌های ذینفع و مناطق جغرافیایی مشابهی را هدف قرار می‌دهند و از متن تبلیغ و قالب‌های تبلیغاتی مشابه استفاده می‌کنند.
    • √ اینکه اندازه‌های اولیه جمعیت برای گروه‌های درمان و کنترل به اندازه کافی بزرگ باشند تا انعطاف‌پذیری برای پیشنهاد قیمت و آزمایش وجود داشته باشد.
  • اگر از گروه‌های مرورگر برچسب‌گذاری‌شده‌ی تسهیل‌شده توسط کروم ( حالت A ) استفاده می‌کنید، تصادفی‌سازی نمونه‌های مرورگر کروم به گروه‌ها توسط کروم انجام می‌شود. توصیه می‌شود مانند قبل بررسی کنید که تصادفی‌سازی منجر به گروه‌های بی‌طرفانه/قابل مقایسه برای اهداف شما شود.

نکات پیشنهادی برای تحلیل

• ما توصیه می‌کنیم بازوهای کنترل و درمان را تعریف کنیم و از یک مدل یادگیری ماشین متفاوت برای بهینه‌سازی پیشنهاد قیمت برای هر بازو استفاده کنیم:
  • کنترل ۱ - از مدل بهینه‌سازی پیشنهاد قیمت که بر اساس روش‌های اندازه‌گیری فعلی آموزش دیده است (کوکی‌های شخص ثالث + داده‌های کوکی‌های غیرشخص ثالث) استفاده کنید.
  • (اختیاری) کنترل ۲ - از مدل بهینه‌سازی پیشنهاد قیمت که بدون Privacy Sandbox و بدون کوکی‌های شخص ثالث آموزش داده شده است، یعنی فقط داده‌های کوکی غیرشخص ثالث، استفاده کنید.
    • توجه داشته باشید که ممکن است هنوز برخی کوکی‌های شخص ثالث در برخی سایت‌ها موجود باشند - برای دقیق‌ترین نتایج، از این کوکی‌های شخص ثالث برای اندازه‌گیری در روش‌های Control 2 یا Treatment استفاده نکنید.
  • راهکار - از مدل بهینه‌سازی پیشنهاد قیمت که بر اساس API گزارش‌دهی تخصیص و داده‌های کوکی‌های غیرشخص ثالث آموزش داده شده است، استفاده کنید.
    • توجه داشته باشید که ممکن است هنوز برخی کوکی‌های شخص ثالث در برخی سایت‌ها موجود باشند - برای دقیق‌ترین نتایج، از این کوکی‌های شخص ثالث برای اندازه‌گیری در روش‌های Control 2 یا Treatment استفاده نکنید.

معیارها

• مشخص کنید کدام معیارها برای سنجش نتایج کسب و کار شما منطقی هستند و توضیحی در مورد معنای آن معیار و نحوه سنجش آن ارائه دهید.
  • برای مثال، معیار معنادار می‌تواند هزینه (درآمد ناشر) باشد، که با راهنمایی CMA برای درک تأثیر حذف کوکی‌های شخص ثالث بر «درآمد به ازای هر نمایش» همسو است. برای جزئیات بیشتر به بخش ۱۹ مراجعه کنید.
• اگر در مورد هر معیار مبتنی بر تبدیل گزارش می‌دهید، باید از روش اندازه‌گیری یکسانی برای هر بخش استفاده کنید تا از آزمایش چند متغیره (آزمایش تأثیر بر بهینه‌سازی و گزارش‌دهی در یک آزمایش) جلوگیری شود. برای راهنمایی در مورد نحوه قالب‌بندی بازخورد کمی، به جداول الگوی پیشنهادی مراجعه کنید.
• روش‌های دیگری را برای جمع‌آوری معیارهای تأثیر بهینه‌سازی پیشنهاد قیمت در نظر بگیرید - برای مثال، استفاده از شبیه‌سازی پیشنهاد قیمت. آیا معیارهای شبیه‌سازی‌شده‌ای وجود دارد که برای درک تأثیر کوکی‌های شخص ثالث و ARA بر مدل‌های پیشنهاد قیمت شما مفید باشد؟
• مشخص کنید که آیا معیارها بر اساس گزارش‌های سطح رویداد، گزارش‌های خلاصه یا ترکیبی از هر دو گزارش هستند (و اینکه آیا از گزارش‌های اشکال‌زدایی استفاده شده است).

تحلیل

• پوشش:
  • آیا می‌توانید در مقایسه با کوکی‌های شخص ثالث، این میزان را در بین مجموعه‌ای مشابه از کاربران اندازه‌گیری کنید؟ آیا تغییری در پوشش‌دهی (مثلاً با استفاده از اپلیکیشن به وب) مشاهده می‌کنید؟
  • آیا می‌توانید تبدیل‌ها (و ابعاد/معیارهایی) را که شما یا تبلیغ‌کنندگانتان بیشتر به آنها اهمیت می‌دهند، اندازه‌گیری کنید؟
• تفاوت‌های بین گروه‌ها چگونه بر موارد زیر تأثیر می‌گذارد:
  • برای مثال، گزارش تبلیغ‌کننده، چند درصد از تبدیل‌های کلیدی را می‌توانید گزارش دهید؟
  • برای مثال، آموزش و بهینه‌سازی، تأثیر داده‌های تبدیل مختلف را بر عملکرد مدل شبیه‌سازی می‌کنند.
• سایر بازخوردهای کیفی:
  • چگونه ARA بر پیچیدگی تنظیمات بهینه‌سازی پیشنهاد قیمت تبلیغ‌کنندگان تأثیر می‌گذارد؟
  • آیا ARA به تبلیغ‌کنندگان کمک می‌کند تا روی معیارها و اهدافی که برایشان مهم است تمرکز کنند یا مانع آنها می‌شود؟

جداول الگوی پیشنهادی برای تأثیر پیشنهاد قیمت

(مناقصه) جدول ۱:

جدول نمونه‌ای از نتایج آزمایش که شرکت‌کنندگان بازار باید به CMA ارائه دهند (برگرفته از صفحه ۱۸ ، اما آزمایش‌کنندگان باید در نظر بگیرند که چه معیارهایی معنادارتر/عملی‌تر هستند تا جدول را در صورت نیاز ارائه و تطبیق دهند) .

(مناقصه) جدول ۲:

جدول نمونه برای گزارش آمار توصیفی برای معیارها در گروه‌های درمان و کنترل (برگرفته از صفحه 20 ، اما آزمایش‌کنندگان باید در نظر بگیرند که کدام معیارها معنادارتر/عملی‌تر هستند تا جدول را در صورت نیاز ارائه و تطبیق دهند) .

هدف ۳ - تست بارگذاری سرویس تجمیع

به چارچوب تست بار سرویس تجمیع مراجعه کنید.