دليل اختبار القياس

الهدف من هذا الدليل هو تقديم إرشادات حول إجراء اختبار مستقل لواجهة برمجة التطبيقات Attribution Reporting API من "مبادرة حماية الخصوصية". لمزيد من التفاصيل، يُرجى الاطّلاع على: الفقرة 12.

• تتوفّر معلومات حول قياس نتائج مجموعة التحكّم ومجموعة المعالجة في التصميمَين التجريبيَين 1 و2 لهيئة CMA في إرشادات اختبار واجهات Relevance APIs، لأنّ الهدف من هاتين التجربتَين هو اختبار فعالية استخدام Protected Audience وTopics. لمزيد من التفاصيل، يُرجى الاطّلاع على الفقرة 11.

قبل البدء

• راجِع هذه الصفحة للحصول على إرشادات حول ضبط إعدادات واجهة برمجة التطبيقات Attribution Reporting API وإعدادها.
• راجِع إرشادات الاختبار الصادرة عن هيئة CMA: ملاحظة حول التجارب (تشرين الثاني/نوفمبر 2022) وإرشادات الاختبار (حزيران/يونيو 2023) وإرشادات اختبار إضافية (تشرين الأول/أكتوبر 2023).

أهداف التقييم وإعداد التجربة المقترَح

الهدف 1: تحديد فعالية واجهة برمجة التطبيقات Attribution Reporting API في إعداد التقارير

نقترح إعداد اختبار A/A لقياس تأثير التغيير في إعدادات التقارير

• يتوافق هذا الاقتراح مع إرشادات هيئة المنافسة والأسواق (CMA) بشأن تقييم المقاييس المستندة إلى الإحالات الناجحة. لمزيد من التفاصيل، يُرجى الاطّلاع على الفقرة 21 والفقرة 12.
• نحن نفضّل هذه الطريقة على الوضع أ/ب لأنّه يمكن اختبار Attribution Reporting API (ARA) من خلال قياس الإحالات الناجحة في الوقت نفسه على المجموعة نفسها من مرّات الظهور باستخدام منهجيتَي قياس مختلفتَين (ملفّات تعريف الارتباط التابعة لجهات خارجية + البيانات غير المستندة إلى ملفّات تعريف الارتباط التابعة لجهات خارجية وARA + البيانات غير المستندة إلى ملفّات تعريف الارتباط التابعة لجهات خارجية).
• تساعد تجربة A/A أيضًا في عزل تأثير واجهة برمجة التطبيقات Attribution Reporting API في قياس الإحالات الناجحة (على سبيل المثال، تتجنّب أي تغييرات في معدّلات الإحالات الناجحة بسبب عدم توفّر ملفات تعريف الارتباط التابعة لجهات خارجية).

نقاط التحليل المقترَحة

• اختَر شريحة من الزيارات كبيرة بما يكفي للحصول على نتائج ذات دلالة إحصائية وتتضمّن ملفات تعريف الارتباط التابعة لجهات خارجية وواجهات Privacy Sandbox API. من المفترض أن يشمل ذلك جميع الزيارات، باستثناء "الوضع ب" (الذي يوقف ملفات تعريف الارتباط التابعة لجهات خارجية).
  • ننصحك باستبعاد "الوضع B" من تجربة A/A، لأنّ ملفات تعريف الارتباط التابعة لجهات خارجية لن تكون متاحة ولن تتمكّن من مقارنة نتائج "إعداد التقارير بدون تحديد هوية المستخدِم" بنتائج تحديد المصدر المستندة إلى ملفات تعريف الارتباط التابعة لجهات خارجية.
  • إذا أردت تضمين "الوضع ب"، عليك تفعيل تقارير تصحيح الأخطاء لشريحة الزيارات في "الوضع ب". ستساعدك تقارير تصحيح الأخطاء في تحديد المشاكل وحلّها في ما يتعلّق بأي إعدادات أو عمليات تنفيذ.
• إذا كنت تخطّط للاختبار على شريحة أصغر من الزيارات، نتوقّع أن تتلقّى نتائج قياس أكثر تشويشًا من المتوقّع. ننصحك بتضمين ملاحظة في تحليلك توضّح الجزء المستخدَم من عدد الزيارات وما إذا كنت بصدد إعداد تقارير عن نتائج تستند إلى تقارير مشوّشة أو تقارير تصحيح أخطاء غير مشوّشة.
  • بالنسبة إلى التقارير الموجَزة، من المحتمل أن تكون القيم الموجَزة أقل، وستضيف "خدمة تجميع البيانات" تشويشًا من التوزيع نفسه بغض النظر عن القيمة الموجَزة.
• اختبار منهجيات قياس مختلفة على شريحة الزيارات هذه
  • مجموعة التحكّم 1: استخدام منهجيات القياس الحالية (ملفات تعريف الارتباط التابعة لجهات خارجية + بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية)
  • (اختياري) مجموعة التحكّم 2: عدم توفّر "مبادرة حماية الخصوصية" وعدم توفّر ملفّات تعريف الارتباط التابعة لجهات خارجية، أي بيانات ملفّات تعريف الارتباط غير التابعة لجهات خارجية فقط
    • يُرجى العِلم أنّه قد تظل بعض ملفات تعريف الارتباط الخارجية متاحة لبعض المواقع الإلكترونية. وللحصول على نتائج أكثر دقة، لا تستخدِم ملفات تعريف الارتباط الخارجية هذه للقياس في المنهجيتَين "المجموعة الضابطة 2" أو "المجموعة التجريبية".
  • المجموعة التجريبية - واجهات Privacy Sandbox API وبيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية
    • يُرجى العِلم أنّه قد تظل بعض ملفات تعريف الارتباط الخارجية متاحة لبعض المواقع الإلكترونية. وللحصول على نتائج أكثر دقة، لا تستخدِم ملفات تعريف الارتباط الخارجية هذه للقياس في المنهجيتَين "المجموعة الضابطة 2" أو "المجموعة التجريبية".

المقاييس

• حدِّد المقاييس المناسبة لنشاطك التجاري لقياس النتائج، وأدرِج وصفًا لما يعنيه المقياس وكيفية قياسه.
  • نقترح التركيز على السمات والمقاييس المهمة للمعلِنين. على سبيل المثال، إذا كان المعلِنون يركّزون على الإحالات الناجحة المتمثّلة بعملية شراء، يمكنك قياس عدد الإحالات الناجحة هذه وقيمة عمليات الشراء.
• تكون المقاييس المستندة إلى العدد أو المجموع (مثل معدّل الإحالات الناجحة) أكثر ملاءمة للاستخدام مقارنةً بالتكلفة لكلّ (مثل التكلفة لكلّ إحالة ناجحة). بالنسبة إلى تحليل A/A، يمكن استخلاص مقاييس التكلفة بالكامل من عدد أو مجموع قيم الإحالات الناجحة.
• حدِّد ما إذا كانت المقاييس تستند إلى "التقارير على مستوى الحدث" أو "التقارير الموجزة" أو مزيج من كلا التقريرَين (وما إذا تم استخدام تقارير تصحيح الأخطاء).
• راجِع جداول النماذج المقترَحة للحصول على إرشادات حول كيفية تنسيق الملاحظات الكمية.

التحليل

• التغطية:
  • هل يمكنك قياس الأداء لدى مجموعة مشابهة من المستخدمين مقارنةً بملف تعريف الارتباط التابع لجهة خارجية؟ هل تلاحظ زيادة في مدى الوصول (على سبيل المثال، من خلال ميزة "التطبيق إلى الويب"؟
  • هل يمكنك قياس الإحالات الناجحة (والسمات أو المقاييس) التي تهمّك أو تهمّ المعلِنين أكثر من غيرها؟
• الملاحظات الكمية
  • على سبيل المثال، في ما يتعلّق بتقارير المعلِنين، ما هي النسبة المئوية للإحالات الناجحة الرئيسية التي يمكنك تسجيلها لهذا المعلِن، أو ما هي النسبة المئوية للحملات التي تستوفي معيار جودة التسجيل (يساعد تحديد معيار الجودة في تعديل الحملات التي تتضمّن عددًا قليلاً من الإحالات الناجحة)
  • على سبيل المثال، هل هناك بعض المعلِنين الذين يعتمدون بشكل أكبر أو أقل على ملفات تعريف الارتباط التابعة لجهات خارجية في إعداد التقارير اليوم؟
• ملاحظات نوعية أخرى:
  • كيف تؤثر ميزة "القياس المجمّع والمجهول الهوية" في مدى تعقيد إعدادات القياس/تحديد المصدر لدى المعلِنين؟
  • هل تساعد ميزة "الوصول إلى الجمهور الأوسع" المعلِنين أو تعيقهم في التركيز على المقاييس والأهداف التي تهمّهم؟

جداول النماذج المقترَحة لإعداد تقارير عن التأثير

الجدول 1 (إعداد التقارير):

نموذج لجدول إعداد التقارير حول نتائج التجربة لهيئة المنافسة والأسواق (مأخوذ من الصفحة 18، ولكن على المختبِرين مراعاة المقاييس الأكثر أهمية / جدوى لتقديمها وتعديل الجدول حسب الحاجة).

الجدول 2 (إعداد التقارير):

نموذج جدول لإعداد تقارير الإحصاءات الوصفية للمقاييس في مجموعة التجربة والمجموعة الضابطة (مأخوذ من الصفحة 20، ولكن على المختبِرين تحديد المقاييس الأكثر أهمية / جدوى لتقديمها وتعديل الجدول حسب الحاجة)

الهدف 2: تحديد فعالية واجهة برمجة التطبيقات Attribution Reporting API لتحسين عروض الأسعار

نقترح إعداد اختبار A/B لقياس تأثير تحسين عروض الأسعار.

• لقياس تأثير تحسين عروض الأسعار، عليك تدريب نموذجين مختلفين لتعلُّم الآلة واستخدامهما على شريحتَين من الزيارات، أحدهما تم تدريبه على منهجيات القياس الحالية (ملفات تعريف الارتباط التابعة لجهات خارجية + البيانات غير المستندة إلى ملفات تعريف الارتباط التابعة لجهات خارجية) ليتم تطبيقه على المجموعة الضابطة، والآخر تم تدريبه على Attribution Reporting API + البيانات غير المستندة إلى ملفات تعريف الارتباط التابعة لجهات خارجية ليتم تطبيقه على المجموعة التجريبية.
• يجب أن يستند تدريب النموذج إلى أكبر قدر ممكن من الزيارات التي يراها المختبِر ضرورية لتحقيق الحدّ الأقصى من الأداء، حتى إذا كانت مجموعة التجربة جزءًا أصغر من الزيارات وكان هناك تداخل بين مجموعات التدريب (على سبيل المثال، استخدِم نموذج ملفات تعريف الارتباط التابعة لجهات خارجية الحالي الذي يتم تدريبه على جميع الزيارات، ودَرِّب نموذج "الجمهور المشابه" على جميع زيارات "الجمهور المشابه" المفعَّلة للهدف 1).
  • في حال إرسال النتائج إلى هيئة المنافسة والأسواق، يُرجى الإشارة إلى ما إذا كان هناك اختلاف كبير بين شرائح عدد الزيارات المستخدَمة لتدريب نماذج مختلفة (على سبيل المثال، إذا تم تدريب النماذج المستندة إلى ملفات تعريف الارتباط التابعة لجهات خارجية على% 100 من عدد الزيارات، ولكن تم تدريب النماذج المستندة إلى "قياس مدى الوصول إلى الجمهور" على% 1 فقط من عدد الزيارات).
• يجب أن يستغرق التدريب على كلّ من نموذج عروض الأسعار في المجموعة التجريبية والمجموعة الضابطة المدة الزمنية نفسها، إذا كان ذلك ممكنًا.
• فكِّر في ما إذا كان عليك تدريب نماذج عروض الأسعار وتعديلها باستمرار أثناء التجربة، وإذا كان عليك ذلك، فكِّر في ما إذا كان عليك التدريب على أكبر عدد ممكن من الزيارات أو على الزيارات من مجموعة التجربة والمجموعة الضابطة فقط.
• يجب استخدام النماذج المختلفة على شرائح منفصلة من الزيارات كتجربة أ/ب. بالنسبة إلى عشوائية المستخدمين وتوزيعهم على مجموعات التجربة والمجموعة الضابطة، ننصح باستخدام مجموعات المتصفّحات المصنّفة التي يوفّرها Chrome (الوضع "أ") أو إجراء تجربتك الخاصة باستخدام مجموعات عشوائية من المتصفّحات. لا ننصح باستخدام الوضع "ب" لأنّ عدم توفّر ملفّات تعريف الارتباط التابعة لجهات خارجية سيصعّب إعداد التقارير عن المقاييس المستندة إلى الإحالات الناجحة.
  • ستستبعد مجموعات المتصفّحات التي يسهّلها Chrome بعض مثيلات Chrome، مثل مستخدمي Enterprise Chrome، حيث قد لا تستبعد مجموعات المتصفّحات العشوائية الخاصة بك مثيلات Chrome هذه. لذلك، يجب إجراء تجربتك على مجموعات "الوضع أ" فقط، أو على مجموعات غير "الوضع أ"/"الوضع ب" فقط لتجنُّب مقارنة المقاييس التي تم الحصول عليها من مجموعات تم تفعيلها على Chrome بالمقاييس التي تم الحصول عليها من مجموعات لم يتم تفعيلها على Chrome.
  • في حال عدم استخدام مجموعات المتصفّحات المصنّفة التي يوفّرها Chrome (على سبيل المثال، إجراء تجربة على زيارات أخرى):
    • تأكَّد من أنّ تقسيم المستخدمين إلى مجموعة التجربة ومجموعة التحكّم يتم بشكل عشوائي وغير متحيز. بغض النظر عن إعداد مجموعة التجربة، قيِّم خصائص المجموعة التجريبية والمجموعة الضابطة للتأكّد من إمكانية مقارنتهما. (راجِع الفقرة 15)
    • تأكَّد من أنّ خصائص المستخدمين وإعدادات الحملات في المجموعتين التجريبية والضابطة هي نفسها (على سبيل المثال، استخدِم مناطق جغرافية متشابهة في كلتا المجموعتين). (راجِع الفقرة 28)
      • وتشمل الأمثلة المحدّدة ما يلي: التأكّد من قياس أنواع الإحالات الناجحة المشابهة باستخدام فترة تحديد المصدر نفسها ومنطق تحديد المصدر نفسه، واستهداف الحملات لشرائح جمهور مشابهة ومجموعات اهتمامات ومناطق جغرافية مشابهة، واستخدام نص إعلان وأشكال إعلانات مشابهة.
    • √ أن تكون أحجام المجموعات الأولية في المجموعة التجريبية والمجموعة الضابطة كبيرة بما يكفي لتوفير المرونة في المزايدة وإجراء التجارب.
  • في حال استخدام مجموعات المتصفّحات المصنّفة التي يوفّرها Chrome (الوضع "أ")، يتولّى Chrome عملية اختيار عيّنات عشوائية من مثيلات متصفّح Chrome وتوزيعها على المجموعات. ننصحك بالتحقّق، كما في السابق، من أنّ عملية التوزيع العشوائي تؤدي إلى إنشاء مجموعات غير متحيزة / قابلة للمقارنة لأغراضك.

نقاط التحليل المقترَحة

• ننصحك بتحديد مجموعة ضابطة ومجموعة تجريبية، واستخدام نموذج مختلف لتعلُّم الآلة من أجل تحسين عروض الأسعار لكل مجموعة:
  • مجموعة التحكّم 1: استخدام نموذج تحسين عروض الأسعار الذي تم تدريبه على منهجيات القياس الحالية (ملفات تعريف الارتباط التابعة لجهات خارجية + بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية)
  • (اختياري) مجموعة التحكّم 2: استخدام نموذج تحسين عروض الأسعار الذي تم تدريبه بدون "مبادرة حماية الخصوصية" وبدون ملفّات تعريف الارتباط التابعة لجهات خارجية، أي بيانات ملفّات تعريف الارتباط غير التابعة لجهات خارجية فقط
    • يُرجى العِلم أنّه قد تظل بعض ملفات تعريف الارتباط الخارجية متاحة لبعض المواقع الإلكترونية. وللحصول على أدق النتائج، لا تستخدِم ملفات تعريف الارتباط الخارجية هذه للقياس في المنهجيتَين "المجموعة الضابطة 2" أو "المجموعة التجريبية".
  • المجموعة التجريبية: استخدِم نموذج تحسين عروض الأسعار الذي تم تدريبه على بيانات واجهة برمجة التطبيقات Attribution Reporting API وبيانات غير ملفات تعريف الارتباط التابعة لجهات خارجية
    • يُرجى العِلم أنّه قد تظل بعض ملفات تعريف الارتباط الخارجية متاحة لبعض المواقع الإلكترونية. وللحصول على أدق النتائج، لا تستخدِم ملفات تعريف الارتباط الخارجية هذه للقياس في المنهجيتَين "المجموعة الضابطة 2" أو "المجموعة التجريبية".

المقاييس

• حدِّد المقاييس المناسبة لنشاطك التجاري لقياس النتائج، وأدرِج وصفًا لما يعنيه المقياس وكيفية قياسه.
  • على سبيل المثال، يمكن أن يكون المقياس المهم هو الإنفاق (أرباح الناشر)، والذي يتوافق مع إرشادات هيئة CMA لفهم تأثير الإيقاف النهائي لملفات تعريف الارتباط التابعة لجهات خارجية على "الأرباح لكل مرة ظهور". يُرجى الاطّلاع على الفقرة 19 لمزيد من التفاصيل.
• في حال إعداد تقارير عن أي مقاييس مستندة إلى الإحالات الناجحة، عليك استخدام منهجية القياس نفسها لكل مجموعة لتجنُّب الاختبار المتغيرات المتعددة (اختبار التأثير على التحسين وإعداد التقارير في تجربة واحدة). راجِع جداول النماذج المقترَحة للحصول على إرشادات حول كيفية تنسيق الملاحظات الكمية.
• فكِّر في طرق أخرى لجمع مقاييس حول تأثير تحسين عروض الأسعار، مثل استخدام عروض أسعار محاكاة. هل هناك أي مقاييس محاكاة يمكن أن تكون مفيدة لفهم تأثير ملفات تعريف الارتباط التابعة لجهات خارجية و"قياس مدى الوصول إلى الجمهور" على نماذج عروض الأسعار؟
• حدِّد ما إذا كانت المقاييس تستند إلى "التقارير على مستوى الحدث" أو "التقارير الموجزة" أو مزيج من كلا التقريرَين (وما إذا تم استخدام تقارير تصحيح الأخطاء).

التحليل

• التغطية:
  • هل يمكنك قياس الأداء لدى مجموعة مشابهة من المستخدمين مقارنةً بملف تعريف الارتباط التابع لجهة خارجية؟ هل تلاحظ أي تغييرات في التغطية (على سبيل المثال، من التطبيق إلى الموقع الإلكتروني)؟
  • هل يمكنك قياس الإحالات الناجحة (والسمات أو المقاييس) التي تهمّك أو تهمّ المعلِنين أكثر من غيرها؟
• كيف ستؤثر الاختلافات بين المجموعات في ما يلي:
  • على سبيل المثال، ما هي النسبة المئوية للإحالات الناجحة الرئيسية التي يمكنك تسجيلها؟
  • على سبيل المثال، تحاكي عمليات التدريب والتحسين تأثير بيانات الإحالات الناجحة المختلفة في أداء النموذج.
• ملاحظات نوعية أخرى:
  • كيف تؤثر ميزة "الجمهور المشابه" في مدى تعقيد عملية إعداد تحسين عروض الأسعار للمعلِنين؟
  • هل تساعد "ميزة الحدّ الأقصى للوصول إلى الجمهور" المعلِنين أو تعيقهم عن التركيز على المقاييس والأهداف التي تهمّهم؟

جداول النماذج المقترَحة لتأثير عروض الأسعار

الجدول 1 (عروض الأسعار):

مثال على جدول نماذج النتائج التجريبية التي يجب أن يرسلها المشاركون في السوق إلى هيئة المنافسة والأسواق (مأخوذ من الصفحة 18، ولكن على المختبِرين مراعاة المقاييس الأكثر أهمية / جدوى لتقديمها وتعديل الجدول حسب الحاجة).

الجدول 2 (عروض الأسعار):

نموذج جدول لإعداد تقارير الإحصاءات الوصفية للمقاييس في مجموعة التجربة والمجموعة الضابطة (مأخوذ من الصفحة 20، ولكن على المختبِرين تحديد المقاييس الأكثر أهمية / جدوى لتقديمها وتعديل الجدول حسب الحاجة)

الهدف 3: اختبار استجابة "خدمة تجميع البيانات" للأحمال

اطّلِع على إطار عمل اختبار التحميل في "خدمة تجميع البيانات".