دليل اختبار القياس

يهدف هذا الدليل إلى تقديم إرشادات حول إجراء اختبار مستقل لواجهة برمجة التطبيقات Attribution Reporting API في "مبادرة حماية الخصوصية". لمزيد من التفاصيل، يُرجى الاطّلاع على القسم 12.

قبل البدء

أهداف التقييم وإعداد التجربة المقترَح

الهدف 1: تحديد مدى فعالية Attribution Reporting API في إعداد التقارير

نقترح إعداد تجربة أ/ب لقياس تأثير التقارير.

  • يتوافق هذا الاقتراح مع إرشادات CMA بشأن تقييم المقاييس المستندة إلى الإحالات الناجحة. لمزيد من التفاصيل، يُرجى الاطّلاع على الفقرة 21 والفقرة 12.
  • نفضّل هذه الطريقة على الوضع أ/ب لأنّه يمكن إجراء اختبار واجهة برمجة التطبيقات Attribution Reporting API (ARA) من خلال قياس الإحالات الناجحة في الوقت نفسه على المجموعة نفسها من مرّات الظهور باستخدام منهجيتَي قياس مختلفتَين (ملفات تعريف الارتباط التابعة لجهات خارجية + بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية وARA + بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية).
  • تعمل تجربة أ/ب أيضًا على عزل تأثير واجهة برمجة التطبيقات Attribution Reporting API في قياس الإحالات الناجحة (على سبيل المثال، تجنّب أي تغييرات في معدّلات الإحالات الناجحة بسبب عدم توفّر ملفات تعريف الارتباط التابعة لجهات خارجية).

نقاط التحليل المقترَحة

  • اختَر شريحة من الزيارات كبيرة بما يكفي للحصول على نتائج ذات دلالة إحصائية وتتضمّن ملفّات تعريف الارتباط التابعة لجهات خارجية وواجهات برمجة تطبيقات "مبادرة حماية الخصوصية". من الأفضل أن يشمل ذلك جميع الزيارات، باستثناء "الوضع ب" (الذي يوقف ملفّات تعريف الارتباط التابعة لجهات خارجية).
    • ننصحك باستبعاد "الوضع ب" من تجربة أ/أ، لأنّ ملفّات تعريف الارتباط التابعة لجهات خارجية لن تكون متاحة ولن تتمكّن من مقارنة نتائج ARA بنتائج تحديد المصدر المستندة إلى ملفّات تعريف الارتباط التابعة لجهات خارجية.
    • إذا كنت تريد تضمين "الوضع ب"، ننصحك بتفعيل تقارير تصحيح الأخطاء لشريحة "الوضع ب" من الزيارات. ستساعدك تقارير تصحيح الأخطاء في تحديد وحلّ أي مشاكل في الإعداد أو التنفيذ.
  • إذا كنت تخطّط لإجراء الاختبار على جزء أصغر من عدد الزيارات، نتوقّع أن تتلقّى نتائج قياس أكثر تشويشًا من المتوقّع. ننصحك بتوضيح نسبة عدد الزيارات المستخدَمة في التحليل وما إذا كنت تُبلغ عن النتائج استنادًا إلى تقارير تتضمّن بيانات غير صحيحة أو تقارير تصحيح أخطاء لا تتضمّن بيانات غير صحيحة.
    • بالنسبة إلى التقارير الموجزة، من المرجّح أن تكون قيم الملخّص أقل، وستضيف "خدمة تجميع البيانات" بيانات عشوائية من التوزيع نفسه بغض النظر عن قيمة الملخّص.
  • اختبِر منهجيات قياس مختلفة على شريحة الزيارات هذه.
    • مجموعة التحكّم 1: استخدام منهجيات القياس الحالية (ملفات تعريف الارتباط التابعة لجهات خارجية + بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية)
    • (اختياري) مجموعة التحكّم 2: لا تتوفّر "مبادرة حماية الخصوصية" ولا ملفات تعريف ارتباط تابعة لجهات خارجية، أي بيانات ملفات تعريف ارتباط غير تابعة لجهات خارجية فقط
      • يُرجى العِلم أنّه قد تظلّ بعض ملفات تعريف الارتباط التابعة لجهات خارجية متاحة لبعض المواقع الإلكترونية. للحصول على النتائج الأكثر دقة، لا تستخدِم ملفات تعريف الارتباط التابعة لجهات خارجية هذه في القياس ضمن منهجيات "المجموعة الضابطة 2" أو "المجموعة التجريبية".
    • المجموعة التجريبية: واجهات برمجة تطبيقات "مبادرة حماية الخصوصية" وبيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية
      • يُرجى العِلم أنّه قد تظلّ بعض ملفات تعريف الارتباط التابعة لجهات خارجية متاحة لبعض المواقع الإلكترونية. للحصول على النتائج الأكثر دقة، لا تستخدِم ملفات تعريف الارتباط التابعة لجهات خارجية هذه في القياس ضمن منهجيات المجموعة الأساسية 2 أو المجموعة التجريبية.

المقاييس

  • حدِّد المقاييس المناسبة لنشاطك التجاري لقياس النتائج، وأدرِج وصفًا لما يعنيه المقياس وكيفية قياسه.
    • نقترح التركيز على السمات والمقاييس المهمة للمعلِنين. على سبيل المثال، إذا كان المعلِنون يركّزون على الإحالات الناجحة المتمثّلة بعملية شراء، يمكنك قياس أعداد الإحالات الناجحة لهذه الإحالات وقيمتها.
  • إنّ المقاييس المستندة إلى العدد أو المجموع (مثل معدّل الإحالات الناجحة) هي أكثر مثالية للعمل معها مقارنةً بالتكلفة لكلّ (مثل التكلفة لكلّ إحالة ناجحة). بالنسبة إلى تحليل A/A، يمكن اشتقاق مقاييس التكلفة بالكامل من عدد قيم الإحالات الناجحة أو مجموعها.
  • حدِّد ما إذا كانت المقاييس تستند إلى "التقارير على مستوى الحدث" أو "التقارير الموجزة" أو إلى كليهما (وما إذا تم استخدام تقارير تصحيح الأخطاء).
  • اطّلِع على جداول النماذج المقترَحة للحصول على إرشادات حول كيفية تنسيق الملاحظات الكمّية.

التحليل

  • التغطية:
    • هل يمكنك إجراء عمليات القياس على مجموعة مماثلة من المستخدِمين مقارنةً بملفّات تعريف الارتباط التابعة لجهات خارجية؟ هل تلاحظ تغطية أكبر (على سبيل المثال، من خلال التطبيق إلى الويب)؟
    • هل يمكنك قياس الإحالات الناجحة (والسمات أو المقاييس) التي تهمّك أنت أو المعلِنين أكثر من غيرها؟
  • الملاحظات الكمّية
    • في ما يتعلّق بإعداد تقارير المعلِنين، على سبيل المثال، ما هي النسبة المئوية للإحالات الناجحة الرئيسية التي يمكنك الإبلاغ عنها لهذا المعلِن، أو ما هي النسبة المئوية للحملات التي تستوفي الحدّ الأدنى لجودة إعداد التقارير (يساعد استخراج حدّ أدنى لجودة إعداد التقارير في إجراء التعديلات على الحملات التي تتضمّن أعدادًا صغيرة من الإحالات الناجحة).
    • على سبيل المثال، هل هناك بعض المعلِنين الذين يعتمدون بشكلٍ أو بآخر على ملفات تعريف الارتباط التابعة لجهات خارجية لإعداد التقارير اليوم؟
  • ملاحظات نوعية أخرى:
    • كيف يؤثّر ARA في تعقيد إعدادات القياس/تحديد المصدر للمعلِنين؟
    • هل تساعد ميزة ARA المعلِنين في التركيز على المقاييس والأهداف التي تهمّهم أم تعيقهم؟

جداول النماذج المقترَحة لإعداد تقارير عن التأثير

(إعداد التقارير) الجدول 1:

مثال على جدول نموذج لإعداد تقارير النتائج التجريبية إلى CMA (مأخوذ من الصفحة 18، ولكن على المختبِرين مراعاة المقاييس الأكثر أهمية / جدوى لتقديم الجدول وتعديله حسب الحاجة).

المجموعة التجريبية مقارنةً بالمجموعة الأساسية 1
مقارنة الحالة النهائية المقترَحة بالحالة الحالية
العلاج مقارنةً بالمجموعة الأساسية 2
تقارن الحالة النهائية المقترَحة بدون واجهات برمجة تطبيقات PS على الإطلاق.
مجموعة التحكّم 2 مقارنةً بمجموعة التحكّم 1
تقارن هذه المجموعة قياس الإحالات الناجحة باستخدام ملفات تعريف الارتباط التابعة لجهات خارجية وبدونها، بدون أي واجهات برمجة تطبيقات PS API.
منهجية القياس قارِن قياس الإحالات الناجحة للمجموعة التجريبية (ARA مع بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية) بمجموعة التحكّم 1 (بيانات ملفات تعريف الارتباط التابعة لجهات خارجية وغير التابعة لجهات خارجية). قارِن قياس الإحالات الناجحة لمجموعة التجربة (ARA مع بيانات ملفّات تعريف الارتباط غير التابعة لجهات خارجية) بمجموعة التحكّم 2 (بيانات ملفّات تعريف الارتباط غير التابعة لجهات خارجية فقط). قارِن قياس الإحالات الناجحة لمجموعة التحكّم 2 (بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية فقط) بمجموعة التحكّم 1 (بيانات ملفات تعريف الارتباط التابعة لجهات خارجية وغير التابعة لجهات خارجية).
الإحالات الناجحة لكل دولار التأثير التأثير التأثير
الخطأ المعياري الخطأ المعياري الخطأ المعياري
فاصل ثقة 95% فاصل ثقة 95% فاصل ثقة 95%
إجمالي الإحالات الناجحة التأثير التأثير التأثير
الخطأ المعياري الخطأ المعياري الخطأ المعياري
فاصل ثقة 95% فاصل ثقة 95% فاصل ثقة 95%
معدل الإحالات الناجحة التأثير التأثير التأثير
الخطأ المعياري الخطأ المعياري الخطأ المعياري
فاصل ثقة 95% فاصل ثقة 95% فاصل ثقة 95%
(إضافة المقاييس الخاصة بك)
(إعداد التقارير) الجدول 2:

مثال على جدول نموذج لإعداد تقارير الإحصاءات الوصفية للمقاييس في مجموعتَي التجربة والمراقبة (مأخوذ من الصفحة 20، ولكن على المختبِرين مراعاة المقاييس الأكثر أهمية / جدوى لتقديمها وتعديل الجدول حسب الحاجة).

المقياس العلاج
قياس الإحالات الناجحة باستخدام ARA وأي بيانات ملفّات تعريف ارتباط غير تابعة لجهات خارجية تستخدمها
مجموعة التحكّم 1
قياس الإحالات الناجحة باستخدام ملفات تعريف الارتباط التابعة لجهات خارجية وأي بيانات ملفّات تعريف ارتباط غير تابعة لجهات خارجية تستخدمها
مجموعة التحكّم 2
قياس الإحالات الناجحة باستخدام بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية فقط
الإحالات الناجحة لكل دولار المتوسط المتوسط المتوسط
الانحراف المعياري الانحراف المعياري الانحراف المعياري
الشريحة المئوية الخامسة والعشرون والخامسة والسبعين الشريحة المئوية الخامسة والعشرون والخامسة والسبعين الشريحة المئوية الخامسة والعشرون والخامسة والسبعين
إجمالي الإحالات الناجحة المتوسط المتوسط المتوسط
الانحراف المعياري الانحراف المعياري الانحراف المعياري
الشريحة المئوية الخامسة والعشرون والخامسة والسبعين الشريحة المئوية الخامسة والعشرون والخامسة والسبعين الشريحة المئوية الخامسة والعشرون والخامسة والسبعين
معدل الإحالات الناجحة المتوسط المتوسط المتوسط
الانحراف المعياري الانحراف المعياري الانحراف المعياري
الشريحة المئوية الخامسة والعشرون والخامسة والسبعين الشريحة المئوية الخامسة والعشرون والخامسة والسبعين الشريحة المئوية الخامسة والعشرون والخامسة والسبعين
(إضافة المقاييس الخاصة بك)

الهدف 2: تحديد مدى فعالية Attribution Reporting API لتحسين عروض الأسعار

نقترح إعداد اختبار أ/ب لقياس التأثير في تحسين عروض الأسعار.

  • لقياس تأثير تحسين عروض الأسعار، عليك تدريب نموذجَين مختلفَين من تعلُّم الآلة واستخدامهما على قسمَين من الزيارات: نموذج تم تدريبه على منهجيات القياس الحالية (ملفات تعريف الارتباط التابعة لجهات خارجية + بيانات غير ملفات تعريف الارتباط التابعة لجهات خارجية) ليتم تطبيقه على مجموعة التحكّم، ونموذج تم تدريبه على Attribution Reporting API + بيانات غير ملفات تعريف الارتباط التابعة لجهات خارجية ليتم تطبيقه على مجموعة التجربة.
  • يجب أن يستند تدريب النموذج إلى أكبر عدد ممكن من الزيارات التي يعتقد المختبِر أنّها ضرورية لتحسين الأداء إلى أقصى حدّ، حتى إذا كانت مجموعة التجربة هي جزء أصغر من الزيارات وكان هناك تداخل بين مجموعات التدريب (على سبيل المثال، استخدام نموذج ملفات تعريف الارتباط الحالية التابعة لجهات خارجية التي يتم تدريبها على جميع الزيارات، وتدريب نموذج ARA على جميع زيارات ARA المفعّلة للهدف 1).
    • في حال إرسال النتائج إلى CMA، يُرجى ملاحظة ما إذا كان هناك فرق كبير بين شرائح الزيارات المستخدَمة لتدريب نماذج مختلفة (على سبيل المثال، إذا تم تدريب النماذج المستندة إلى ملفات تعريف الارتباط التابعة لجهات خارجية على% 100 من الزيارات، ولكن تم تدريب النماذج المستندة إلى ARA على% 1 فقط من الزيارات).
  • يجب أن يتم تدريب نماذج عروض الأسعار لكلّ من المجموعة التجريبية والمجموعة الضابطة خلال المدة الزمنية نفسها إن أمكن.
  • فكِّر في ما إذا كان عليك تدريب نماذج عروض الأسعار وتعديلها باستمرار أثناء التجربة، وإذا كنت تريد ذلك، فكِّر في ما إذا كان عليك التدريب على أكبر عدد ممكن من الزيارات أو على الزيارات الواردة من مجموعتَي التجربة والتحكم فقط.
  • يجب استخدام النماذج المختلفة على شرائح غير متّصلة من الزيارات كتجربة أ/ب. لتوزيع المستخدمين عشوائيًا وتحديدهم في مجموعتَي التجربة والتحكم، ننصحك باستخدام مجموعات المتصفّحات المصنّفة التي يوفّرها Chrome (الوضع "أ") أو إجراء تجربتك الخاصة باستخدام مجموعات عشوائية من المتصفّحات. لا ننصح باستخدام الوضع ب لأنّ عدم توفّر ملفات تعريف الارتباط التابعة لجهات خارجية سيصعّب إعداد تقارير عن المقاييس المستندة إلى الإحالات الناجحة.
    • ستستبعد مجموعات المتصفّحات التي يسهّلها Chrome بعض عمليات تشغيل Chrome، مثل مستخدمي Chrome Enterprise، حيث قد لا تستبعد مجموعات المتصفّحات العشوائية هذه عمليات تشغيل Chrome. لذلك، يجب إجراء تجربتك على مجموعات "الوضع أ" فقط، أو على مجموعات غير "الوضع أ" أو "الوضع ب" فقط لتجنُّب مقارنة المقاييس التي تم الحصول عليها من المجموعات التي تم تسهيلها من خلال Chrome بالمقاييس التي تم الحصول عليها خارج المجموعات التي تم تسهيلها من خلال Chrome.
    • في حال عدم استخدام مجموعات المتصفّحات المصنّفة التي يوفّرها Chrome (على سبيل المثال، إجراء التجربة على زيارات أخرى):
      • تأكَّد من أنّ تقسيم المستخدمين إلى مجموعتَي التجربة والتحكّم عشوائي وغير متحيّز. بغض النظر عن إعداد مجموعة التجربة، قيِّم خصائص مجموعتَي التجربة والتحكّم للتأكّد من تشابه مجموعتَي التجربة والتحكّم. (راجِع: الفقرة 15)
      • تأكَّد من أنّ خصائص المستخدِمين وإعدادات الحملات في مجموعتَي التجربة والتحكّم متطابقة (على سبيل المثال، استخدِم مواقع جغرافية مشابهة في كلّ من مجموعتَي التجربة والتحكّم). (راجِع الفقرة 28)
        • تشمل الأمثلة المحدّدة ما يلي: التأكّد من قياس أنواع الإحالات الناجحة المتشابهة باستخدام فترة تحديد المصدر نفسها ومنطق تحديد المصدر نفسه، وأنّ الحملات تستهدِف شرائح جمهور ومجموعات اهتمامات ومناطق جغرافية مشابهة وتستخدِم نصوص إعلانات وأشكال إعلانات مشابهة.
      • √ أن تكون أحجام المجموعات الأولية لكلّ من مجموعة التجربة ومجموعة التحكّم كبيرة بما يكفي لتوفير المرونة في عروض الأسعار والتجارب
    • في حال استخدام مجموعات المتصفّحات المصنّفة التي يوفّرها Chrome (الوضع "أ")، يتولّى Chrome توزيع نُسخ متصفّح Chrome عشوائيًا على المجموعات. ننصحك بالتحقّق، كما في السابق، من أنّ نتائج التوزيع العشوائي تؤدي إلى مجموعات غير متحيّزة أو مشابهة لأغراضك.

نقاط التحليل المقترَحة

  • ننصحك بتحديد المجموعة الضابطة والمجموعة التجريبية، واستخدام نموذج تعلُّم آلة مختلف لتحسين عروض الأسعار لكل مجموعة:
    • مجموعة التحكّم 1: استخدام نموذج تحسين عروض الأسعار الذي تم تدريبه على منهجيات القياس الحالية (ملفات تعريف الارتباط التابعة لجهات خارجية + بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية)
    • (اختياري) مجموعة التحكّم 2: استخدام نموذج تحسين عروض الأسعار الذي تم تدريبه بدون "مبادرة حماية الخصوصية" وبدون ملفات تعريف ارتباط تابعة لجهات خارجية، أي بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية فقط
      • يُرجى العِلم أنّه قد تظل بعض ملفات تعريف الارتباط التابعة لجهات خارجية متاحة لبعض المواقع الإلكترونية. للحصول على أدق النتائج، لا تستخدِم ملفات تعريف الارتباط التابعة لجهات خارجية هذه في القياس ضمن منهجيات المجموعة الأساسية 2 أو المجموعة التجريبية.
    • المجموعة التجريبية: استخدام نموذج تحسين عروض الأسعار الذي تم تدريبه على واجهة برمجة التطبيقات Attribution Reporting API وبيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية
      • يُرجى العِلم أنّه قد تظل بعض ملفات تعريف الارتباط التابعة لجهات خارجية متاحة لبعض المواقع الإلكترونية. للحصول على النتائج الأكثر دقة، لا تستخدِم ملفات تعريف الارتباط التابعة لجهات خارجية هذه في القياس ضمن منهجيات المجموعة الأساسية 2 أو المجموعة التجريبية.

المقاييس

  • حدِّد المقاييس المناسبة لنشاطك التجاري لقياس النتائج، وأدرِج وصفًا لما يعنيه المقياس وكيفية قياسه.
    • على سبيل المثال، يمكن أن يكون المقياس المهم هو الإنفاق (أرباح الناشر)، وهو ما يتوافق مع إرشادات CMA لفهم تأثير الإيقاف النهائي لملفات تعريف الارتباط التابعة لجهات خارجية في "الأرباح لكل مرّة ظهور". يُرجى الاطّلاع على الفقرة 19 لمزيد من التفاصيل.
  • في حال إعداد تقارير عن أيّ مقاييس مستندة إلى الإحالات الناجحة، يجب استخدام منهج القياس نفسه لكلّ مجموعة، لتجنُّب الاختبار المتعدّد المتغيّرات (اختبار التأثير في التحسين وإعداد التقارير في تجربة واحدة). اطّلِع على جداول النماذج المقترَحة للحصول على إرشادات حول كيفية تنسيق الملاحظات الكمّية.
  • ننصحك بالتفكير في طرق أخرى لجمع المقاييس عن تأثير تحسين عروض الأسعار، مثل استخدام عروض الأسعار المحاكية. هل هناك أيّ مقاييس محاكية قد تكون مفيدة لفهم تأثير ملفات تعريف الارتباط التابعة لجهات خارجية وARA في نماذج عروض أسعارك؟
  • حدِّد ما إذا كانت المقاييس تستند إلى "التقارير على مستوى الحدث" أو "التقارير الموجزة" أو إلى كليهما (وما إذا تم استخدام تقارير تصحيح الأخطاء).

التحليل

  • التغطية:
    • هل يمكنك إجراء عمليات القياس على مجموعة مماثلة من المستخدِمين مقارنةً بملفّات تعريف الارتباط التابعة لجهات خارجية؟ هل لاحظت أي تغييرات في التغطية (على سبيل المثال، في ما يتعلّق بالانتقال من التطبيق إلى الويب)؟
    • هل يمكنك قياس الإحالات الناجحة (والسمات/المقاييس) التي تهمّك أنت أو المعلِنين أكثر من غيرها؟
  • كيف ستؤثّر الاختلافات بين المجموعات في ما يلي:
    • إعداد تقارير المعلِنين، على سبيل المثال، النسبة المئوية للإحالات الناجحة الرئيسية التي يمكنك الإبلاغ عنها
    • على سبيل المثال، يحاكي التدريب والتحسين تأثير بيانات الإحالات الناجحة المختلفة في أداء النموذج.
  • ملاحظات نوعية أخرى:
    • كيف تؤثّر ميزة ARA في تعقيد إعداد تحسين عروض أسعار المعلِنين؟
    • هل تساعد ميزة ARA المعلِنين في التركيز على المقاييس والأهداف التي تهمّهم أم تعيقهم؟

جداول النماذج المقترَحة لتأثير عروض الأسعار

(عروض الأسعار) الجدول 1:

مثال على جدول نموذج النتائج التجريبية التي يجب أن يرسلها المشاركون في السوق إلى CMA (مأخوذ من الصفحة 18، ولكن على المختبِرين مراعاة المقاييس الأكثر أهمية / جدوى لتقديم الجدول وتعديله حسب الحاجة).

المجموعة التجريبية مقارنةً بالمجموعة الأساسية 1
مقارنة الحالة النهائية المقترَحة بالحالة الحالية
العلاج مقارنةً بالمجموعة الأساسية 2
تقارن الحالة النهائية المقترَحة بدون واجهات برمجة تطبيقات PS على الإطلاق.
مجموعة التحكّم 2 مقارنةً بمجموعة التحكّم 1
تقارن هذه المجموعة بين تحسين عروض الأسعار باستخدام ملفات تعريف الارتباط التابعة لجهات خارجية وبدونها، بدون أي واجهات برمجة تطبيقات "مبادرة حماية الخصوصية".
منهجية القياس لتجنُّب إجراء اختبارات متعددة المتغيرات، استخدِم بيانات ملفات تعريف الارتباط التابعة لجهات خارجية وغير التابعة لجهات خارجية لقياس المقاييس المستندة إلى الإحالات الناجحة لكلتا مجموعتَي التجربة.
الأرباح لكلّ مرّة ظهور التأثير التأثير التأثير
الخطأ المعياري الخطأ المعياري الخطأ المعياري
فاصل ثقة 95% فاصل ثقة 95% فاصل ثقة 95%
(إضافة المقاييس الخاصة بك)
(عروض الأسعار) الجدول 2:

مثال على جدول نموذج لإعداد تقارير الإحصاءات الوصفية للمقاييس في مجموعتَي التجربة والمراقبة (مأخوذ من الصفحة 20، ولكن على المختبِرين مراعاة المقاييس الأكثر أهمية / جدوى لتقديمها وتعديل الجدول حسب الحاجة).

العلاج
تحسين عروض الأسعار باستخدام ARA وأي بيانات لملفات تعريف الارتباط غير التابعة لجهات خارجية تستخدمها
مجموعة التحكّم 1
تحسين عروض الأسعار باستخدام ملفات تعريف الارتباط التابعة لجهات خارجية وأي بيانات ملفّات تعريف ارتباط غير تابعة لجهات خارجية تستخدمها
مجموعة التحكّم 2
تحسين عروض الأسعار باستخدام بيانات ملفات تعريف الارتباط غير التابعة لجهات خارجية فقط
منهجية القياس لتجنُّب الاختبار المتعدّد المتغيّرات، استخدِم بيانات ملفات تعريف الارتباط التابعة لجهات خارجية وغير التابعة لجهات خارجية لقياس المقاييس المستندة إلى الإحالات الناجحة في جميع المجموعات التجريبية.
الأرباح لكلّ مرّة ظهور المتوسط المتوسط المتوسط
الانحراف المعياري الانحراف المعياري الانحراف المعياري
الشريحة المئوية الخامسة والعشرون والخامسة والسبعين الشريحة المئوية الخامسة والعشرون والخامسة والسبعين الشريحة المئوية الخامسة والعشرون والخامسة والسبعين
(إضافة المقاييس الخاصة بك)

الهدف 3: اختبار التحميل لخدمة "تجميع البيانات"

راجِع إطار عمل اختبار الأداء لخدمة تجميع البيانات.