מדריך לבדיקת מדידה

המטרה של המדריך הזה היא לספק הנחיות להרצת בדיקה עצמאית של Attribution Reporting API של ארגז החול לפרטיות. פרטים נוספים זמינים בקטע 12.

  • המדידה של תוצאות הזרוע של קבוצת הבקרה והזרוע של קבוצת הניסוי בתכנונים הניסיוניים 1 ו-2 של CMA מפורטת בהנחיות לבדיקת ממשקי Relevance API, כי מטרת הניסויים האלה היא לבדוק את היעילות של השימוש ב-Protected Audience API וב-Topics API. פרטים נוספים זמינים בקטע 11.

לפני שמתחילים

יעדי ההערכה וההגדרה המוצעת של הניסוי

יעד 1 – קביעת היעילות של Attribution Reporting API לצורך דיווח

אנחנו מציעים להגדיר בדיקת A/B כדי למדוד את ההשפעה על הדיווח

  • ההצעה הזו תואמת להנחיות של CMA לגבי הערכה של מדדים המבוססים על המרות. פרטים נוספים זמינים בקטע 21 ובקטע 12.
  • אנחנו מעדיפים את השיטה הזו על פני מצב A/B כי אפשר לבדוק את Attribution Reporting API ‏ (ARA) על ידי מדידת המרות בו-זמנית באותה קבוצת חשיפות באמצעות שתי שיטות מדידה שונות (קובצי cookie של צד שלישי + נתונים מקובצי cookie שאינם של צד שלישי ו-ARA + נתונים מקובצי cookie שאינם של צד שלישי).
  • ניסוי A/A מבודד גם את ההשפעה של Attribution Reporting API על מעקב ההמרות (לדוגמה, הוא מונע שינויים בשיעורי ההמרה עקב חוסר קובצי Cookie של צד שלישי).

הצעות לנקודות ניתוח

  • בוחרים פלחי תנועה גדולים מספיק כדי לקבל תוצאות בעלות מובהקות סטטיסטית, שכוללים גם קובצי Cookie של צד שלישי וגם ממשקי API של ארגז החול לפרטיות. באופן אידיאלי, מדובר בכל התנועה, מלבד מצב ב' (שבו קובצי ה-Cookie של צד שלישי מושבתים).
    • מומלץ להחריג את מצב B מהניסוי A/A, כי קובצי cookie של צד שלישי לא יהיו זמינים ולא תוכלו להשוות בין תוצאות ARA לבין תוצאות שיוך שמבוססות על קובצי cookie של צד שלישי.
    • אם רוצים לכלול את מצב B, כדאי להפעיל דוחות ניפוי באגים לחלק של התנועה במצב B. דוחות ניפוי הבאגים יעזרו לכם לפתור בעיות בהגדרה או בהטמעה.
  • אם אתם מתכננים לבצע בדיקה על נתון קטן יותר של תנועה, סביר להניח שתקבלו תוצאות מדידה עם רמת רעש גבוהה מהצפוי. מומלץ לציין בניתוח איזה חלק מהתנועה שימש, ואם אתם מדווחים על תוצאות על סמך דוחות עם רעש או על סמך דוחות ניפוי באגים ללא רעש.
    • בדוחות סיכום, סביר להניח שערכות הסיכום יהיו נמוכות יותר, ו-Aggregation Service יוסיף רעש מאותה חלוקה ללא קשר לערך הסיכום.
  • בודקים שיטות מדידה שונות על החלק הזה של התנועה
    • קבוצת ביקורת 1 – שימוש בשיטות המדידה הנוכחיות (קובצי Cookie של צד שלישי + נתונים מקובצי Cookie שאינם של צד שלישי)
    • (אופציונלי) קבוצת ביקורת 2 – ללא ארגז חול לפרטיות וללא קובצי Cookie של צד שלישי, כלומר רק נתוני קובצי Cookie שאינם של צד שלישי
      • שימו לב: יכול להיות שחלק מקובצי ה-Cookie של הצד השלישי עדיין יהיו זמינים באתרים מסוימים. כדי לקבל את התוצאות המדויקות ביותר, מומלץ לא להשתמש בקובצי ה-Cookie האלה של הצד השלישי למטרות מדידה בשיטות הבקרה 2 או הטיפול.
    • קבוצת הטיפול – ממשקי API של ארגז החול לפרטיות ונתונים מקובצי cookie שאינם של צד שלישי
      • שימו לב: יכול להיות שחלק מקובצי ה-Cookie של הצד השלישי עדיין יהיו זמינים באתרים מסוימים. כדי לקבל את התוצאות המדויקות ביותר, מומלץ לא להשתמש בקובצי ה-Cookie האלה של הצד השלישי למטרות מדידה בשיטות הבקרה 2 או הטיפול.

מדדים

  • מגדירים אילו מדדים מתאימים לעסק שלכם למדידת התוצאות, ומצרפים תיאור של המשמעות של המדד ושל אופן המדידה שלו.
    • מומלץ להתמקד במאפיינים ובמדדים שחשובים למפרסמים שלכם. לדוגמה, אם המפרסמים שלכם מתמקדים בהמרות מסוג רכישה, כדאי למדוד את מספר ההמרות האלה ואת ערך הרכישה.
  • קל יותר לעבוד עם מדדים שמבוססים על ספירה או על סכום (לדוגמה, שיעור המרה) בהשוואה לעלויות לכל (לדוגמה, עלות להמרה). בניתוח A/A, אפשר להסיק את מדדי העלות באופן מלא מהספירה או מסכום ערכי ההמרות.
  • מציינים אם המדדים מבוססים על דוחות ברמת האירוע, על דוחות סיכום או על שילוב של שני הדוחות (ואם נעשה שימוש בדוחות ניפוי באגים).
  • בטבלאות התבניות המוצעות מפורטות הנחיות לפורמט של משוב כמותי.

ניתוח

  • כיסוי:
    • האם יש לכם אפשרות למדוד נתונים בקבוצה דומה של משתמשים בהשוואה לקובצי cookie של צד שלישי? האם יש לכם כיסוי רחב יותר (למשל, מודעות מאתר לאפליקציה)?
    • האם אתם יכולים למדוד את ההמרות (והמאפיינים או המדדים) שהכי חשובים לכם או למפרסמים שלכם?
  • משוב כמותי
    • בדיווח על מפרסם, לדוגמה, מהו אחוז ההמרות העיקריות שתוכלו לדווח עליהן לגבי המפרסם הזה, או מהו אחוז הקמפיינים שעומדים בסטנדרט איכות הדיווח (יצירת סטנדרט איכות עוזרת להתאים את הדיווח לקמפיינים עם מספרים קטנים של המרות)
    • לדוגמה, האם יש מפרסמים שמסתמכים יותר או פחות על קובצי cookie של צד שלישי לצורך דיווח היום?
  • משוב איכותי נוסף:
    • איך ARA משפיע על המורכבות של הגדרת המדידה או השיוך של המפרסמים?
    • האם הכלי ARA עוזר למפרסמים להתמקד במדדים וביעדים שחשובים להם, או שהוא מפריע להם לעשות זאת?

הצעות לטבלאות תבנית לדיווח על ההשפעה

(דיווח) טבלה 1:

דוגמה לטבלת תבנית לדיווח על תוצאות ניסיוניות ל-CMA (מתוך דף 18, אבל הבודקים צריכים לשקול אילו מדדים הם המשמעותיים או המתאימים ביותר ולשנות את הטבלה לפי הצורך).

טיפול לעומת קבוצת בקרה 1
השוואה בין מצב היעד המוצע למצב הנוכחי 		טיפול לעומת קבוצת ביקורת 2
השוואה בין מצב הקצה המוצע לבין מצב שבו אין בכלל ממשקי API של PS. 		קבוצת ביקורת 2 לעומת קבוצת ביקורת 1
השוואה בין מדידת ההמרות עם קובצי Cookie של צד שלישי ללא קובצי Cookie של צד שלישי, ללא ממשקי API של PS.
מתודולוגיית המדידה השוואה בין מעקב ההמרות בקבוצת הניסוי (ARA עם נתונים מקובצי Cookie שאינם של צד שלישי) לבין קבוצת הבקרה 1 (נתונים מקובצי Cookie של צד שלישי ומקובצי Cookie שאינם של צד שלישי) השוואה בין מעקב ההמרות בקבוצת הניסוי (ARA עם נתוני קובצי cookie שאינם של צד שלישי) לבין קבוצת הבקרה 2 (נתוני קובצי cookie שאינם של צד שלישי בלבד) השוואה בין מדידת ההמרות בקבוצת הבקרה 2 (נתונים מקובצי Cookie שאינם של צד שלישי בלבד) לבין קבוצת הבקרה 1 (נתונים מקובצי Cookie של צד שלישי ומקובצי Cookie שאינם של צד שלישי)
המרות לדולר השפעה השפעה השפעה
שגיאת תקן שגיאת תקן שגיאת תקן
95% רווח בר-סמך 95% רווח בר-סמך 95% רווח בר-סמך
סה"כ המרות השפעה השפעה השפעה
שגיאת תקן שגיאת תקן שגיאת תקן
95% רווח בר-סמך 95% רווח בר-סמך 95% רווח בר-סמך
שיעור המרה השפעה השפעה השפעה
שגיאת תקן שגיאת תקן שגיאת תקן
95% רווח בר-סמך 95% רווח בר-סמך 95% רווח בר-סמך
(מוסיפים מדדים משלכם)
(דיווח) טבלה 2:

דוגמה לטבלת תבנית לדיווח על נתונים סטטיסטיים תיאוריים של מדדים בקבוצת הטיפול ובקבוצת הבקרה (מתוך דף 20, אבל הבודקים צריכים לשקול אילו מדדים הם המשמעותיים או המתאימים ביותר ולשנות את הטבלה לפי הצורך).

מדד טיפול
מדידת המרות באמצעות ARA וכל נתוני קובצי cookie שאינם של צד שלישי שבהם אתם משתמשים 		קבוצת ביקורת 1
מדידת המרות באמצעות קובצי Cookie של צד שלישי וכל נתון אחר מקובצי Cookie שאינם של צד שלישי שבהם אתם משתמשים 		קבוצת בקרה 2
מדידת המרות באמצעות נתוני קובצי cookie שאינם של צד שלישי בלבד
המרות לדולר ממוצע ממוצע ממוצע
סטיית תקן סטיית תקן סטיית תקן
אחוזון 25 ואחוזון 75 אחוזון 25 ואחוזון 75 אחוזון 25 ואחוזון 75
סה"כ המרות ממוצע ממוצע ממוצע
סטיית תקן סטיית תקן סטיית תקן
אחוזון 25 ואחוזון 75 אחוזון 25 ואחוזון 75 אחוזון 25 ואחוזון 75
שיעור המרה ממוצע ממוצע ממוצע
סטיית תקן סטיית תקן סטיית תקן
אחוזון 25 ואחוזון 75 אחוזון 25 ואחוזון 75 אחוזון 25 ואחוזון 75
(מוסיפים מדדים משלכם)

יעד 2 – קביעת היעילות של Attribution Reporting API לאופטימיזציית הבידינג

אנחנו מציעים להגדיר בדיקת A/B כדי למדוד את ההשפעה על האופטימיזציה של הבידינג.

  • כדי למדוד את ההשפעה על אופטימיזציית הבידינג, תצטרכו לאמן שני מודלים שונים של למידת מכונה ולהשתמש בהם בשני פלחים של תנועה – מודל אחד שהוכשרה באמצעות שיטות המדידה הנוכחיות (קובצי cookie של צד שלישי + נתונים שאינם קובצי cookie של צד שלישי) שיחולו על זרוע הבקרה, ומודל אחד שהוכשרה באמצעות Attribution Reporting API + נתונים שאינם קובצי cookie של צד שלישי שיחולו על זרוע הטיפול.
  • אימון המודל צריך להתבסס על כמות תנועה גדולה ככל האפשר, לפי שיקול דעתו של הבודק, כדי למקסם את הביצועים, גם אם זרוע הטיפול היא פלח קטן יותר של התנועה ויש חפיפה בין אוכלוסיות האימון (לדוגמה, שימוש במודל הקיים של קובצי cookie של צד שלישי שמתאמן על כל התנועה, והכשרת מודל ARA על כל התנועה של ARA שמופעלת להשגת יעד 1).
    • אם שולחים תוצאות ל-CMA, חשוב לציין אם יש הבדל משמעותי בין פלחי התנועה ששימשו לאימון מודלים שונים (לדוגמה, אם מודלים שמבוססים על קובצי cookie של צד שלישי הוכשרו על 100% מהתנועה, אבל מודלים שמבוססים על ARA הוכשרו רק על 1% מהתנועה).
  • אם אפשר, כדאי לאמן את מודלי הבידינג של קבוצת הניסוי ושל קבוצת הבקרה למשך פרק זמן זהה.
  • כדאי לשקול אם כדאי לאמן ולעדכן את מודלי הבידינג באופן שוטף במהלך הניסוי, ואם כן, אם כדאי לאמן על כמה שיותר תנועה או רק על תנועה מזרוע הטיפול ומזרוע הבקרה.
  • צריך להשתמש במודלים השונים בפלחים נפרדים של תנועה כניסוי A/B. כדי לבצע אקראיזציה של משתמשים ולהקצות אותם לזרועות הטיפול והבקרה, מומלץ להשתמש בקבוצות של דפדפנים מתויגים שמנוהלות על ידי Chrome (מצב A) או להריץ ניסוי משלכם עם קבוצות אקראיות של דפדפנים. לא מומלץ להשתמש במצב ב', כי היעדר קובצי cookie של צד שלישי יקשה על הדיווח על מדדים שמבוססים על המרות.
    • קבוצות דפדפנים שמבוססות על Chrome יכללו החרגות של מכונות Chrome מסוימות, כמו משתמשי Chrome Enterprise. לעומת זאת, קבוצות דפדפנים אקראיות שהוגדרו על ידכם לא יכללו החרגות כאלה. לכן, מומלץ להריץ את הניסוי רק בקבוצות במצב A, או רק בקבוצות שאינן במצב A או במצב B, כדי להימנע מהשוואה בין מדדים שהתקבלו בקבוצות שמנוהלות על ידי Chrome לבין מדדים שהתקבלו מחוץ לקבוצות שמנוהלות על ידי Chrome.
    • אם לא משתמשים בקבוצות של דפדפנים מתויגים שמנוהלות על ידי Chrome (לדוגמה, הרצת ניסוי בתנועה אחרת):
      • מוודאים שהחלוקה של המשתמשים לקבוצת הטיפול ולקבוצת הבקרה היא אקראית וללא הטיה. ללא קשר להגדרה של קבוצות הניסוי, צריך להעריך את המאפיינים של זרועות הניסוי והבקרה כדי לוודא שאפשר להשוות בין קבוצות הניסוי והבקרה. (ראו: סעיף 15)
      • מוודאים שמאפייני המשתמשים והגדרות הקמפיין בקבוצת הניסוי ובקבוצת הבקרה זהים (לדוגמה, משתמשים במיקומים גיאוגרפיים דומים בקבוצת הניסוי ובקבוצת הבקרה). (ראו: סעיף 28)
        • דוגמאות ספציפיות: מוודאים שסוגי המרות דומים נמדדים באמצעות אותה חלון שיוך ואותה לוגיקה של שיוך, שהקמפיינים מטרגטים קהלים, קבוצות תחומי עניין ומיקומים גיאוגרפיים דומים, ומשתמשים בתוכן מודעות ובפורמטים של מודעות דומים.
      • √ שגודל האוכלוסייה הראשוני של קבוצת הניסוי וקבוצת הבקרה גדול מספיק כדי לאפשר גמישות בבידינג ובניסוי.
    • אם משתמשים בקבוצות של דפדפנים מתויגים שמנוהלות על ידי Chrome (מצב A), מערכת Chrome מטפלת ברנדומיזציה של המכונות של דפדפני Chrome לקבוצות. מומלץ לבדוק, כמו קודם, שהאקראיזציה מניבה קבוצות דומות או ללא הטיה לצורכי הבדיקה.

הצעות לנקודות ניתוח

  • מומלץ להגדיר זרוע בקרה וזרוע ניסוי, ולהשתמש במודל למידת מכונה שונה לאופטימיזציה של הבידינג בכל זרוע:
    • קבוצת ביקורת 1 – שימוש במודל האופטימיזציה של הבידינג שאומן על שיטות המדידה הנוכחיות (קובצי cookie של צד שלישי + נתונים מקובצי cookie שאינם של צד שלישי)
    • (אופציונלי) קבוצת ביקורת 2 – שימוש במודל האופטימיזציה של הבידינג שהודרן ללא ארגז חול לפרטיות וללא קובצי Cookie של צד שלישי, כלומר רק נתונים של קובצי Cookie שאינם של צד שלישי
      • שימו לב: יכול להיות שחלק מקובצי ה-Cookie של צד שלישי עדיין יהיו זמינים באתרים מסוימים. כדי לקבל את התוצאות המדויקות ביותר, מומלץ לא להשתמש בקובצי ה-Cookie האלה של צד שלישי למדידה בשיטות הבקרה 2 או הטיפול.
    • טיפול – שימוש במודל האופטימיזציה של הבידינג שהודרן באמצעות Attribution Reporting API ונתונים של קובצי cookie שאינם של צד שלישי
      • שימו לב: יכול להיות שחלק מקובצי ה-Cookie של צד שלישי עדיין יהיו זמינים באתרים מסוימים. כדי לקבל את התוצאות המדויקות ביותר, מומלץ לא להשתמש בקובצי ה-Cookie האלה של צד שלישי למדידה בשיטות הבקרה 2 או הטיפול.

מדדים

  • מגדירים אילו מדדים מתאימים לעסק שלכם למדידת התוצאות, ומצרפים תיאור של המשמעות של המדד ושל אופן המדידה שלו.
    • לדוגמה, המדד המשמעותי יכול להיות הוצאה (הכנסה של בעל תוכן דיגיטלי), בהתאם להנחיות של CMA להבנת ההשפעה של ההוצאה משימוש של קובצי Cookie של צד שלישי על 'הכנסות לכל חשיפה'. פרטים נוספים זמינים בקטע 19.
  • אם אתם מדווחים על מדדים שמבוססים על המרות, כדאי להשתמש באותה שיטת מדידה בכל זרוע כדי להימנע מבדיקות של משתנים מרובים (בדיקת ההשפעה על האופטימיזציה והדיווח בניסוי אחד). בטבלאות התבניות המוצעות מפורטות הנחיות לפורמט של משוב כמותי.
  • כדאי לבדוק דרכים אחרות לאיסוף מדדים לגבי ההשפעה של אופטימיזציית הבידינג – לדוגמה, באמצעות סימולציה של הצעות מחיר. האם יש מדדים מדומים שיעזרו לכם להבין את ההשפעה של קובצי Cookie של צד שלישי ושל ARA על מודל הבידינג שלכם?
  • מציינים אם המדדים מבוססים על דוחות ברמת האירוע, על דוחות סיכום או על שילוב של שני הדוחות (ואם נעשה שימוש בדוחות ניפוי באגים).

ניתוח

  • כיסוי:
    • האם יש לכם אפשרות למדוד נתונים בקבוצה דומה של משתמשים בהשוואה לקובצי cookie של צד שלישי? האם יש שינויים בחשיפה (לדוגמה, במודעות מסוג 'מהאפליקציה לאתר')?
    • האם אתם יכולים למדוד את ההמרות (והמאפיינים או המדדים) שהכי חשובים לכם או למפרסמים שלכם?
  • איך ההבדלים בין הקבוצות ישפיעו על הדברים הבאים:
    • דיווח של המפרסם, לדוגמה, על אחוז ההמרות העיקריות שאפשר לדווח עליהן.
    • לדוגמה, אימון ואופטימיזציה מאפשרים לדמות את ההשפעה של נתוני המרות שונים על ביצועי המודל.
  • משוב איכותי נוסף:
    • איך ARA משפיע על המורכבות של הגדרת האופטימיזציה של הבידינג של המפרסמים?
    • האם הכלי הזה עוזר למפרסמים להתמקד במדדים וביעדים שחשובים להם, או שהוא מפריע להם לעשות זאת?

הצעות לטבלאות תבנית להשפעת הבידינג

(בידינג) טבלה 1:

דוגמה לטבלת תבנית של תוצאות ניסיוניות שגורמים בשוק צריכים לשלוח ל-CMA (הטבלה הזו מופיעה בדף 18, אבל הבודקים צריכים לשקול אילו מדדים הם המשמעותיים או המתאימים ביותר ולשנות את הטבלה לפי הצורך).

טיפול לעומת קבוצת בקרה 1
השוואה בין מצב היעד המוצע למצב הנוכחי 		טיפול לעומת קבוצת ביקורת 2
השוואה בין מצב הקצה המוצע לבין מצב שבו אין בכלל ממשקי API של PS. 		קבוצת ביקורת 2 לעומת קבוצת ביקורת 1
השוואה בין אופטימיזציית בידינג עם קובצי cookie של צד שלישי ללא קובצי cookie כאלה, ללא ממשקי API של PS.
מתודולוגיית המדידה כדי להימנע מבדיקות רב-משתנים, אפשר להשתמש בנתונים מקובצי Cookie של צד שלישי ומקובצי Cookie שאינם של צד שלישי כדי למדוד מדדים המבוססים על המרות בשתי זרועות הניסוי בכל ניסוי.
הכנסות לכל חשיפה השפעה השפעה השפעה
שגיאת תקן שגיאת תקן שגיאת תקן
95% רווח בר-סמך 95% רווח בר-סמך 95% רווח בר-סמך
(הוספת מדדים משלכם)
(בידינג) טבלה 2:

דוגמה לטבלת תבנית לדיווח על נתונים סטטיסטיים תיאוריים של מדדים בקבוצת הטיפול ובקבוצת הבקרה (מתוך דף 20, אבל הבודקים צריכים לשקול אילו מדדים הם המשמעותיים או המתאימים ביותר ולשנות את הטבלה לפי הצורך).

טיפול
אופטימיזציית בידינג באמצעות ARA וכל נתוני קובצי cookie שאינם של צד שלישי שבהם אתם משתמשים 		קבוצת ביקורת 1
אופטימיזציה של הבידינג באמצעות קובצי Cookie של צד שלישי וכל נתון אחר מקובצי Cookie שאתם משתמשים בהם, שלא שייכים לצד שלישי 		קבוצת ביקורת 2
אופטימיזציית בידינג באמצעות נתוני קובצי cookie שאינם של צד שלישי בלבד
מתודולוגיית המדידה כדי להימנע מבדיקות מרובות משתנים, אפשר להשתמש בנתונים מקובצי Cookie של צד שלישי ומקובצי Cookie שאינם של צד שלישי כדי למדוד מדדים שמבוססים על המרות בכל הזרועות.
הכנסות לכל חשיפה ממוצע ממוצע ממוצע
סטיית תקן סטיית תקן סטיית תקן
אחוזון 25 ואחוזון 75 אחוזון 25 ואחוזון 75 אחוזון 25 ואחוזון 75
(מוסיפים מדדים משלכם)

מטרה 3 – בדיקת עומס של Aggregation Service

מסגרת לבדיקת עומסים של Aggregation Service