הסבר על רעש בדוחות סיכום

כאן מוסבר מהו רעש, איפה הוא מתווסף ואיך הוא משפיע על מאמצי המדידה שלכם.

דוחות הסיכום הם תוצאה של צבירה של דוחות שניתן לצבור. כשכלי איסוף מאגד דוחות נתונים נצברים ו-Aggregation Service מעבד אותם, מתווסף רעש – כמות אקראית של נתונים – לדוחות הסיכום שמתקבלים. הנתונים המיותרים מתווספים כדי להגן על פרטיות המשתמשים. המטרה של המנגנון הזה היא ליצור מסגרת שיכולה לתמוך במדידה פרטית דיפרנציאלית.

הסבר על רעשי רקע בדוחות סיכום

הוספת רעשי רקע היא לא חלק ממדידת המודעות כיום, אבל ברוב המקרים הרעשים שנוספים לא משנים באופן משמעותי את האופן שבו אתם מפרשים את התוצאות.

כדי להבין את זה, אפשר לחשוב על זה כך: האם תהיו בטוחים בקבלת החלטה על סמך נתון מסוים אם הנתון הזה לא היה רועש?

לדוגמה, האם מפרסם יכול להיות בטוח בשינוי אסטרטגיית הקמפיין או התקציבים שלו, על סמך העובדה שבקמפיין א' היו 15 המרות ובקמפיין ב' היו 16 המרות?

אם התשובה היא לא, הרעש לא רלוונטי.

הפעולות שמומלץ לבצע הן הגדרת השימוש ב-API באופן הבא:

1. התשובה לשאלה היא כן.
2. הנתונים המיותרים מנוהלים באופן שלא משפיע באופן משמעותי על היכולת שלכם לקבל החלטה על סמך נתונים מסוימים. כדי לעשות את זה, אפשר לפעול כך: כדי להגיע למספר מינימלי צפוי של המרות, צריך לוודא שהרעש במדד שנאסף נמוך מאחוז מסוים.

בקטע הזה ובקטע הבא נפרט אסטרטגיות להשגת יעד 2.

מושגי ליבה

שירות הצבירה מוסיף רעש פעם אחת לכל ערך סיכום – כלומר, פעם אחת לכל מפתח – בכל פעם שמבוקש דוח סיכום.

ערכי הרעש האלה נבחרים באופן אקראי מתוך התפלגות הסתברות ספציפית, באופן הבא.

כל הרכיבים שמשפיעים על הרעש מסתמכים על שני מושגים עיקריים.

1. התפלגות הרעשים (פרטים בהמשך) זהה ללא קשר לערך הסיכום, נמוך או גבוה. לכן, ככל שערך הסיכום גבוה יותר, כך סביר להניח שההשפעה של הרעש תהיה קטנה יותר ביחס לערך הזה.

   לדוגמה, נניח שגם ערך הרכישה הכולל המצטבר של 20,000 $וגם ערך הרכישה הכולל המצטבר של 200 $כפופים לרעש שנבחר מאותו פיזור.

   נניח שהרעש מההתפלגות הזו משתנה בערך בין ‎-100 ל-‎+100.

   • עבור ערך הרכישה המסכם של 20,000$, הרעש משתנה בין 0 ל-100/20,000=0.5%.
   • עבור ערך הרכישה המסוכם של 200$, הרעש משתנה בין 0 ל-100/200=50%.

   לכן, סביר להניח שלרעשי רקע תהיה השפעה נמוכה יותר על ערך הרכישה המצטבר של 20,000 $מאשר על ערך של 200$. יחסית, סביר להניח ש-20,000$ יהיה סכום פחות רועש, כלומר סביר להניח שיהיה לו יחס גבוה יותר בין אות לרעש.

   

   יש לכך כמה השלכות מעשיות חשובות שמפורטות בקטע הבא. המנגנון הזה הוא חלק מעיצוב ה-API, וההשלכות המעשיות שלו הן לטווח ארוך. הם ימשיכו למלא תפקיד חשוב כשחברות טכנולוגיות פרסום יתכננו ויעריכו אסטרטגיות שונות של צבירה.

2. הערך של הרעש נלקח מאותה התפלגות בלי קשר לערך הסיכום, אבל ההתפלגות הזו תלויה בכמה פרמטרים. אחד מהפרמטרים האלה, אפסילון, יכול היה להשתנות על ידי טכנולוגיות פרסום במהלך תקופת הניסיון שהסתיימה, כדי להעריך התאמות שונות של שימושיות או פרטיות. עם זאת, כדאי להתייחס לאפשרות לשנות את אפסילון כאל אפשרות זמנית. נשמח לקבל מכם משוב על תרחישי השימוש שלכם ועל ערכי האפסילון שפועלים היטב.

חברת פרסום דיגיטלי לא יכולה לשלוט ישירות בדרכים שבהן נוספים נתונים לא רלוונטיים, אבל היא יכולה להשפיע על ההשפעה של הנתונים האלה על נתוני המדידה שלה. בקטעים הבאים נסביר איך רעשים יכולים להשפיע על התוצאות בפועל.

לפני שנעשה את זה, נסביר איך הרעש מוחל.

התקרבות: איך הרעש מופעל

חלוקת רעשים אחת

הרעש נלקח מהתפלגות לפלס, עם הפרמטרים הבאים:

• ממוצע (μ) של 0. כלומר, הערך הכי סביר של הרעש הוא 0 (לא נוסף רעש), והערך עם הרעש צפוי להיות קטן מהערך המקורי בדיוק כמו שהוא צפוי להיות גדול ממנו (לפעמים קוראים לזה הטיה).
• פרמטר סולם שלb = CONTRIBUTION_BUDGET / epsilon.
  • ההגדרה של CONTRIBUTION_BUDGET מוגדרת בדפדפן.
  • ‫epsilon משמש ב-Aggregation Service.

התרשים הבא מציג את פונקציית צפיפות ההסתברות של התפלגות לפלס עם μ=0, b = 20:

ערכי רעש אקראיים, התפלגות רעש אחת

נניח שספק טכנולוגיית פרסום מבקש דוחות סיכום לשני מפתחות צבירה, key1 ו-key2.

שירות הצבירה בוחר שני ערכי רעש, x1 ו-x2, לפי אותה התפלגות רעש. הערך x1 מתווסף לערך הסיכום של key1, והערך x2 מתווסף לערך הסיכום של key2.

בתרשימים, ערכי הרעש יוצגו כזהים. זוהי דוגמה פשוטה. במציאות, ערכי הרעש משתנים כי הם נבחרים באופן אקראי מתוך ההתפלגות.

הדוגמה הזו ממחישה שכל ערכי הרעש מגיעים מאותה התפלגות, והם בלתי תלויים בערך הסיכום שאליו הם מתווספים.

מאפיינים אחרים של רעש

רעש מתווסף לכל ערך סיכום, כולל ערכים ריקים (0).

לדוגמה, גם אם ערך הסיכום האמיתי של מפתח מסוים הוא 0, ערך הסיכום עם הרעש שיוצג בדוח הסיכום של המפתח הזה (סביר להניח) לא יהיה 0.

הרעש יכול להיות מספר חיובי או שלילי.

לדוגמה, אם סכום הרכישה לפני הוספת הרעש הוא 327,000, הרעש יכול להיות ‎+6,000 או ‎-6,000 (אלה ערכים שרירותיים לדוגמה).

הערכת רעשים

חישוב סטיית התקן של הרעש

סטיית התקן של הרעש היא:

b*sqrt(2) = (CONTRIBUTION_BUDGET / epsilon)*sqrt(2)

דוגמה

אם אפסילון = 10, סטיית התקן של הרעש היא:

b*sqrt(2) = (CONTRIBUTION_BUDGET / epsilon)*sqrt(2) = (65,536/10)*sqrt(2) = 9,267

הערכה של מקרים שבהם ההבדלים במדידה משמעותיים

מכיוון שתדעו את סטיית התקן של הרעש שנוסף לכל ערך שמופק על ידי שירות הצבירה, תוכלו לקבוע ספים מתאימים להשוואה כדי להבין אם ההבדלים שנצפו נובעים מרעש.

לדוגמה, אם הרעש שנוסף לערך הוא בערך ‎+/- 10 (לאחר התאמה של קנה המידה), וההבדל בערך בין שני קמפיינים הוא מעל 100, סביר להניח שההבדל בערך שנמדד בין כל קמפיין לא נובע מרעש בלבד.

השתתפות ושיתוף משוב

אתם יכולים להשתתף ולהתנסות ב-API הזה.

• אתם יכולים לקרוא על דוחות שניתן לצבור ועל Aggregation Service, לשאול שאלות ולשלוח משוב.
• מומלץ לקרוא את המדריכים בנושא דוחות שיוך (Attribution).

השלבים הבאים

• כדי לראות באילו משתנים אפשר לשלוט כדי לשפר את יחס האות לרעש, אפשר לעיין במאמר בנושא עבודה עם רעש.
• כדי לקבל עזרה בתכנון אסטרטגיות לדיווח על צבירה, אפשר לעיין במאמר ניסויים בהחלטות עיצוב של דוחות סיכום.
• כדאי לנסות את מעבדת הרעש.