מסגרת לבדיקת עומסים של שירות צבירה

נשמח לקבל ממך משוב על המסמך הזה, כי אנחנו מתכננים להוסיף אותו למאגר ההנחיות הציבורי שלנו.

אנחנו ממליצים לספקי טכנולוגיות פרסום להריץ בדיקות עומס על 100% מתנועת הגולשים בסביבת הייצור:

1. כלי פרסום דיגיטלי צריכים לגשת למדידת שיוך ההמרות באמצעות Attribution Reporting API כתרחישי השימוש שלהם בדיווח.
2. טכנולוגיית הפרסום צריכה לקבל החלטות בנוגע לעיצוב תוך מזעור הרעשים (הפניה: החלטות בנוגע לעיצוב שעברו מודלינג)
3. במהלך הבדיקה, ספקי טכנולוגיות פרסום צריכים לעקוב אחרי מספר המשימות שהם מריצים ביום (למשל, משימות לכל מפרסם), אחרי ההתפלגות המשוערת של נפח אירועי ההמרה ואחרי מספר המפתחות המצטברים כקלט לכל משימת עיבוד (אפשר לעיין בפרמטר המשימה output_domain_blob_prefix במסמכי התיעוד של Aggregation Service API), ואחרי מספר אירועי ההמרה הממוצעים המשוערים לכל דוח קלט.
4. לצורך בדיקה, ספקי טכנולוגיית פרסום צריכים לחפש בטבלת ההנחיות לגבי גודל את סוג המופע המומלץ על סמך הגודל הצפוי של העבודה (כלומר, נפח הדוחות, גודל הדומיין) ולהתאים את הגודל של שירות הצבירה שנפרס בהתאם. מקור מידע: הנחיות לגבי גודל של שירותים מצטברים ב-AWS
5. טכנולוגיות פרסום צריכות להריץ משימות צבירה לבדיקות עומס.

יעדים

ההנחיות האלה מתייחסות באופן ספציפי למדידת שיוך המרות מצטברות, והן כוללות הוראות חשובות להגדרה ולתצורה שמיועדות לשימוש של מומחי טכנולוגיית פרסום כדי:

• אומדן הציפיות לגבי העומס למדידת שיוך המרות מצטבר.
• אופטימיזציה של ההגדרה וההגדרה של המפתח לביצועים ורעשי רקע בהתבסס על הממדים והיעדים שהם התכוונו למדוד, ועל הגודל והפילוח של המפרסמים שלהם.

דרישות מוקדמות

המדריך הזה מיועד לקהל שעוסק בטכנולוגיות פרסום. לפני שממשיכים לשלבים הבאים, מומלץ לעיין במסמכי התיעוד שלנו בנושא עבודה עם נתונים מיותרים, החלטות עיצוב של דוחות סיכום ולנסות את מעבדת הנתונים המיותרים כדי להגיע להגדרה אופטימלית.

שלבים

1. אסטרטגיית ההגדרה הראשונית של מפתח הצבירה

קובעים כמה מבני מפתח שונים (כלומר, קבוצות של מאפיינים) אתם צריכים על סמך סוג העסק והיעדים שלכם. שימו לב שאופטימיזציה של מבנה המפתחות יכולה לעזור להפחית את הרעש בדוחות.

מספר המפרסמים שיש לכם
לדוגמה, נניח שיש לכם 1,000 מפרסמים.

הדמיון בין המפרסמים
הדמיון צריך להימדד על סמך נפח ההמרות, ערכי ההמרות היחסיים והכיסוי הכללי של מאפייני המפרסם. ככל שתצליחו לקבץ אותם בצורה דומה יותר, התוצאות יהיו מדויקות יותר (כי השונות בערכי הפלט תהיה קטנה יותר), ולכן ההשפעה של הרעש תהיה קטנה יותר. פרטים נוספים זמינים במאמר בנושא ניהול מתקדם של מפתחות. לדוגמה, ספק טכנולוגיות פרסום יכול לפלח את המפרסמים שלו לפי תעשייה, הוצאות ונפח המרות באופן הבא:

• תחום (לדוגמה: ביטוח, תכשיטים, קמעונאות בצמיחה)
• הוצאות (לדוגמה: <‎200,000 ש"ח לרבעון, 200,000 ש"ח עד 600,000 ש"ח לרבעון, 600,000 ש"ח עד 1,000,000 ש"ח לרבעון)
• נפח המרות (נמוך, בינוני, גבוה)

מספר מבני המפתח המצטברים שייווצרו
לדוגמה: ‫27 (3x3x3): 3 תעשיות, 3 סוגי הוצאות ו-3 קיבוצים של ערכי המרות.

2. זיהוי מידות של מפתח צבירה

לאחר מכן, מזהים את המאפיינים החשובים שרוצים לעקוב אחריהם גם לגבי חשיפות וגם לגבי המרות, כדי להעריך את מספר המפתחות בצד המקור ובצד הטריגר.

לכל מבנה של מפתח צבירה, המאפיינים החשובים שצריך לעקוב אחריהם כדי למדוד חשיפות יעזרו לכם לקבוע את מספר המפתחות בצד המקור. המאפיינים יהיו תלויים בסוג המפרסם, למשל ענף, הוצאות או המרה. הדוגמאות הבאות יעזרו לכם להבין את המאפיינים:

• מבנה מפתח 1: (תחום = ביטוח, הוצאה = 50,000>‎, נפח המרות = נמוך)

  • תשובה: 4 מאפיינים: קמפיין (למשל: ‫50 אפשרויות), קבוצת מודעות (לדוגמה: ‫20 אפשרויות), סוג המכשיר (לדוגמה: ‫5 אפשרויות), מיקום גיאוגרפי (למשל: ‫50 אפשרויות)
    1. שילובים אפשריים של מימדים = 50 x 20 x 5 x 50 = 250,000. המספר הזה מייצג את מספר השילובים האפשריים של מימדים למקשים בצד המקור במבנה מקשים 1.
    2. צריך להזמין 18 ביטים (18 ביטים = 262,144 שילובים אפשריים)

• מבנה מפתח 2: (תחום = ביטוח, הוצאה = 50,000, נפח המרות = בינוני)

  • תשובה: 4 מאפיינים: קמפיין (למשל: ‫30 אפשרויות), קבוצת מודעות (לדוגמה: ‫80 אפשרויות), סוג המודעה (לדוגמה: ‫3 אפשרויות), גיאוגרפי (למשל: 50 אפשרויות).
    1. שילובים אפשריים של מידות = 30 x 80 x 3 x 50 = 360,000. הערך הזה מייצג את מספר השילובים האפשריים של מאפיינים או מפתחות בצד המקור למבנה מפתח 2.
    2. צריך לשריין 19 ביטים (19 ביטים) = 524,288 שילובים אפשריים)

• מבנה מפתח 3: חזרה (כדאי לתכנן באופן דומה לכל מבני המפתח שיש לכם)

לכל מבנה של מפתח צבירה, המאפיינים החשובים שצריך לעקוב אחריהם כדי למדוד המרות יעזרו לכם לקבוע את מפתחות הצד של הטריגר. לדוגמה:

• מבנה מפתח 1: (תחום = ביטוח, הוצאה = 50,000>‎, נפח המרות = נמוך)

  • תשובה: 2 מאפיינים: קטגוריית מוצרים (לדוגמה: ‫100 אפשרויות), סוג המרה (לדוגמה: ‫5 אפשרויות)
    1. שילובים אפשריים של מאפיינים = 100 כפול 5 = 500
    2. צריך לשריין 9 ביטים (9 ביטים = 512 שילובים אפשריים)

• מבנה מפתח 2: (תחום = ביטוח, הוצאה = 50,000, נפח המרות = בינוני)

  • תשובה: 3 מאפיינים: קטגוריית מוצרים (למשל: ‫50 אפשרויות), סוג המוצר (10 אפשרויות), סוג ההמרה (3 אפשרויות)
    1. שילובים אפשריים של מידות = 50 x 10 x 3 = 1,500
    2. צריך לשריין 11 ביטים (11 ביטים = 2,048 שילובים אפשריים)

• מבנה מפתח 3: חזרה (באופן דומה, מתכננים את כל מבני המפתח שיש)

הערכות לגבי מפתחות מצטברים

• מבנה מפתח 1: 250,000 מפתחות חשיפה x‏ 500 מפתחות המרה = 125,000,000 מפתחות
• מבנה מפתח 2: 360,000 מפתחות של חשיפות כפול 1,500 מפתחות של המרות = 540,000,000 מפתחות
• מבנה מפתח 3: (באופן דומה, מתכננים את כל מבני המפתח שיש לכם)
• חוזרים על הפעולה לכל מבנה מפתח
• מספר המפתחות המצטבר המקסימלי = 540,000,000 מפתחות (בכל מבני המפתחות). צריך לשריין 30 ביט (30 ביט = 1.07 מיליארד שילובים אפשריים)

נפח ההמרות הצפוי

לכל מבנה של מפתח צבירה, אפשר להסביר את הנפח הצפוי באמצעות הדוגמאות הבאות:

• מבנה מפתח 1: (תחום = ביטוח, הוצאה = <50,000, נפח המרות = נמוך)
  • תשובה: צפוי שערך ההוצאות של המפרסמים במבנה המרכזי 1 יהיה כ-500,000 $ברבעון הבא, במחיר ממוצע של 8 $לעלות לאלף חשיפות. צפוי שיהיו 62,500,000 חשיפות שצריך לרשום.
  • השיעור הממוצע של ההמרות שמשויכות לחשיפה שצפוי להתקבל במבנה המרכזי 1 במהלך הרבעון הבא הוא 0.08%, ולכן צריך לתעד 50,0�0 המרות משויכות. לכל המרה, מודדים את ערך הרכישה ואת מספר הרכישות.
• מבנה מילות מפתח 2: (תחום = ביטוח, הוצאה = <50,000, נפח המרות = בינוני)
  • ת: צפוי שהמפתח השני יניב הוצאות של כ-800,000$ ברבעון הבא, במחיר ממוצע של 10$ לעלות לאלף חשיפות. ההערכה היא שיהיו 80,000,000 חשיפות שצריך לרשום.
  • התחזית היא ששיעור ההמרה הממוצע של מילת המפתח השנייה יהיה 0.03125% ברבעון הבא, וכתוצאה מכך יהיו 25,000 המרות משויכות שצריך לתעד. לכל המרה, מודדים את ערך הרכישה ואת מספר הרכישות.
• חוזרים על הפעולה לכל מבנה מפתח

תדירות הדיווח על הצגת מודעות ועל אצווה (אצווה לכל מפרסם)**

לכל מבנה של מפתח צבירה, תצטרכו לקבל דוחות המרה באופן חוזר. מומלץ לחברות טכנולוגיות פרסום לבצע את האצווה לפי מפרסם (כדי להפריד בצורה ברורה יותר בין הנתונים בכל דוח ולבצע צבירה יעילה יותר) ולהשתמש בשדה shared_info.scheduled_report_time של הדוח לצורך האצווה.

• ‫A: מדי שעה
• B: מדי יום
• C: שבועי

הערות

• כדי לדעת אם אפשר לאחד כמה מפרסמים לקבוצה אחת, צריך לאמת את הסכמי ה-SLA עם המפרסמים.

• אם תבחרו באפשרות של אצווה בתדירות גבוהה יותר, הרעש בכל אצווה יהיה גבוה יותר. (הפניה: החלטה: תדירות העיבוד באצווה).

• כדי להימנע משגיאות בגלל חלוקה שגויה למנות, חשוב לוודא שהמנות משתמשות בשדה scheduled_report_time ולא בשדה report arrival time. לדוגמה: אם אתם מבצעים אצווה כל שעה, האצווה שלכם בשעה 11:00 צריכה לכלול רק דוחות עם scheduled_report_time בין 10:00 ל-11:00, ולא דוחות שהגיעו בין 10:00 ל-11:00 עם scheduled_report_time שונה (לדוגמה: ‫9:00).

אומדנים של נפח הדוחות

• מבנה מפתח 1: 50,000 המרות משויכות / 2,160 (דיווח שעתי, שעות ברבעון) = 24 דוחות סיכום בשעה לכל מפרסם (24 x 1,000 מפרסמים = 24,000 דוחות סיכום)
• מבנה מפתח 2: 25,000 המרות משויכות חלקי 2,160 (דיווח שעתי, שעות ברבעון) = 12 דוחות סיכום לשעה לכל מפרסם (12 כפול 1,000 מפרסמים = 12,000 דוחות סיכום)
• מבנה מפתח 3: חזרה
• מספר דוחות הסיכום הכולל בשעה = 24 דוחות סיכום למבנה מפתח 1 + 12 דוחות סיכום למבנה מפתח 2 + ... = ... בשעה לכל מפרסם

סיכום המשוב

ההערכות הבאות של טכנולוגיות פרסום עוזרות לנו לתכנן תכונות ושיפורים כדי לתמוך בהיקף הנדרש על ידי טכנולוגיות פרסום. מומלץ לשלוח לנו את הפרטים הבאים. מידע נוסף זמין בהנחיות לגבי גודל שירות הצבירה ב-AWS.

• מספר מפתחות הדומיין המקסימלי (מפתחות לצבירה) לכל משימה ב-Aggregation Service
• נפח הדוחות המקסימלי של נתוני הקלט לכל משימה (המרות עם ייחוס למקורות תנועה)
• הערכות לגבי התוכן שנוסף לכל דוח (זוגות של מפתחות/ערכים בדוח)
• התפלגות משוערת של המרות עם ייחוס למקורות תנועה לכל משרה
• התפלגות משוערת של מפתחות דומיין במשרה
• מספר משוער של משרות לשעה/ליום/לשבוע