คู่มือการทดสอบการวัด

bookmark_border จัดทุกอย่างให้เป็นระเบียบอยู่เสมอด้วยคอลเล็กชัน บันทึกและจัดหมวดหมู่เนื้อหาตามค่ากำหนดของคุณ

เป้าหมายของคู่มือนี้คือการให้คําแนะนําในการเรียกใช้การทดสอบ Privacy Sandbox Attribution Reporting API แบบสแตนด์อโลน ดูรายละเอียดเพิ่มเติมได้ที่ส่วนที่ 12

• การวัดผลลัพธ์ของกลุ่มทดสอบและกลุ่มทดสอบในการออกแบบทดลองที่ 1 และ 2 ของ CMA ครอบคลุมอยู่ในคำแนะนำการทดสอบ API ความเกี่ยวข้องเนื่องจากเป้าหมายของการทดสอบเหล่านั้นคือการทดสอบประสิทธิภาพของการใช้ Protected Audience และ Topics ดูรายละเอียดเพิ่มเติมได้ในส่วนที่ 11

ก่อนเริ่มต้น

• โปรดอ่านคําแนะนําเกี่ยวกับการกําหนดค่าและการตั้งค่า Attribution Reporting API
• ดูคำแนะนำการทดสอบ CMA: หมายเหตุการทดสอบ (พฤศจิกายน 2022), คำแนะนำในการทดสอบ (มิถุนายน 2023) และคำแนะนำในการทดสอบเพิ่มเติม (ตุลาคม 2023)

เป้าหมายการประเมินและการตั้งค่าการทดสอบที่เสนอ

เป้าหมาย 1 - การพิจารณาประสิทธิภาพของ Attribution Reporting API สำหรับการรายงาน

เราขอเสนอการตั้งค่า A/A เพื่อวัดผลกระทบที่มีต่อการรายงาน

• ข้อเสนอนี้สอดคล้องกับหลักเกณฑ์ของ CMA เกี่ยวกับการประเมินเมตริกที่อิงตาม Conversion ดูรายละเอียดเพิ่มเติมได้ที่ส่วนที่ 21 และส่วนที่ 12
• เราชอบวิธีนี้มากกว่าโหมด A/B เนื่องจากการทดสอบ Attribution Reporting API (ARA) ทําได้ด้วยการวัด Conversion ของการแสดงผลชุดเดียวกันพร้อมกันโดยใช้วิธีการวัดผลที่ต่างกัน 2 วิธี (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ของบุคคลที่สาม และ ARA + ข้อมูลคุกกี้ของบุคคลที่สาม)
• นอกจากนี้ การทดสอบ A/A ยังแยกผลกระทบของ Attribution Reporting API ที่มีต่อการวัด Conversion (เช่น หลีกเลี่ยงการเปลี่ยนแปลงอัตรา Conversion เนื่องจากไม่มีคุกกี้ของบุคคลที่สาม)

ประเด็นการวิเคราะห์ที่แนะนำ

• เลือกการเข้าชมส่วนหนึ่งที่มีขนาดใหญ่พอที่จะได้รับผลลัพธ์ที่มีนัยสำคัญทางสถิติ และมีทั้งคุกกี้ของบุคคลที่สามและ Privacy Sandbox API ตามหลักแล้วคือการเข้าชมทั้งหมด ยกเว้นโหมด B (ซึ่งปิดใช้คุกกี้ของบุคคลที่สาม)
  • เราขอแนะนำให้ยกเว้นโหมด B จากการทดสอบ A/A เนื่องจากคุกกี้ของบุคคลที่สามจะใช้งานไม่ได้ และคุณจะเปรียบเทียบผลลัพธ์ ARA กับผลการระบุแหล่งที่มาที่อิงตามคุกกี้ของบุคคลที่สามไม่ได้
  • หากคุณต้องการรวมโหมด B ไว้ด้วย คุณควรพิจารณาเปิดใช้รายงานการแก้ไขข้อบกพร่องสำหรับการเข้าชมส่วนโหมด B รายงานการแก้ไขข้อบกพร่องจะช่วยคุณแก้ปัญหาการกำหนดค่าหรือการติดตั้งใช้งาน
• หากคุณวางแผนที่จะทดสอบกับการเข้าชมส่วนเล็กๆ เราคาดว่าคุณจะได้รับผลลัพธ์การวัดที่น้อยกว่าที่คาดไว้ เราขอแนะนำให้จดในการวิเคราะห์ของคุณว่าการเข้าชมที่ใช้ไปส่วนหนึ่งเป็นส่วนใด และคุณรายงานผลลัพธ์ตามรายงานที่มีข้อผิดพลาดหรือรายงานการแก้ไขข้อบกพร่องที่ไม่มีเสียงรบกวนหรือไม่
  • สําหรับรายงานสรุป ค่าสรุปมีแนวโน้มที่จะต่ำกว่า และบริการรวบรวมจะเพิ่มข้อมูลรบกวนจากการกระจายเดียวกันโดยไม่คำนึงถึงค่าสรุป
• ทดสอบวิธีการวัดต่างๆ กับการเข้าชมส่วนนั้นๆ
  • การควบคุม 1 - ใช้วิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ของบุคคลที่สาม)
  • (ไม่บังคับ) การควบคุมที่ 2 - ไม่มี Privacy Sandbox และไม่มีคุกกี้ของบุคคลที่สาม กล่าวคือ เฉพาะข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม
    • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังใช้ได้ในบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามสำหรับการวัดผลในวิธีการควบคุม 2 หรือการรักษา
  • กลุ่มทดสอบ - Privacy Sandbox API และข้อมูลคุกกี้ของบุคคลที่สาม
    • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังใช้ได้ในบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามสำหรับการวัดผลในวิธีการควบคุม 2 หรือการรักษา

เมตริก

• กำหนดว่าเมตริกใดเหมาะสมกับธุรกิจของคุณในการวัดผลลัพธ์ และใส่คำอธิบายว่าเมตริกนั้นหมายความว่าอย่างไรและมีวิธีการวัดอย่างไร
  • เราขอแนะนำให้มุ่งความสนใจไปที่มิติข้อมูลและเมตริกที่สำคัญสำหรับผู้ลงโฆษณาของคุณ เช่น หากผู้ลงโฆษณามุ่งเน้นที่ Conversion การซื้อ ให้วัดจํานวน Conversion สําหรับ Conversion เหล่านั้นและมูลค่าการซื้อ
• คุณควรใช้เมตริกที่อิงตามจำนวนหรือผลรวม (เช่น อัตรา Conversion) มากกว่าต้นทุนต่อหนึ่ง (เช่น ต้นทุนต่อ Conversion) สำหรับการวิเคราะห์ A/A เมตริกค่าใช้จ่ายอาจมาจากจำนวนหรือมูลค่า Conversion รวมทั้งหมด
• ระบุว่าเมตริกอิงตามรายงานระดับเหตุการณ์ รายงานสรุป หรือทั้ง 2 รายงานรวมกัน (และใช้รายงานการแก้ไขข้อบกพร่องหรือไม่)
• ดูตารางเทมเพลตที่แนะนำเพื่อดูคำแนะนำเกี่ยวกับวิธีจัดรูปแบบความคิดเห็นเชิงปริมาณ

การวิเคราะห์

• ความครอบคลุม:
  • คุณสามารถวัดผลในกลุ่มผู้ใช้ที่คล้ายกันเมื่อเทียบกับคุกกี้ของบุคคลที่สามได้หรือไม่ คุณจะเห็นการครอบคลุมที่สูงขึ้น (เช่น ในแอปไปยังเว็บ) หรือไม่
  • คุณสามารถวัด Conversion (และมิติข้อมูลหรือเมตริก) ที่คุณหรือผู้ลงโฆษณาให้ความสำคัญมากที่สุดได้หรือไม่
• ความคิดเห็นเชิงปริมาณ
  • เช่น ในการรายงานของผู้ลงโฆษณา เช่น เปอร์เซ็นต์ของ Conversion หลักที่คุณสามารถรายงานสำหรับผู้ลงโฆษณารายนั้น หรือเปอร์เซ็นต์แคมเปญที่เป็นไปตามเกณฑ์คุณภาพของการรายงาน (การได้รับแถบคุณภาพจะช่วยปรับสำหรับแคมเปญที่มี Conversion น้อย)
  • ตัวอย่างเช่น มีผู้ลงโฆษณาบางรายที่อาศัยคุกกี้ของบุคคลที่สามในการรายงานมากขึ้นหรือน้อยลงหรือไม่
• ความคิดเห็นเชิงคุณภาพอื่นๆ
  • ARA ส่งผลต่อความซับซ้อนของการตั้งค่าการวัดผล/การระบุแหล่งที่มาของผู้ลงโฆษณาอย่างไร
  • ARA ช่วยหรือขัดขวางผู้ลงโฆษณาในการมุ่งเน้นไปที่เมตริกและเป้าหมายที่สำคัญต่อพวกเขาหรือไม่

ตารางเทมเพลตที่แนะนำสำหรับผลกระทบของการรายงาน

(การรายงาน) ตาราง 1:

ตารางเทมเพลตตัวอย่างสำหรับการรายงานผลการทดสอบไปยัง CMA (นำมาจากหน้า 18 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมายมากที่สุด / สามารถให้และปรับเปลี่ยนตารางตามความจำเป็น)

(การรายงาน) ตาราง 2:

ตารางเทมเพลตตัวอย่างสำหรับการรายงานสถิติที่สื่อความหมายสำหรับเมตริกในกลุ่มกลุ่มทดสอบและกลุ่มควบคุม (นำมาจากหน้า 20 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมายมากที่สุด / สามารถให้และปรับเปลี่ยนตารางได้ตามต้องการ)

เป้าหมาย 2 - การพิจารณาประสิทธิภาพของ Attribution Reporting API ในการเพิ่มประสิทธิภาพการเสนอราคา

เราขอเสนอการตั้งค่า A/B เพื่อวัดผลกระทบที่มีต่อการเพิ่มประสิทธิภาพการเสนอราคา

• หากต้องการวัดผลลัพธ์ของการเพิ่มประสิทธิภาพการเสนอราคา คุณจะต้องฝึกโมเดลแมชชีนเลิร์นนิง 2 แบบและใช้กับการเข้าชม 2 ส่วน โดยรูปแบบหนึ่งที่ได้รับการฝึกตามวิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ของบุคคลที่สาม) เพื่อนำไปใช้กับกลุ่มควบคุม และโมเดล 1 รายการที่ฝึกใน Attribution Reporting API + ข้อมูลที่ไม่ใช่คุกกี้ของบุคคลที่สามเพื่อนําไปใช้กับกลุ่มทดสอบ
• การฝึกโมเดลควรอิงตามการเข้าชมมากเท่าที่ผู้ทดสอบเห็นว่าจำเป็นต่อการเพิ่มประสิทธิภาพสูงสุด แม้ว่ากลุ่มทดสอบจะเป็นการเข้าชมส่วนเล็กๆ และมีการทับซ้อนกันระหว่างประชากรการฝึก (เช่น ใช้โมเดลคุกกี้ของบุคคลที่สามที่มีอยู่ซึ่งกำลังฝึกกับการเข้าชมทั้งหมด และฝึกโมเดล ARA กับการดูแลการแสดงโฆษณา ARA ทั้งหมดที่เปิดใช้สำหรับเป้าหมาย 1)
  • หากส่งผลลัพธ์ไปยัง CMA โปรดทราบว่ามีความแตกต่างอย่างมากระหว่างส่วนแบ่งการเข้าชมที่ใช้สำหรับการฝึกโมเดลต่างๆ (เช่น หากโมเดลที่อิงตามคุกกี้ของบุคคลที่สามได้รับการฝึกกับการเข้าชม 100% แต่โมเดลที่ใช้ ARA จะได้รับการฝึกกับการเข้าชม 1% เท่านั้น)
• หากเป็นไปได้ การฝึกสำหรับทั้งโมเดลการเสนอราคาเพื่อกลุ่มทดสอบและแบบควบคุมควรจัดขึ้นเป็นระยะเวลาเท่ากัน
• พิจารณาว่าคุณควรฝึกและอัปเดตรูปแบบการเสนอราคาอย่างต่อเนื่องระหว่างการทดสอบหรือไม่ และหากควรฝึก ควรฝึกกับการเข้าชมมากที่สุดหรือเฉพาะการเข้าชมจากกลุ่มควบคุมและกลุ่มทดสอบ
• คุณควรใช้รูปแบบต่างๆ กับการเข้าชมส่วนที่ไม่ต่อเนื่องกันเพื่อเป็นการทดสอบ A/B สำหรับการสุ่มและกําหนดผู้ใช้ในกลุ่มควบคุมและกลุ่มทดสอบ เราขอแนะนำให้ใช้กลุ่มเบราว์เซอร์ที่มีป้ายกำกับซึ่งอำนวยความสะดวกโดย Chrome (โหมด A) หรือทำการทดสอบของคุณเองกับชุดเบราว์เซอร์แบบสุ่ม เราไม่แนะนำให้ใช้โหมด B เนื่องจากการไม่มีคุกกี้ของบุคคลที่สามจะทำให้รายงานเกี่ยวกับเมตริกที่อิงตาม Conversion ได้ยาก
  • กลุ่มเบราว์เซอร์ที่อำนวยความสะดวกด้วย Chrome จะยกเว้นอินสแตนซ์ของ Chrome บางรายการ เช่น ผู้ใช้ Chrome ขององค์กร ซึ่งชุดเบราว์เซอร์แบบสุ่มของคุณเองอาจไม่รวมอินสแตนซ์ Chrome เหล่านี้ ดังนั้น คุณจึงควรทําการทดสอบในกลุ่มโหมด A เท่านั้นหรือเฉพาะในกลุ่มที่ไม่ใช่โหมด A/โหมด B เพื่อหลีกเลี่ยงการเปรียบเทียบเมตริกที่ได้จากกลุ่มที่ดูแลโดย Chrome กับเมตริกที่ได้นอกกลุ่มที่ดูแลโดย Chrome
  • หากไม่ใช้กลุ่มเบราว์เซอร์ที่มีป้ายกำกับซึ่งอำนวยความสะดวกโดย Chrome (เช่น ทำการทดสอบกับการเข้าชมอื่นๆ)
    • ดูแลให้ผู้ใช้ที่จัดการและฝั่งควบคุมเป็นไปแบบสุ่มและเป็นกลาง ไม่ว่าจะตั้งค่ากลุ่มทดสอบอย่างไร ให้ประเมินลักษณะของกลุ่มทดสอบและกลุ่มทดสอบเพื่อให้มั่นใจว่ากลุ่มทดสอบและกลุ่มควบคุมนั้นเปรียบเทียบกันได้ (ดูส่วนที่ 15)
    • ตรวจสอบว่าลักษณะเฉพาะของผู้ใช้และการกําหนดค่าแคมเปญของกลุ่มกลุ่มทดสอบและกลุ่มควบคุมเหมือนกัน (เช่น ใช้ภูมิศาสตร์ที่คล้ายกันทั้งในกลุ่มกลุ่มทดสอบและกลุ่มควบคุม) (ดู: ส่วนที่ 28)
      • ตัวอย่างที่เจาะจง ได้แก่ ตรวจสอบว่าได้รับการวัดประเภท Conversion ที่คล้ายกันโดยใช้กรอบเวลาการระบุแหล่งที่มาเดียวกันและตรรกะการระบุแหล่งที่มาเดียวกัน แคมเปญกําหนดเป้าหมายเป็นกลุ่มเป้าหมาย กลุ่มความสนใจ และภูมิศาสตร์ที่คล้ายกัน รวมถึงใช้ข้อความโฆษณาและรูปแบบโฆษณาที่คล้ายกัน
    • ตรวจสอบว่าขนาดประชากรเริ่มต้นของกลุ่มทดสอบและกลุ่มควบคุมมีขนาดใหญ่พอที่จะเสนอราคาและการทดสอบได้อย่างยืดหยุ่น
  • หากใช้กลุ่มเบราว์เซอร์ที่มีป้ายกำกับซึ่งอำนวยความสะดวกโดย Chrome (โหมด A) Chrome จะจัดการการสุ่มอินสแตนซ์ของเบราว์เซอร์ Chrome ไปยังกลุ่ม และเช่นเคย เราขอแนะนำให้คุณตรวจสอบการสุ่มว่า กลุ่มที่เลือกจะส่งผลให้เกิดความมีอคติ / เปรียบเทียบกันได้ ตามวัตถุประสงค์ของคุณ

ประเด็นการวิเคราะห์ที่แนะนำ

• เราขอแนะนำให้กำหนดกลุ่มควบคุมและกลุ่มทดสอบ รวมถึงใช้โมเดลแมชชีนเลิร์นนิงที่แตกต่างกันสำหรับการเพิ่มประสิทธิภาพการเสนอราคาสำหรับแต่ละกลุ่มทดสอบ
  • การควบคุมที่ 1 - ใช้รูปแบบการเพิ่มประสิทธิภาพการเสนอราคาที่ได้รับการฝึกจากวิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ของบุคคลที่สาม)
  • (ไม่บังคับ) การควบคุมที่ 2 - ใช้รูปแบบการเพิ่มประสิทธิภาพการเสนอราคาที่ได้รับการฝึกโดยไม่มี Privacy Sandbox และไม่ใช้คุกกี้ของบุคคลที่สาม กล่าวคือ เฉพาะข้อมูลคุกกี้ของบุคคลที่สามเท่านั้น
    • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้ได้กับบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามสำหรับการวัดผลในวิธีการควบคุม 2 หรือการรักษา
  • กลุ่มทดสอบ - ใช้รูปแบบการเพิ่มประสิทธิภาพการเสนอราคาที่ได้รับการฝึกเกี่ยวกับ Attribution Reporting API และข้อมูลคุกกี้ของบุคคลที่สาม
    • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้ได้กับบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามสำหรับการวัดผลในวิธีการควบคุม 2 หรือการรักษา

เมตริก

• กำหนดว่าเมตริกใดเหมาะสมกับธุรกิจของคุณในการวัดผลลัพธ์ และใส่คำอธิบายว่าเมตริกนั้นหมายความว่าอย่างไรและมีวิธีการวัดอย่างไร
  • ตัวอย่างเช่น เมตริกที่มีความหมายอาจเป็นการใช้จ่าย (รายได้ของผู้เผยแพร่โฆษณา) ซึ่งสอดคล้องกับคำแนะนำของ CMA ในการทำความเข้าใจผลกระทบที่การเลิกใช้งานคุกกี้ของบุคคลที่สามมีต่อ "รายได้ต่อการแสดงผล" ดูรายละเอียดเพิ่มเติมในส่วนที่ 19
• หากมีการรายงานเมตริกที่อิงตาม Conversion คุณควรใช้วิธีการวัดเดียวกันสำหรับแต่ละกลุ่มเพื่อหลีกเลี่ยงการทดสอบหลายตัวแปร (ทดสอบผลกระทบต่อการเพิ่มประสิทธิภาพและการรายงานในการทดสอบครั้งเดียว) ดูตารางเทมเพลตที่แนะนำเพื่อดูคำแนะนำเกี่ยวกับวิธีจัดรูปแบบความคิดเห็นเชิงปริมาณ
• ลองพิจารณาวิธีอื่นๆ ในการรวบรวมเมตริกเกี่ยวกับผลลัพธ์ของการเพิ่มประสิทธิภาพการเสนอราคา เช่น การใช้การจำลองราคาเสนอ มีเมตริกจำลองที่เป็นประโยชน์ในการทำความเข้าใจผลกระทบที่คุกกี้ของบุคคลที่สามและ ARA มีต่อรูปแบบการเสนอราคาหรือไม่
• ระบุว่าเมตริกอิงตามรายงานระดับเหตุการณ์ รายงานสรุป หรือทั้ง 2 รายงานรวมกัน (และใช้รายงานการแก้ไขข้อบกพร่องหรือไม่)

การวิเคราะห์

• ความครอบคลุม:
  • คุณสามารถวัดผลในกลุ่มผู้ใช้ที่คล้ายกันเมื่อเทียบกับคุกกี้ของบุคคลที่สามได้หรือไม่ คุณเห็นการเปลี่ยนแปลงใดๆ ด้านความครอบคลุม (เช่น จากแอปไปยังเว็บ) ไหม
  • คุณสามารถวัด Conversion (และมิติข้อมูล/เมตริก) ที่คุณหรือผู้ลงโฆษณาสนใจมากที่สุดได้หรือไม่
• ความแตกต่างระหว่างกลุ่มต่างๆ จะส่งผลกระทบดังต่อไปนี้อย่างไร
  • เช่น การรายงานของผู้ลงโฆษณา เช่น เปอร์เซ็นต์ของ Conversion หลักที่คุณสามารถรายงานได้
  • ตัวอย่างเช่น การฝึกและการเพิ่มประสิทธิภาพจะจําลองผลกระทบที่ข้อมูล Conversion ที่แตกต่างกันมีต่อประสิทธิภาพของรูปแบบ
• ความคิดเห็นเชิงคุณภาพอื่นๆ
  • ARA ส่งผลต่อความซับซ้อนของการตั้งค่าการเพิ่มประสิทธิภาพการเสนอราคาของผู้ลงโฆษณาอย่างไร
  • ARA ช่วยหรือขัดขวางผู้ลงโฆษณาไม่ให้มุ่งเน้นไปที่เมตริกและเป้าหมายที่สำคัญต่อพวกเขาหรือไม่

ตารางเทมเพลตที่แนะนำสำหรับผลลัพธ์ของการเสนอราคา

(การเสนอราคา) ตาราง 1:

ตัวอย่างตารางเทมเพลตของผลการทดสอบที่ผู้เข้าร่วมตลาดควรส่งไปยัง CMA (นำมาจากหน้า 18 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมายมากที่สุด / สามารถจัดหาและปรับเปลี่ยนตารางได้ตามต้องการ)

(การเสนอราคา) ตาราง 2:

ตารางเทมเพลตตัวอย่างสำหรับการรายงานสถิติที่สื่อความหมายสำหรับเมตริกในกลุ่มกลุ่มทดสอบและกลุ่มควบคุม (นำมาจากหน้า 20 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมายมากที่สุด / สามารถให้และปรับเปลี่ยนตารางได้ตามต้องการ)

เป้าหมาย 3 - การทดสอบโหลดของบริการรวบรวมข้อมูล

โปรดดูเฟรมเวิร์กการทดสอบการโหลดของบริการรวบรวมข้อมูล