คู่มือการทดสอบการวัด

เป้าหมายของคู่มือนี้คือให้คําแนะนําเกี่ยวกับการทดสอบ Attribution Reporting API ของ Privacy Sandbox แบบสแตนด์อโลน ดูรายละเอียดเพิ่มเติมได้ที่ส่วนที่ 12

  • การวัดผลกลุ่มควบคุมและกลุ่มทดสอบในการออกแบบการทดสอบ 1 และ 2 ของ CMA อยู่ในคําแนะนําการทดสอบ Relevance API เนื่องจากเป้าหมายของการทดสอบเหล่านั้นคือการทดสอบประสิทธิภาพของการใช้ Protected Audience และ Topics โปรดดูรายละเอียดเพิ่มเติมที่ส่วนที่ 11

ก่อนเริ่มต้น

เป้าหมายการประเมินและการตั้งค่าการทดสอบที่เสนอ

เป้าหมายที่ 1 - พิจารณาประสิทธิภาพของ Attribution Reporting API สําหรับการรายงาน

เราขอแนะนําให้ใช้การตั้งค่า A/A เพื่อวัดผลกระทบต่อการรายงาน

  • ข้อเสนอนี้สอดคล้องกับคําแนะนําของ CMA เกี่ยวกับการประเมินเมตริกที่อิงตาม Conversion ดูรายละเอียดเพิ่มเติมได้ที่ส่วนที่ 21 และส่วนที่ 12
  • เราแนะนําให้ใช้วิธีนี้แทนโหมด A/B เนื่องจากสามารถทดสอบ Attribution Reporting API (ARA) ได้โดยวัด Conversion ในชุดการแสดงผลเดียวกันพร้อมกันโดยใช้วิธีการวัดผล 2 วิธีที่แตกต่างกัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม และ ARA + ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม)
  • การทดสอบ A/A ยังแยกผลกระทบของ Attribution Reporting API ในการวัด Conversion ด้วย (เช่น หลีกเลี่ยงการเปลี่ยนแปลงอัตรา Conversion เนื่องจากไม่มีคุกกี้ของบุคคลที่สาม)

จุดวิเคราะห์ที่แนะนํา

  • เลือกกลุ่มการเข้าชมที่มีขนาดใหญ่พอเพื่อให้ได้ผลลัพธ์ที่มีนัยสำคัญทางสถิติ และมีทั้งคุกกี้ของบุคคลที่สามและ Privacy Sandbox API โดยหลักการแล้ว การเข้าชมนี้ควรเป็นการเข้าชมทั้งหมด ยกเว้นโหมด B (ซึ่งปิดใช้คุกกี้ของบุคคลที่สาม)
    • เราขอแนะนําให้ยกเว้นโหมด B จากการทดสอบ A/A เนื่องจากคุกกี้ของบุคคลที่สามจะไม่พร้อมใช้งานและคุณจะไม่สามารถเปรียบเทียบผลลัพธ์ ARA กับผลลัพธ์การระบุแหล่งที่มาโดยอิงตามคุกกี้ของบุคคลที่สาม
    • หากต้องการรวมโหมด B คุณควรพิจารณาเปิดใช้รายงานข้อบกพร่องสําหรับกลุ่มการเข้าชมโหมด B รายงานข้อบกพร่องจะช่วยคุณแก้ปัญหาการกําหนดค่าหรือการติดตั้งใช้งาน
  • หากคุณวางแผนที่จะทดสอบกับการเข้าชมส่วนน้อย เราคาดว่าคุณจะได้รับผลลัพธ์การวัดผลที่มีสัญญาณรบกวนมากกว่าที่คาดไว้ เราขอแนะนําให้บันทึกในการวิเคราะห์ว่าใช้เศษส่วนของการเข้าชมเท่าใด และคุณกําลังรายงานผลลัพธ์ตามรายงานที่มีสัญญาณรบกวนหรือรายงานการแก้ไขข้อบกพร่องที่ไม่มีสัญญาณรบกวน
    • สําหรับรายงานสรุป ค่าสรุปมีแนวโน้มที่จะต่ำลง และบริการรวมข้อมูลจะเพิ่มสัญญาณรบกวนจากข้อมูลการแจกแจงเดียวกัน โดยไม่คำนึงถึงค่าสรุป
  • ทดสอบวิธีการวัดผลที่แตกต่างกันในข้อมูลการเข้าชมส่วนนั้น
    • กลุ่มควบคุม 1 - ใช้วิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม)
    • (ไม่บังคับ) กลุ่มควบคุม 2 - ไม่มี Privacy Sandbox และไม่มีคุกกี้ของบุคคลที่สาม นั่นคือมีเฉพาะข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม
      • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้งานได้ในบางเว็บไซต์ โปรดอย่าใช้คุกกี้ของบุคคลที่สามเหล่านั้นในการวัดผลในวิธีการควบคุม 2 หรือวิธีการทดสอบเพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด
    • กลุ่มทดสอบ - Privacy Sandbox API และข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม
      • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้งานได้ในบางเว็บไซต์ โปรดอย่าใช้คุกกี้ของบุคคลที่สามเหล่านั้นในการวัดผลในวิธีการควบคุม 2 หรือวิธีการทดสอบเพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด

เมตริก

  • กําหนดว่าเมตริกใดเหมาะกับธุรกิจในการวัดผลลัพธ์ และใส่คําอธิบายความหมายของเมตริกและวิธีวัด
    • เราขอแนะนําให้มุ่งเน้นที่มิติข้อมูลและเมตริกที่สําคัญสําหรับผู้ลงโฆษณา เช่น หากผู้ลงโฆษณามุ่งเน้นที่ Conversion การซื้อ ให้วัดจํานวน Conversion ของ Conversion เหล่านั้นและมูลค่าการซื้อ
  • เมตริกที่อิงตามจํานวนหรือผลรวม (เช่น อัตรา Conversion) เหมาะที่จะใช้มากกว่าต้นทุนต่อ (เช่น ต้นทุนต่อ Conversion) สําหรับการวิเคราะห์ A/A เมตริกค่าใช้จ่ายจะมาจากจํานวนหรือผลรวมมูลค่า Conversion โดยสมบูรณ์
  • ระบุว่าเมตริกอิงตามรายงานระดับเหตุการณ์ รายงานสรุป หรือทั้ง 2 รายงาน (และระบุว่ามีการใช้รายงานการแก้ไขข้อบกพร่องหรือไม่)
  • ดูคำแนะนำเกี่ยวกับวิธีจัดรูปแบบความคิดเห็นเชิงปริมาณได้ในตารางเทมเพลตที่แนะนำ

การวิเคราะห์

  • การครอบคลุม:
    • คุณวัดผลในชุดผู้ใช้ที่คล้ายกันเมื่อเทียบกับคุกกี้ของบุคคลที่สามได้ไหม คุณเห็นการครอบคลุมที่สูงขึ้นไหม (เช่น ในแอปกับเว็บ)
    • คุณวัด Conversion (และมิติข้อมูลหรือเมตริก) ที่คุณหรือผู้ลงโฆษณาให้ความสําคัญมากที่สุดได้หรือไม่
  • ความคิดเห็นเชิงปริมาณ
    • ในการรายงานสำหรับผู้ลงโฆษณา เช่น เปอร์เซ็นต์ของ Conversion หลักที่คุณสามารถรายงานสำหรับผู้ลงโฆษณารายนั้น หรือเปอร์เซ็นต์ของแคมเปญที่เป็นไปตามเกณฑ์คุณภาพการรายงาน (การหาเกณฑ์คุณภาพจะช่วยปรับแคมเปญที่มีจํานวน Conversion น้อย)
    • แบ่งตามผู้ลงโฆษณา เช่น มีผู้ลงโฆษณาบางรายที่อาศัยคุกกี้ของบุคคลที่สามในการรายงานมากหรือน้อยในปัจจุบันหรือไม่
  • ความคิดเห็นเชิงคุณภาพอื่นๆ
    • ARA ส่งผลต่อความซับซ้อนของการตั้งค่าการวัดผล/การระบุแหล่งที่มาของผู้ลงโฆษณาอย่างไร
    • ARA ช่วยให้หรือขัดขวางผู้ลงโฆษณาในการมุ่งเน้นที่เมตริกและเป้าหมายที่สําคัญต่อตน

ตารางเทมเพลตที่แนะนําสําหรับการรายงานผลลัพธ์

(การรายงาน) ตารางที่ 1:

ตัวอย่างตารางเทมเพลตสำหรับการรายงานผลการทดสอบไปยัง CMA (นำมาจากหน้า 18 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมาย / เป็นไปได้มากที่สุดที่จะระบุและปรับตารางตามความจำเป็น)

กลุ่มทดสอบเทียบกับกลุ่มควบคุม 1
เปรียบเทียบสถานะสุดท้ายที่เสนอกับสถานะปัจจุบัน 		กลุ่มทดสอบเทียบกับกลุ่มควบคุม 2
เปรียบเทียบสถานะสุดท้ายที่เสนอโดยไม่มี PS API เลย 		กลุ่มควบคุมที่ 2 เทียบกับกลุ่มควบคุมที่ 1
เปรียบเทียบการวัด Conversion ที่มีและไม่มีคุกกี้ของบุคคลที่สาม โดยไม่ใช้ PS API
วิธีการวัดผล เปรียบเทียบการวัด Conversion ของกลุ่มทดสอบ (ARA ที่มีข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม) กับกลุ่มควบคุม 1 (คุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม) เปรียบเทียบการวัด Conversion ของกลุ่มทดสอบ (ARA ที่มีข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม) กับกลุ่มควบคุม 2 (ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามเท่านั้น) เปรียบเทียบการวัด Conversion สําหรับกลุ่มควบคุมที่ 2 (ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามเท่านั้น) กับกลุ่มควบคุมที่ 1 (ข้อมูลคุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม)
Conversion ต่อดอลลาร์ เอฟเฟ็กต์ เอฟเฟ็กต์ เอฟเฟ็กต์
ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน
ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95%
Conversion ทั้งหมด เอฟเฟ็กต์ เอฟเฟ็กต์ เอฟเฟ็กต์
ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน
ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95%
อัตรา Conversion เอฟเฟ็กต์ เอฟเฟ็กต์ เอฟเฟ็กต์
ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน
ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95%
(เพิ่มเมตริกของคุณเอง)
(การรายงาน) ตารางที่ 2:

ตัวอย่างตารางเทมเพลตสําหรับการรายงานสถิติเชิงพรรณนาสําหรับเมตริกในกลุ่มทดสอบและกลุ่มควบคุม (นํามาจากหน้า 20 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมาย / ทําได้จริงมากที่สุดและปรับตารางตามต้องการ)

เมตริก การดําเนินการ
การวัด Conversion โดยใช้ ARA และข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามที่คุณใช้ 		กลุ่มควบคุมที่ 1
การวัด Conversion โดยใช้คุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามที่คุณใช้ 		กลุ่มควบคุม 2
การวัด Conversion โดยใช้ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามเท่านั้น
Conversion ต่อดอลลาร์ ค่าเฉลี่ย ค่าเฉลี่ย ค่าเฉลี่ย
ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน
เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75
Conversion ทั้งหมด ค่าเฉลี่ย ค่าเฉลี่ย ค่าเฉลี่ย
ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน
เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75
อัตรา Conversion ค่าเฉลี่ย ค่าเฉลี่ย ค่าเฉลี่ย
ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน
เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75
(เพิ่มเมตริกของคุณเอง)

เป้าหมายที่ 2 - พิจารณาประสิทธิภาพของ Attribution Reporting API สําหรับการเพิ่มประสิทธิภาพการเสนอราคา

เราขอแนะนําการตั้งค่า A/B เพื่อวัดผลลัพธ์ต่อการเพิ่มประสิทธิภาพการเสนอราคา

  • หากต้องการวัดผลกระทบต่อการเพิ่มประสิทธิภาพการเสนอราคา คุณจะต้องฝึกโมเดลแมชชีนเลิร์นนิง 2 รูปแบบที่แตกต่างกันและใช้กับการเข้าชม 2 กลุ่ม ได้แก่ 1 โมเดลที่ฝึกด้วยวิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลที่ไม่เกี่ยวข้องกับคุกกี้ของบุคคลที่สาม) เพื่อนำไปใช้กับกลุ่มควบคุม และ 1 โมเดลที่ฝึกด้วย Attribution Reporting API + ข้อมูลที่ไม่เกี่ยวข้องกับคุกกี้ของบุคคลที่สาม เพื่อนำไปใช้กับกลุ่มทดสอบ
  • การฝึกโมเดลควรอิงตามการเข้าชมมากที่สุดเท่าที่ผู้ทดสอบเห็นว่าจําเป็นเพื่อเพิ่มประสิทธิภาพสูงสุด แม้ว่ากลุ่มทดสอบจะเป็นส่วนน้อยของการเข้าชมและมีการซ้อนทับกันระหว่างกลุ่มประชากรที่ใช้ฝึก (เช่น ใช้โมเดลคุกกี้ของบุคคลที่สามที่มีอยู่ซึ่งกําลังฝึกการเข้าชมทั้งหมด และฝึกโมเดล ARA ในการเข้าชม ARA ทั้งหมดที่เปิดใช้สําหรับเป้าหมาย 1)
    • หากส่งผลลัพธ์ไปยัง CMA ให้สังเกตว่าส่วนต่างๆ ของการเข้าชมที่ใช้ฝึกโมเดลต่างๆ มีความแตกต่างอย่างมากหรือไม่ (เช่น หากโมเดลที่อิงตามคุกกี้ของบุคคลที่สามได้รับการฝึกด้วยการเข้าชม 100% แต่โมเดลที่อิงตาม ARA ได้รับการฝึกด้วยการเข้าชมเพียง 1%)
  • หากเป็นไปได้ การฝึกโมเดลการเสนอราคาทั้งกลุ่มทดสอบและกลุ่มควบคุมควรใช้เวลาเท่าๆ กัน
  • พิจารณาว่าคุณควรฝึกและอัปเดตรูปแบบการเสนอราคาอย่างต่อเนื่องในระหว่างการทดสอบหรือไม่ และหากควร คุณควรฝึกกับการเข้าชมให้ได้มากที่สุดหรือเฉพาะการเข้าชมจากกลุ่มทดสอบและกลุ่มควบคุม
  • คุณควรใช้รูปแบบต่างๆ กับกลุ่มการเข้าชมที่ไม่เกี่ยวข้องกันเป็นการทดสอบ A/B สําหรับการสุ่มตัวอย่างและมอบหมายผู้ใช้ในกลุ่มทดสอบและกลุ่มควบคุม เราขอแนะนําให้ใช้กลุ่มเบราว์เซอร์ที่ติดป้ายกำกับซึ่ง Chrome อำนวยความสะดวก (โหมด A) หรือทำการทดสอบด้วยชุดเบราว์เซอร์แบบสุ่มของคุณเอง เราไม่แนะนําให้ใช้โหมด B เนื่องจากไม่มีคุกกี้ของบุคคลที่สามจะทำให้รายงานเมตริกที่อิงตาม Conversion เป็นเรื่องยาก
    • กลุ่มเบราว์เซอร์ที่อำนวยความสะดวกโดย Chrome จะยกเว้นอินสแตนซ์ Chrome บางรายการ เช่น ผู้ใช้ Chrome Enterprise ซึ่งชุดเบราว์เซอร์แบบสุ่มของคุณเองอาจไม่ยกเว้นอินสแตนซ์ Chrome เหล่านี้ ดังนั้น คุณควรทำการทดสอบเฉพาะในกลุ่มโหมด A หรือเฉพาะในกลุ่มที่ไม่ใช่โหมด A/โหมด B เพื่อหลีกเลี่ยงการเปรียบเทียบเมตริกที่ได้ในกลุ่มที่ Chrome อำนวยความสะดวกกับเมตริกที่ได้นอกกลุ่มที่ Chrome อำนวยความสะดวก
    • หากไม่ได้ใช้กลุ่มเบราว์เซอร์ที่ติดป้ายกำกับซึ่ง Chrome อำนวยความสะดวก (เช่น การทดสอบการเข้าชมอื่นๆ) ให้ทําดังนี้
      • ยืนยันว่าการแบ่งกลุ่มผู้ใช้ออกเป็นกลุ่มควบคุมและกลุ่มทดสอบเป็นแบบสุ่มและเป็นกลาง ไม่ว่าการตั้งค่ากลุ่มทดสอบจะเป็นอย่างไร ให้ประเมินลักษณะของกลุ่มทดสอบและกลุ่มควบคุมเพื่อยืนยันว่ากลุ่มทดสอบและกลุ่มควบคุมเปรียบเทียบกันได้ (ดู: ส่วนที่ 15)
      • ยืนยันว่าลักษณะของผู้ใช้และการกําหนดค่าแคมเปญของกลุ่มทดสอบและกลุ่มควบคุมเหมือนกัน (เช่น ใช้ภูมิศาสตร์ที่คล้ายกันทั้งในกลุ่มทดสอบและกลุ่มควบคุม) (ดู: ส่วนที่ 28)
        • ตัวอย่างที่เฉพาะเจาะจง ได้แก่ ยืนยันว่ามีการวัด Conversion ประเภทที่คล้ายกันโดยใช้กรอบเวลาการระบุแหล่งที่มาเดียวกันและตรรกะการระบุแหล่งที่มาเดียวกัน แคมเปญกําหนดเป้าหมายไปยังกลุ่มเป้าหมาย กลุ่มความสนใจ และภูมิศาสตร์ที่คล้ายกัน และใช้ข้อความโฆษณาและรูปแบบโฆษณาที่คล้ายกัน
      • √ ขนาดประชากรเริ่มต้นของกลุ่มทดสอบและกลุ่มควบคุมมีขนาดใหญ่พอที่จะมีความยืดหยุ่นในการเสนอราคาและการทดสอบ
    • หากใช้กลุ่มเบราว์เซอร์ที่ติดป้ายกำกับซึ่ง Chrome อำนวยความสะดวก (โหมด A) Chrome จะเป็นผู้จัดการการสุ่มอินสแตนซ์เบราว์เซอร์ Chrome ไปยังกลุ่ม เราขอแนะนําให้คุณตรวจสอบตามที่เคยทำก่อนหน้านี้ว่าการสุ่มตัวอย่างส่งผลให้กลุ่มต่างๆ ปราศจากอคติ / เปรียบเทียบกันได้สําหรับวัตถุประสงค์ของคุณ

จุดวิเคราะห์ที่แนะนํา

  • เราขอแนะนําให้กําหนดกลุ่มควบคุมและกลุ่มทดสอบ และใช้รูปแบบแมชชีนเลิร์นนิงที่แตกต่างกันสําหรับการเพิ่มประสิทธิภาพการเสนอราคาสําหรับแต่ละกลุ่ม ดังนี้
    • กลุ่มควบคุม 1 - ใช้รูปแบบการเพิ่มประสิทธิภาพการเสนอราคาที่ผ่านการฝึกอบรมด้วยวิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม)
    • (ไม่บังคับ) กลุ่มควบคุม 2 - ใช้รูปแบบการเพิ่มประสิทธิภาพการเสนอราคาที่ฝึกโดยไม่ต้องใช้ Privacy Sandbox และไม่ใช้คุกกี้ของบุคคลที่สาม นั่นคือใช้เฉพาะข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม
      • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้งานได้ในบางเว็บไซต์ โปรดอย่าใช้คุกกี้ของบุคคลที่สามดังกล่าวในการวัดผลในวิธีการควบคุม 2 หรือวิธีการทดสอบเพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด
    • กลุ่มทดสอบ - ใช้รูปแบบการเพิ่มประสิทธิภาพการเสนอราคาที่ผ่านการฝึกอบรมจาก Attribution Reporting API และข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม
      • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้งานได้ในบางเว็บไซต์ โปรดอย่าใช้คุกกี้ของบุคคลที่สามดังกล่าวในการวัดผลในวิธีการควบคุม 2 หรือวิธีการทดสอบเพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด

เมตริก

  • กําหนดว่าเมตริกใดเหมาะกับธุรกิจในการวัดผลลัพธ์ และใส่คําอธิบายความหมายของเมตริกและวิธีวัด
    • ตัวอย่างเช่น เมตริกที่มีความหมายอาจเป็นการใช้จ่าย (รายได้ของผู้เผยแพร่โฆษณา) ซึ่งสอดคล้องกับคําแนะนําของ CMA ในการทำความเข้าใจผลกระทบของการเลิกใช้งานคุกกี้ของบุคคลที่สามต่อ "รายได้ต่อการแสดงผล" ดูรายละเอียดเพิ่มเติมได้ที่ส่วนที่ 19
  • หากรายงานเกี่ยวกับเมตริกที่อิงตาม Conversion คุณควรใช้วิธีการวัดผลเดียวกันกับกลุ่มทดสอบแต่ละกลุ่ม เพื่อหลีกเลี่ยงการทดสอบหลายตัวแปร (การทดสอบผลลัพธ์ที่เกิดขึ้นกับการเพิ่มประสิทธิภาพและการรายงานในการทดสอบครั้งเดียว) ดูคำแนะนำเกี่ยวกับวิธีจัดรูปแบบความคิดเห็นเชิงปริมาณได้ในตารางเทมเพลตที่แนะนำ
  • ลองใช้วิธีอื่นๆ ในการเก็บรวบรวมเมตริกเกี่ยวกับผลกระทบของการเพิ่มประสิทธิภาพการเสนอราคา เช่น การใช้การจําลองราคาเสนอ มีเมตริกจำลองที่มีประโยชน์ในการทำความเข้าใจผลกระทบของคุกกี้ของบุคคลที่สามและ ARA ต่อรูปแบบการเสนอราคาไหม
  • ระบุว่าเมตริกอิงตามรายงานระดับเหตุการณ์ รายงานสรุป หรือทั้ง 2 รายงาน (และระบุว่ามีการใช้รายงานการแก้ไขข้อบกพร่องหรือไม่)

การวิเคราะห์

  • การครอบคลุม:
    • คุณวัดผลในชุดผู้ใช้ที่คล้ายกันเมื่อเทียบกับคุกกี้ของบุคคลที่สามได้ไหม คุณเห็นการเปลี่ยนแปลงการครอบคลุมไหม (เช่น ในแอปกับเว็บ)
    • คุณวัด Conversion (และมิติข้อมูล/เมตริก) ที่คุณหรือผู้ลงโฆษณาให้ความสําคัญมากที่สุดได้หรือไม่
  • ความแตกต่างระหว่างกลุ่มต่างๆ จะมีผลต่อสิ่งต่อไปนี้อย่างไร
    • การรายงานสำหรับผู้ลงโฆษณา เช่น เปอร์เซ็นต์ Conversion หลักที่คุณสามารถรายงานได้
    • เช่น การฝึกและการเพิ่มประสิทธิภาพจะจําลองผลกระทบของข้อมูล Conversion ต่างๆ ต่อประสิทธิภาพของโมเดล
  • ความคิดเห็นเชิงคุณภาพอื่นๆ
    • ARA ส่งผลต่อความซับซ้อนของการตั้งค่าการเพิ่มประสิทธิภาพการเสนอราคาของผู้ลงโฆษณาอย่างไร
    • ARA ช่วยให้หรือขัดขวางผู้ลงโฆษณาไม่ให้มุ่งเน้นที่เมตริกและเป้าหมายที่สําคัญต่อตน

ตารางเทมเพลตที่แนะนําสําหรับผลกระทบของการเสนอราคา

(การเสนอราคา) ตารางที่ 1:

ตัวอย่างตารางเทมเพลตของผลการทดสอบที่ผู้เข้าร่วมในตลาดควรส่งให้ CMA (นำมาจากหน้า 18 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมาย / เป็นไปได้มากที่สุดที่จะระบุและปรับตารางตามความจำเป็น)

กลุ่มทดสอบเทียบกับกลุ่มควบคุม 1
เปรียบเทียบสถานะสุดท้ายที่เสนอกับสถานะปัจจุบัน 		กลุ่มทดสอบเทียบกับกลุ่มควบคุม 2
เปรียบเทียบสถานะสุดท้ายที่เสนอโดยไม่มี PS API เลย 		กลุ่มควบคุมที่ 2 เทียบกับกลุ่มควบคุมที่ 1
เปรียบเทียบการเพิ่มประสิทธิภาพการเสนอราคาโดยใช้และไม่ได้ใช้คุกกี้ของบุคคลที่สาม โดยไม่ใช้ PS API
วิธีการวัดผล หากต้องการหลีกเลี่ยงการทดสอบหลายตัวแปร ให้ใช้ข้อมูลคุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามเพื่อวัดเมตริกที่อิงตาม Conversion สําหรับทั้ง 2 กลุ่มในการทดสอบแต่ละครั้ง
รายได้ต่อการแสดงผล เอฟเฟ็กต์ เอฟเฟ็กต์ เอฟเฟ็กต์
ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน
ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95%
(เพิ่มเมตริกของคุณเอง)
(การเสนอราคา) ตาราง 2:

ตัวอย่างตารางเทมเพลตสำหรับการรายงานสถิติเชิงพรรณนาสำหรับเมตริกในกลุ่มทดสอบและกลุ่มควบคุม (นำมาจากหน้า 20 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมาย / เป็นไปได้มากที่สุดที่จะระบุและปรับตารางตามต้องการ)

กลุ่มทดสอบ
การเพิ่มประสิทธิภาพการเสนอราคาโดยใช้ ARA และข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามที่คุณใช้ 		กลุ่มควบคุมที่ 1
การเพิ่มประสิทธิภาพการเสนอราคาโดยใช้คุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามที่คุณใช้ 		กลุ่มควบคุมที่ 2
การเพิ่มประสิทธิภาพการเสนอราคาโดยใช้ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามเท่านั้น
วิธีการวัดผล หากต้องการหลีกเลี่ยงการทดสอบหลายตัวแปร ให้ใช้ข้อมูลคุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามเพื่อวัดเมตริกที่อิงตาม Conversion ในทุกกลุ่ม
รายได้ต่อการแสดงผล ค่าเฉลี่ย ค่าเฉลี่ย ค่าเฉลี่ย
ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน
เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75
(เพิ่มเมตริกของคุณเอง)

เป้าหมายที่ 3 - การทดสอบการโหลดบริการรวมข้อมูล

ดูเฟรมเวิร์กการทดสอบการโหลดบริการรวมข้อมูล