คู่มือการทดสอบการวัด

เป้าหมายของคู่มือนี้คือการให้คำแนะนำเกี่ยวกับการทดสอบ Attribution Reporting API ของ Privacy Sandbox แบบสแตนด์อโลน ดูรายละเอียดเพิ่มเติมได้ที่ส่วนที่ 12

  • การวัดผลลัพธ์ของกลุ่มควบคุมและกลุ่มทดสอบในการออกแบบการทดลองที่ 1 และ 2 ของ CMA จะกล่าวถึงในคำแนะนำในการทดสอบ Relevance API เนื่องจากเป้าหมายของการทดลองเหล่านั้นคือการทดสอบประสิทธิภาพของการใช้ Protected Audience และ Topics ดูรายละเอียดเพิ่มเติมได้ที่ส่วนที่ 11

ก่อนเริ่มต้น

เป้าหมายการประเมินและการตั้งค่าการทดสอบที่เสนอ

เป้าหมายที่ 1 - การพิจารณาประสิทธิภาพของ Attribution Reporting API สำหรับการรายงาน

เราขอเสนอการตั้งค่า A/A เพื่อวัดผลกระทบต่อการรายงาน

  • ข้อเสนอนี้สอดคล้องกับคำแนะนำของ CMA เกี่ยวกับการประเมินเมตริกที่อิงตาม Conversion ดูรายละเอียดเพิ่มเติมได้ที่ส่วนที่ 21 และส่วนที่ 12
  • เราขอแนะนำให้ใช้วิธีนี้มากกว่าโหมด A/B เนื่องจากคุณสามารถทดสอบ Attribution Reporting API (ARA) ได้โดยการวัด Conversion พร้อมกันในการแสดงผลชุดเดียวกันโดยใช้วิธีการวัดผล 2 วิธีที่แตกต่างกัน (คุกกี้ของบุคคลที่สาม + ข้อมูลที่ไม่ใช่คุกกี้ของบุคคลที่สาม และ ARA + ข้อมูลที่ไม่ใช่คุกกี้ของบุคคลที่สาม)
  • การทดสอบ A/A ยังแยกผลกระทบของ Attribution Reporting API ต่อการวัด Conversion ด้วย (เช่น หลีกเลี่ยงการเปลี่ยนแปลงอัตรา Conversion เนื่องจากไม่มีคุกกี้ของบุคคลที่สาม)

ประเด็นการวิเคราะห์ที่แนะนำ

  • เลือกกลุ่มการเข้าชมที่มีขนาดใหญ่พอที่จะให้ผลลัพธ์ที่มีนัยสำคัญทางสถิติ และมีทั้งคุกกี้ของบุคคลที่สามและ Privacy Sandbox API ในอุดมคติแล้ว การเข้าชมทั้งหมดนี้ยกเว้นโหมด B (ซึ่งปิดใช้คุกกี้ของบุคคลที่สาม)
    • เราขอแนะนำให้ยกเว้นโหมด B จากการทดสอบ A/A เนื่องจากจะไม่มีคุกกี้ของบุคคลที่สาม และคุณจะเปรียบเทียบผลลัพธ์ ARA กับผลลัพธ์การระบุแหล่งที่มาตามคุกกี้ของบุคคลที่สามไม่ได้
    • หากต้องการรวมโหมด B คุณควรเปิดใช้รายงานข้อบกพร่องสําหรับการเข้าชมส่วนโหมด B รายงานข้อบกพร่องจะช่วยคุณแก้ปัญหาการกำหนดค่าหรือการติดตั้งใช้งาน
  • หากคุณวางแผนที่จะทดสอบกับการเข้าชมส่วนเล็กๆ เราคาดว่าคุณจะได้รับผลการวัดที่ผิดเพี้ยนกว่าที่คาดไว้ เราขอแนะนําให้คุณระบุในข้อมูลวิเคราะห์ว่าใช้เศษส่วนของการเข้าชมใด และคุณกําลังรายงานผลลัพธ์โดยอิงตามรายงานที่มีการเพิ่ม Noise หรือรายงานการแก้ไขข้อบกพร่องที่ไม่มีการเพิ่ม Noise
    • สำหรับรายงานสรุป ค่าสรุปของคุณมีแนวโน้มที่จะต่ำกว่า และบริการรวมข้อมูลจะเพิ่มสัญญาณรบกวนจากการกระจายเดียวกันโดยไม่คำนึงถึงค่าสรุป
  • ทดสอบวิธีการวัดที่แตกต่างกันในส่วนของการเข้าชมนั้น
    • กลุ่มควบคุม 1 - ใช้วิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม)
    • (ไม่บังคับ) กลุ่มควบคุม 2 - ไม่มี Privacy Sandbox และไม่มีคุกกี้ของบุคคลที่สาม นั่นคือมีเฉพาะข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม
      • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้ได้ในบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามเหล่านั้นในการวัดผลในวิธีการของกลุ่มควบคุม 2 หรือกลุ่มทดสอบ
    • กลุ่มทดสอบ - ข้อมูล Privacy Sandbox API และข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม
      • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้ได้ในบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามเหล่านั้นในการวัดผลในวิธีการของกลุ่มควบคุม 2 หรือกลุ่มทดสอบ

เมตริก

  • กำหนดเมตริกที่เหมาะกับธุรกิจของคุณเพื่อวัดผลลัพธ์ และใส่คำอธิบายว่าเมตริกนั้นหมายถึงอะไรและมีการวัดอย่างไร
    • เราขอแนะนำให้คุณมุ่งเน้นที่มิติข้อมูลและเมตริกที่สำคัญสำหรับผู้ลงโฆษณา เช่น หากผู้ลงโฆษณามุ่งเน้นที่ Conversion การซื้อ ให้วัดจํานวน Conversion สําหรับ Conversion การซื้อและมูลค่าการซื้อ
  • เมตริกที่อิงตามจํานวนหรือผลรวม (เช่น อัตรา Conversion) เหมาะสมกว่าในการทํางานเมื่อเทียบกับต้นทุนต่อ (เช่น ต้นทุนต่อ Conversion) สําหรับการวิเคราะห์ A/A เมตริกต้นทุนสามารถได้มาจากมูลค่า Conversion ของการนับหรือผลรวมทั้งหมด
  • ระบุว่าเมตริกอิงตามรายงานระดับเหตุการณ์ รายงานสรุป หรือทั้ง 2 รายงาน (และระบุว่าใช้รายงานการแก้ไขข้อบกพร่องหรือไม่)
  • ดูคำแนะนำเกี่ยวกับวิธีจัดรูปแบบความคิดเห็นเชิงปริมาณได้ที่ตารางเทมเพลตที่แนะนำ

การวิเคราะห์

  • ความครอบคลุม
    • คุณวัดผลในกลุ่มผู้ใช้ที่คล้ายกันได้หรือไม่เมื่อเทียบกับคุกกี้ของบุคคลที่สาม คุณเห็นว่ามีการครอบคลุมสูงขึ้นไหม (เช่น ด้วยแอปไปยังเว็บ)
    • คุณวัด Conversion (และมิติข้อมูลหรือเมตริก) ที่คุณหรือผู้ลงโฆษณาสนใจมากที่สุดได้หรือไม่
  • ความคิดเห็นเชิงปริมาณ
    • ในการรายงานของผู้ลงโฆษณา เช่น คุณจะรายงาน Conversion ที่สำคัญกี่เปอร์เซ็นต์สําหรับผู้ลงโฆษณารายนั้น หรือแคมเปญกี่เปอร์เซ็นต์ที่ตรงตามเกณฑ์คุณภาพการรายงาน (การกำหนดเกณฑ์คุณภาพช่วยปรับแคมเปญที่มีจํานวน Conversion น้อย)
    • ตัวอย่างเช่น เมื่อแบ่งตามผู้ลงโฆษณา มีผู้ลงโฆษณาบางรายที่พึ่งพาคุกกี้ของบุคคลที่สามสำหรับการรายงานในปัจจุบันมากหรือน้อยกว่ารายอื่นๆ หรือไม่
  • ความคิดเห็นเชิงคุณภาพอื่นๆ
    • ARA ส่งผลต่อความซับซ้อนของการตั้งค่าการวัดผล/การระบุแหล่งที่มาของผู้ลงโฆษณาอย่างไร
    • ARA ช่วยหรือขัดขวางผู้ลงโฆษณาในการมุ่งเน้นเมตริกและเป้าหมายที่สําคัญต่อผู้ลงโฆษณา

ตารางเทมเพลตที่แนะนำสำหรับการรายงานผลกระทบ

(การรายงาน) ตารางที่ 1:

ตารางเทมเพลตตัวอย่างสำหรับการรายงานผลการทดสอบต่อ CMA (นำมาจากหน้า 18 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมาย / เป็นไปได้มากที่สุดที่จะให้ และปรับตารางตามความจำเป็น)

กลุ่มทดสอบเทียบกับกลุ่มควบคุม 1
เปรียบเทียบสถานะสิ้นสุดที่เสนอ กับสถานะปัจจุบัน 		กลุ่มทดสอบเทียบกับกลุ่มควบคุม 2
เปรียบเทียบสถานะสุดท้ายที่เสนอโดยไม่มี PS API เลย 		กลุ่มควบคุมที่ 2 เทียบกับกลุ่มควบคุมที่ 1
เปรียบเทียบการวัด Conversion ที่มีและไม่มีคุกกี้ของบุคคลที่สาม โดยไม่มี PS API
วิธีการวัดผล เปรียบเทียบการวัด Conversion สําหรับกลุ่มทดสอบ (ARA ที่มีข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม) กับกลุ่มควบคุมที่ 1 (ข้อมูลคุกกี้ของบุคคลที่สามและคุกกี้ที่ไม่ใช่ของบุคคลที่สาม) เปรียบเทียบการวัด Conversion สำหรับกลุ่มทดสอบ (ARA ที่มีข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม) กับกลุ่มควบคุม 2 (ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามเท่านั้น) เปรียบเทียบการวัด Conversion สำหรับกลุ่มควบคุมที่ 2 (ข้อมูลที่ไม่ใช่คุกกี้ของบุคคลที่สามเท่านั้น) กับกลุ่มควบคุมที่ 1 (ข้อมูลคุกกี้ของบุคคลที่สามและข้อมูลที่ไม่ใช่คุกกี้ของบุคคลที่สาม)
Conversion ต่อดอลลาร์ เอฟเฟ็กต์ เอฟเฟ็กต์ เอฟเฟ็กต์
ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน
ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95%
Conversion ทั้งหมด เอฟเฟ็กต์ เอฟเฟ็กต์ เอฟเฟ็กต์
ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน
ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95%
อัตรา Conversion เอฟเฟ็กต์ เอฟเฟ็กต์ เอฟเฟ็กต์
ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน
ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95%
(เพิ่มเมตริกของคุณเอง)
(การรายงาน) ตาราง 2:

ตารางเทมเพลตตัวอย่างสำหรับการรายงานสถิติเชิงพรรณนาสำหรับเมตริกในกลุ่มทดสอบและกลุ่มควบคุม (นำมาจากหน้า 20 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมาย / เป็นไปได้มากที่สุดที่จะให้ และปรับตารางตามความจำเป็น)

เมตริก กลุ่มทดสอบ
การวัด Conversion โดยใช้ ARA และข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามที่คุณใช้ 		การควบคุม 1
การวัด Conversion โดยใช้คุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามที่คุณใช้ 		การควบคุม 2
การวัด Conversion โดยใช้ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามเท่านั้น
Conversion ต่อดอลลาร์ ค่าเฉลี่ย ค่าเฉลี่ย ค่าเฉลี่ย
ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน
เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75
Conversion ทั้งหมด ค่าเฉลี่ย ค่าเฉลี่ย ค่าเฉลี่ย
ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน
เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75
อัตรา Conversion ค่าเฉลี่ย ค่าเฉลี่ย ค่าเฉลี่ย
ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน
เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75
(เพิ่มเมตริกของคุณเอง)

เป้าหมายที่ 2 - การพิจารณาประสิทธิภาพของ Attribution Reporting API เพื่อการเพิ่มประสิทธิภาพการเสนอราคา

เราขอเสนอการตั้งค่า A/B เพื่อวัดผลกระทบต่อการเพิ่มประสิทธิภาพการเสนอราคา

  • หากต้องการวัดผลกระทบต่อการเพิ่มประสิทธิภาพการเสนอราคา คุณจะต้องฝึกโมเดลแมชชีนเลิร์นนิง 2 โมเดลที่แตกต่างกัน และใช้โมเดลดังกล่าวกับทราฟฟิก 2 ส่วน โดยโมเดลหนึ่งได้รับการฝึกตามวิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลที่ไม่ใช่คุกกี้ของบุคคลที่สาม) เพื่อใช้กับกลุ่มควบคุม และอีกโมเดลหนึ่งได้รับการฝึกตาม Attribution Reporting API + ข้อมูลที่ไม่ใช่คุกกี้ของบุคคลที่สามเพื่อใช้กับกลุ่มทดสอบ
  • การฝึกโมเดลควรอิงตามการเข้าชมมากที่สุดเท่าที่ผู้ทดสอบเห็นว่าจำเป็นต่อการเพิ่มประสิทธิภาพสูงสุด แม้ว่ากลุ่มทดสอบจะเป็นส่วนย่อยของการเข้าชม และมีกลุ่มประชากรที่ใช้ฝึกทับซ้อนกัน (เช่น ใช้โมเดลคุกกี้ของบุคคลที่สามที่มีอยู่ซึ่งฝึกจากการเข้าชมทั้งหมด และฝึกโมเดล ARA จากการเข้าชม ARA ทั้งหมดที่เปิดใช้สำหรับเป้าหมาย 1)
    • หากส่งผลลัพธ์ไปยัง CMA โปรดระบุว่ามีความแตกต่างอย่างมีนัยสําคัญระหว่างการแบ่งการเข้าชมที่ใช้ในการฝึกโมเดลต่างๆ หรือไม่ (เช่น หากโมเดลที่อิงตามคุกกี้ของบุคคลที่สามได้รับการฝึกในการเข้าชม 100% แต่โมเดลที่อิงตาม ARA ได้รับการฝึกในการเข้าชมเพียง 1%)
  • หากเป็นไปได้ การฝึกโมเดลการเสนอราคาสำหรับทั้งกลุ่มทดสอบและกลุ่มควบคุมควรใช้ระยะเวลาเท่ากัน
  • พิจารณาว่าคุณควรฝึกและอัปเดตรูปแบบการเสนอราคาอย่างต่อเนื่องในระหว่างการทดสอบหรือไม่ และหากควรทำ คุณควรฝึกกับจำนวนการเข้าชมมากที่สุดเท่าที่จะเป็นไปได้ หรือเฉพาะการเข้าชมจากกลุ่มทดสอบและกลุ่มควบคุม
  • ควรใช้โมเดลที่แตกต่างกันในการเข้าชมที่แยกกันเป็นส่วนๆ ในการทดสอบ A/B สำหรับการสุ่มผู้ใช้และการกำหนดผู้ใช้ในกลุ่มทดสอบและกลุ่มควบคุม เราขอแนะนำให้ใช้กลุ่มเบราว์เซอร์ที่มีป้ายกำกับซึ่ง Chrome จัดเตรียมให้ (โหมด A) หรือทำการทดลองของคุณเองด้วยชุดเบราว์เซอร์แบบสุ่ม เราไม่แนะนำให้ใช้โหมด B เนื่องจากไม่มีคุกกี้ของบุคคลที่สาม จึงทำให้รายงานเมตริกที่อิงตาม Conversion ได้ยาก
    • กลุ่มเบราว์เซอร์ที่อำนวยความสะดวกโดย Chrome จะยกเว้นอินสแตนซ์ Chrome บางรายการ เช่น ผู้ใช้ Chrome Enterprise ซึ่งชุดเบราว์เซอร์แบบสุ่มของคุณเองอาจไม่ยกเว้นอินสแตนซ์ Chrome เหล่านี้ ดังนั้น คุณควรทำการทดสอบเฉพาะในกลุ่มโหมด A หรือเฉพาะในกลุ่มที่ไม่ใช่โหมด A/โหมด B เพื่อหลีกเลี่ยงการเปรียบเทียบเมตริกที่ได้ในกลุ่มที่ Chrome ช่วยอำนวยความสะดวกกับเมตริกที่ได้นอกกลุ่มที่ Chrome ช่วยอำนวยความสะดวก
    • หากไม่ได้ใช้กลุ่มเบราว์เซอร์ที่มีป้ายกำกับซึ่ง Chrome จัดเตรียมให้ (เช่น การทําการทดสอบในการเข้าชมอื่นๆ) ให้ทําดังนี้
      • ตรวจสอบว่าการแยกผู้ใช้เป็นกลุ่มทดสอบและกลุ่มควบคุมเป็นแบบสุ่มและไม่มีอคติ ไม่ว่าการตั้งค่ากลุ่มทดสอบจะเป็นอย่างไร ให้ประเมินลักษณะของกลุ่มทดสอบและกลุ่มควบคุมเพื่อยืนยันว่ากลุ่มทดสอบและกลุ่มควบคุมเปรียบเทียบกันได้ (ดูส่วนที่ 15)
      • ตรวจสอบว่าลักษณะของผู้ใช้และการกำหนดค่าแคมเปญของกลุ่มทดสอบและกลุ่มควบคุมเหมือนกัน (เช่น ใช้พื้นที่ทางภูมิศาสตร์ที่คล้ายกันในทั้งกลุ่มทดสอบและกลุ่มควบคุม) (ดูมาตรา 28)
        • ตัวอย่างที่เฉพาะเจาะจง ได้แก่ การตรวจสอบว่ามีการวัด Conversion ประเภทที่คล้ายกันโดยใช้กรอบเวลาการระบุแหล่งที่มาเดียวกันและตรรกะการระบุแหล่งที่มาเดียวกัน แคมเปญกําหนดเป้าหมายไปยังกลุ่มเป้าหมาย กลุ่มความสนใจ และพื้นที่ทางภูมิศาสตร์ที่คล้ายกัน และใช้ข้อความโฆษณาและรูปแบบโฆษณาที่คล้ายกัน
      • √ ขนาดประชากรเริ่มต้นของกลุ่มทดสอบและกลุ่มควบคุมมีขนาดใหญ่พอที่จะมีความยืดหยุ่นในการเสนอราคาและการทดสอบ
    • หากใช้กลุ่มเบราว์เซอร์ที่มีป้ายกำกับซึ่ง Chrome จัดเตรียมให้ (โหมด A) Chrome จะจัดการการสุ่มอินสแตนซ์ของเบราว์เซอร์ Chrome ไปยังกลุ่ม เราขอแนะนำให้คุณตรวจสอบเช่นเดิมว่าการสุ่มส่งผลให้กลุ่มต่างๆ ไม่มีความเอนเอียง / เปรียบเทียบได้ตามวัตถุประสงค์ของคุณ

ประเด็นการวิเคราะห์ที่แนะนำ

  • เราขอแนะนําให้กําหนดกลุ่มควบคุมและกลุ่มทดสอบ และใช้โมเดลแมชชีนเลิร์นนิงที่แตกต่างกันเพื่อเพิ่มประสิทธิภาพการเสนอราคาสําหรับแต่ละกลุ่ม ดังนี้
    • การควบคุม 1 - ใช้โมเดลการเพิ่มประสิทธิภาพการเสนอราคาที่ฝึกด้วยวิธีการวัดผลปัจจุบัน (คุกกี้ของบุคคลที่สาม + ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม)
    • (ไม่บังคับ) กลุ่มควบคุม 2 - ใช้โมเดลการเพิ่มประสิทธิภาพการเสนอราคาที่ฝึกโดยไม่มี Privacy Sandbox และไม่มีคุกกี้ของบุคคลที่สาม นั่นคือใช้เฉพาะข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม
      • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้ได้ในบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามเหล่านั้นในการวัดผลในวิธีการของกลุ่มควบคุม 2 หรือกลุ่มทดสอบ
    • กลุ่มทดสอบ - ใช้โมเดลการเพิ่มประสิทธิภาพการเสนอราคาที่ฝึกด้วย Attribution Reporting API และข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สาม
      • โปรดทราบว่าอาจมีคุกกี้ของบุคคลที่สามบางรายการที่ยังคงใช้ได้ในบางเว็บไซต์ เพื่อให้ได้ผลลัพธ์ที่แม่นยำที่สุด โปรดอย่าใช้คุกกี้ของบุคคลที่สามเหล่านั้นในการวัดผลในวิธีการของกลุ่มควบคุม 2 หรือกลุ่มทดสอบ

เมตริก

  • กําหนดเมตริกที่เหมาะกับธุรกิจของคุณเพื่อวัดผลลัพธ์ และใส่คําอธิบายความหมายของเมตริกและวิธีวัด
    • ตัวอย่างเช่น เมตริกที่มีความหมายอาจเป็นค่าใช้จ่าย (รายได้ของผู้เผยแพร่โฆษณา) ซึ่งสอดคล้องกับคำแนะนำของ CMA ในการทำความเข้าใจผลกระทบของการเลิกใช้งานคุกกี้ของบุคคลที่สามต่อ "รายได้ต่อการแสดงผล" ดูรายละเอียดเพิ่มเติมได้ที่ส่วนที่ 19
  • หากรายงานเมตริกที่อิงตาม Conversion คุณควรใช้วิธีการวัดเดียวกันสำหรับแต่ละกลุ่มเพื่อหลีกเลี่ยงการทดสอบหลายตัวแปร (การทดสอบผลกระทบต่อการเพิ่มประสิทธิภาพและการรายงานในการทดสอบเดียว) ดูคำแนะนำเกี่ยวกับวิธีจัดรูปแบบความคิดเห็นเชิงปริมาณได้ที่ตารางเทมเพลตที่แนะนำ
  • พิจารณาวิธีอื่นๆ ในการรวบรวมเมตริกเกี่ยวกับผลกระทบของการเพิ่มประสิทธิภาพการเสนอราคา เช่น การใช้ราคาเสนอจำลอง มีเมตริกจำลองใดบ้างที่จะเป็นประโยชน์ในการทำความเข้าใจผลกระทบของคุกกี้ของบุคคลที่สามและ ARA ต่อรูปแบบการเสนอราคาของคุณ
  • ระบุว่าเมตริกอิงตามรายงานระดับเหตุการณ์ รายงานสรุป หรือทั้ง 2 รายงาน (และระบุว่าใช้รายงานการแก้ไขข้อบกพร่องหรือไม่)

การวิเคราะห์

  • ความครอบคลุม
    • คุณวัดผลในกลุ่มผู้ใช้ที่คล้ายกันได้หรือไม่เมื่อเทียบกับคุกกี้ของบุคคลที่สาม คุณเห็นการเปลี่ยนแปลงใดๆ ในความครอบคลุมหรือไม่ (เช่น จากแอปไปยังเว็บ)
    • คุณวัด Conversion (และมิติข้อมูล/เมตริก) ที่คุณหรือผู้ลงโฆษณาสนใจมากที่สุดได้ไหม
  • ความแตกต่างระหว่างกลุ่มจะส่งผลต่อสิ่งต่อไปนี้อย่างไร
    • การรายงานของผู้ลงโฆษณา เช่น คุณจะรายงาน Conversion ที่สําคัญได้กี่เปอร์เซ็นต์
    • การฝึกและการเพิ่มประสิทธิภาพ เช่น การจำลองผลกระทบของข้อมูล Conversion ที่แตกต่างกันต่อประสิทธิภาพของโมเดล
  • ความคิดเห็นเชิงคุณภาพอื่นๆ
    • ARA ส่งผลต่อความซับซ้อนของการตั้งค่าการเพิ่มประสิทธิภาพการเสนอราคาของผู้ลงโฆษณาอย่างไร
    • ARA ช่วยหรือขัดขวางไม่ให้ผู้ลงโฆษณามุ่งเน้นเมตริกและเป้าหมายที่สําคัญต่อผู้ลงโฆษณา

ตารางเทมเพลตที่แนะนำสำหรับผลกระทบจากการเสนอราคา

(การเสนอราคา) ตารางที่ 1:

ตารางเทมเพลตตัวอย่างของผลการทดสอบที่ผู้เข้าร่วมตลาดควรส่งให้ CMA (นำมาจากหน้า 18 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมาย / เป็นไปได้มากที่สุดที่จะให้ และปรับตารางตามความจำเป็น)

กลุ่มทดสอบเทียบกับกลุ่มควบคุม 1
เปรียบเทียบสถานะสิ้นสุดที่เสนอ กับสถานะปัจจุบัน 		กลุ่มทดสอบเทียบกับกลุ่มควบคุม 2
เปรียบเทียบสถานะสุดท้ายที่เสนอโดยไม่มี PS API เลย 		กลุ่มควบคุมที่ 2 เทียบกับกลุ่มควบคุมที่ 1
เปรียบเทียบการเพิ่มประสิทธิภาพการเสนอราคาโดยมีและไม่มีคุกกี้ของบุคคลที่สาม โดยไม่มี PS API
วิธีการวัดผล หากต้องการหลีกเลี่ยงการทดสอบหลายตัวแปร ให้ใช้ข้อมูลคุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามเพื่อวัดเมตริกที่อิงตาม Conversion สําหรับทั้ง 2 กลุ่มในการทดสอบแต่ละครั้ง
รายได้ต่อการแสดงผล เอฟเฟ็กต์ เอฟเฟ็กต์ เอฟเฟ็กต์
ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน ข้อผิดพลาดมาตรฐาน
ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95% ช่วงความเชื่อมั่น 95%
(เพิ่มเมตริกของคุณเอง)
(การเสนอราคา) ตาราง 2:

ตารางเทมเพลตตัวอย่างสำหรับการรายงานสถิติเชิงพรรณนาสำหรับเมตริกในกลุ่มทดสอบและกลุ่มควบคุม (นำมาจากหน้า 20 แต่ผู้ทดสอบควรพิจารณาว่าเมตริกใดมีความหมาย / เป็นไปได้มากที่สุดที่จะให้ และปรับตารางตามความจำเป็น)

การรักษา
การเพิ่มประสิทธิภาพการเสนอราคาโดยใช้ ARA และข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามที่คุณใช้ 		กลุ่มควบคุมที่ 1
การเพิ่มประสิทธิภาพการเสนอราคาโดยใช้คุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามที่คุณใช้ 		กลุ่มควบคุมที่ 2
การเพิ่มประสิทธิภาพการเสนอราคาโดยใช้ข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามเท่านั้น
วิธีการวัดผล หากต้องการหลีกเลี่ยงการทดสอบหลายตัวแปร ให้ใช้ข้อมูลคุกกี้ของบุคคลที่สามและข้อมูลคุกกี้ที่ไม่ใช่ของบุคคลที่สามเพื่อวัดเมตริกที่อิงตาม Conversion ในทุกกลุ่ม
รายได้ต่อการแสดงผล ค่าเฉลี่ย ค่าเฉลี่ย ค่าเฉลี่ย
ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน ค่าเบี่ยงเบนมาตรฐาน
เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75 เปอร์เซ็นไทล์ที่ 25 และ 75
(เพิ่มเมตริกของคุณเอง)

เป้าหมายที่ 3 - ทดสอบโหลดบริการรวมข้อมูล

ดูเฟรมเวิร์กการทดสอบโหลดของบริการรวมข้อมูล