Hướng dẫn kiểm thử đo lường

bookmark_border Sử dụng bộ sưu tập để sắp xếp ngăn nắp các trang Lưu và phân loại nội dung dựa trên lựa chọn ưu tiên của bạn.

Mục tiêu của tài liệu hướng dẫn này là đưa ra hướng dẫn về cách chạy một bài kiểm thử độc lập của API Báo cáo phân bổ trên Hộp cát về quyền riêng tư. Để biết thêm thông tin chi tiết, hãy xem: Mục 12.

• Kết quả đo lường nhóm đối chứng và nhóm thử nghiệm trong thiết kế thử nghiệm 1 và 2 của CMA được đề cập trong hướng dẫn thử nghiệm API Mức độ liên quan, vì mục tiêu của các thử nghiệm đó là kiểm tra hiệu quả của việc sử dụng Protected Audience và Chủ đề. Để biết thêm thông tin chi tiết, hãy xem Phần 11.

Trước khi bắt đầu

• Xem hướng dẫn về cách định cấu hình và thiết lập Attribution Reporting API.
• Xem lại hướng dẫn thử nghiệm CMA: Ghi chú về hoạt động thử nghiệm (tháng 11 năm 2022), Hướng dẫn về thử nghiệm (tháng 6 năm 2023) và Hướng dẫn bổ sung về thử nghiệm (tháng 10 năm 2023).

Mục tiêu đánh giá và chế độ thiết lập thử nghiệm được đề xuất

Mục tiêu 1 – Xác định mức độ hiệu quả của Attribution Reporting API cho hoạt động báo cáo

Chúng tôi đề xuất chế độ thiết lập A/A để đo lường mức độ tác động đến hoạt động báo cáo

• Đề xuất này phù hợp với hướng dẫn của CMA về việc đánh giá các chỉ số dựa trên lượt chuyển đổi. Để biết thêm thông tin, hãy xem Mục 21 và Mục 12.
• Chúng tôi ưu tiên phương pháp này hơn Chế độ A/B vì bạn có thể thử nghiệm Attribution Reporting API (ARA) bằng cách đồng thời đo lường lượt chuyển đổi trên cùng một nhóm lượt hiển thị thông qua hai phương pháp đo lường khác nhau (cookie của bên thứ ba + dữ liệu cookie của bên thứ ba và ARA + dữ liệu cookie không phải của bên thứ ba).
• Thử nghiệm A/A cũng tách biệt tác động của Attribution Reporting API đối với hoạt động đo lường lượt chuyển đổi (ví dụ: thử nghiệm này giúp tránh mọi thay đổi đối với tỷ lệ chuyển đổi do thiếu cookie của bên thứ ba).

Các điểm phân tích được đề xuất

• Chọn một phần lưu lượng truy cập đủ lớn để nhận được kết quả có ý nghĩa thống kê và có cả cookie của bên thứ ba và API Hộp cát về quyền riêng tư. Lý tưởng nhất là đây là tất cả lưu lượng truy cập, ngoại trừ Chế độ B (tắt cookie của bên thứ ba).
  • Bạn nên loại trừ Chế độ B khỏi thử nghiệm A/A, vì cookie của bên thứ ba sẽ không có sẵn và bạn sẽ không thể so sánh kết quả ARA với kết quả phân bổ dựa trên cookie của bên thứ ba.
  • Nếu muốn bao gồm Chế độ B, bạn nên xem xét bật báo cáo gỡ lỗi cho phần lưu lượng truy cập Chế độ B. Báo cáo gỡ lỗi sẽ giúp bạn khắc phục mọi vấn đề về cấu hình hoặc triển khai.
• Nếu bạn dự định thử nghiệm trên một phần lưu lượng truy cập nhỏ hơn, chúng tôi cho rằng bạn sẽ nhận được các kết quả đo lường nhiễu hơn dự kiến. Trong bản phân tích, bạn nên lưu ý đến tỷ lệ lưu lượng truy cập đã được sử dụng và liệu bạn đang báo cáo kết quả dựa trên báo cáo bị nhiễu hay báo cáo gỡ lỗi không có tiếng ồn.
  • Đối với báo cáo tóm tắt, giá trị tóm tắt của bạn có thể sẽ thấp hơn và Dịch vụ tổng hợp sẽ thêm độ nhiễu từ cùng một bản phân phối bất kể giá trị tóm tắt là gì.
• Thử nghiệm các phương pháp đo lường khác nhau trên phần lưu lượng truy cập đó
  • Nhóm đối chứng 1 – Sử dụng các phương pháp đo lường hiện tại (cookie của bên thứ ba + dữ liệu cookie của bên thứ ba)
  • (không bắt buộc) Nhóm đối chứng 2 – không dùng Hộp cát về quyền riêng tư và không sử dụng cookie của bên thứ ba, tức là chỉ dùng dữ liệu cookie của bên thứ ba
    • Xin lưu ý rằng một số trang web vẫn có thể sử dụng một số cookie của bên thứ ba – để có kết quả chính xác nhất, đừng sử dụng các cookie của bên thứ ba đó để đo lường trong Nhóm đối chứng 2 hoặc Phương pháp xử lý
  • Xử lý – API Hộp cát về quyền riêng tư và dữ liệu cookie không phải của bên thứ ba
    • Xin lưu ý rằng một số trang web vẫn có thể sử dụng một số cookie của bên thứ ba – để có kết quả chính xác nhất, đừng sử dụng các cookie của bên thứ ba đó để đo lường trong Nhóm đối chứng 2 hoặc Phương pháp xử lý

Chỉ số

• Xác định những chỉ số phù hợp với doanh nghiệp của bạn để đo lường kết quả, đồng thời thêm nội dung mô tả về ý nghĩa cũng như cách chỉ số được đo lường.
  • Bạn nên tập trung vào những phương diện và chỉ số quan trọng đối với nhà quảng cáo của mình. Ví dụ: nếu nhà quảng cáo của bạn tập trung vào các lượt chuyển đổi giao dịch mua, hãy đo lường số lượt chuyển đổi cho các lượt chuyển đổi đó và giá trị giao dịch mua.
• Thay vì sử dụng chi phí mỗi lượt chuyển đổi (ví dụ: chi phí mỗi lượt chuyển đổi), thì các chỉ số dựa trên số lượng hoặc tổng (ví dụ: tỷ lệ chuyển đổi) là cách phù hợp hơn. Đối với bản phân tích A/A, chỉ số về chi phí có thể được lấy đầy đủ từ số lượng hoặc tổng giá trị chuyển đổi.
• Chỉ định xem các chỉ số đó dựa trên Báo cáo cấp sự kiện, Báo cáo tóm tắt hay kết hợp cả hai báo cáo (và liệu báo cáo gỡ lỗi có được sử dụng hay không).
• Hãy xem các bảng mẫu đề xuất để tham khảo hướng dẫn về cách định dạng ý kiến phản hồi định lượng.

Phân tích

• Phạm vi:
  • Bạn có đo lường được trên một nhóm người dùng tương tự so với cookie của bên thứ ba không? Bạn có thấy mức độ phù hợp cao hơn không (ví dụ: với từ ứng dụng đến web)?
  • Bạn có thể đo lường các lượt chuyển đổi (và phương diện hoặc chỉ số) mà bạn hoặc các nhà quảng cáo của bạn quan tâm nhất không?
• Ý kiến phản hồi định lượng
  • Ví dụ: trên báo cáo của nhà quảng cáo, bạn có thể báo cáo tỷ lệ phần trăm lượt chuyển đổi chính cho nhà quảng cáo đó hoặc tỷ lệ phần trăm chiến dịch đáp ứng thanh chất lượng báo cáo (việc lấy thanh chất lượng giúp điều chỉnh cho những chiến dịch có số lượt chuyển đổi nhỏ)
  • Ví dụ: bị chia nhỏ bởi nhà quảng cáo, chẳng hạn như có một số nhà quảng cáo nào phụ thuộc nhiều hơn hoặc ít hơn vào cookie của bên thứ ba cho báo cáo hiện nay không?
• Ý kiến phản hồi định tính khác:
  • ARA ảnh hưởng như thế nào đến sự phức tạp trong việc thiết lập mô hình đo lường/phân bổ của nhà quảng cáo?
  • ARA có giúp hoặc cản trở nhà quảng cáo tập trung vào các chỉ số và mục tiêu quan trọng đối với họ không?

Bảng mẫu được đề xuất để báo cáo tác động

(Báo cáo) Bảng 1:

Bảng mẫu mẫu để báo cáo kết quả thử nghiệm cho CMA (lấy từ trang 18, nhưng người thử nghiệm nên cân nhắc xem chỉ số nào có ý nghĩa nhất / khả thi nhất để cung cấp và điều chỉnh bảng nếu cần).

(Báo cáo) Bảng 2:

Ví dụ về bảng mẫu để báo cáo số liệu thống kê mô tả cho các chỉ số trong nhóm thử nghiệm và nhóm đối chứng (lấy từ trang 20, nhưng người thử nghiệm nên cân nhắc những chỉ số nào có ý nghĩa nhất / khả thi nhất để cung cấp và điều chỉnh bảng nếu cần).

Mục tiêu 2 – Xác định mức độ hiệu quả của Attribution Reporting API để tối ưu hoá giá thầu

Bạn nên thiết lập A/B để đo lường mức độ tác động đến việc tối ưu hoá giá thầu.

• Để đo lường mức tác động đến việc tối ưu hoá giá thầu, bạn sẽ cần đào tạo hai mô hình học máy khác nhau và sử dụng các mô hình này trên hai phần lưu lượng truy cập – một mô hình được huấn luyện dựa trên các phương pháp đo lường hiện tại (cookie của bên thứ ba + dữ liệu cookie không phải của bên thứ ba) để áp dụng cho nhóm đối chứng và một mô hình được huấn luyện theo Attribution Reporting API + dữ liệu cookie không phải của bên thứ ba để áp dụng cho nhóm thử nghiệm.
• Quá trình huấn luyện mô hình nên dựa trên lưu lượng truy cập tối đa mà người kiểm thử cho là cần thiết để tối đa hoá hiệu suất, ngay cả khi nhóm thử nghiệm có phần lưu lượng truy cập nhỏ hơn và có sự trùng lặp giữa tập hợp được huấn luyện (ví dụ: sử dụng mô hình cookie của bên thứ ba hiện có đang huấn luyện trên tất cả lưu lượng truy cập và huấn luyện mô hình ARA trên tất cả lưu lượng truy cập ARA được bật cho Mục tiêu 1).
  • Nếu gửi kết quả cho CMA, hãy lưu ý xem có sự khác biệt đáng kể giữa các phần lưu lượng truy cập được dùng để huấn luyện các mô hình khác nhau hay không (ví dụ: nếu mô hình dựa trên cookie của bên thứ ba được huấn luyện trên 100% lưu lượng truy cập nhưng các mô hình dựa trên ARA chỉ được huấn luyện trên 1% lưu lượng truy cập).
• Nếu có thể, chương trình đào tạo cho cả mô hình đặt giá thầu thử nghiệm và mô hình đặt giá thầu đối chứng nên diễn ra trong cùng một thời gian.
• Cân nhắc xem bạn nên liên tục đào tạo và cập nhật các mô hình đặt giá thầu trong quá trình thử nghiệm. Nếu có, bạn nên huấn luyện cho nhiều lưu lượng truy cập nhất có thể hay chỉ tập trung vào lưu lượng truy cập từ nhóm thử nghiệm và nhóm đối chứng.
• Bạn nên sử dụng các mô hình khác nhau trên các phần lưu lượng truy cập khác nhau dưới dạng thử nghiệm A/B. Để sắp xếp ngẫu nhiên người dùng và chỉ định người dùng trong nhóm thử nghiệm và nhóm đối chứng, bạn nên sử dụng các nhóm trình duyệt được gắn nhãn dựa trên Chrome (Chế độ A) hoặc chạy thử nghiệm của riêng bạn trên các nhóm trình duyệt ngẫu nhiên. Bạn không nên sử dụng Chế độ B vì việc thiếu cookie của bên thứ ba sẽ gây khó khăn cho việc báo cáo các chỉ số dựa trên lượt chuyển đổi.
  • Các nhóm trình duyệt hỗ trợ Chrome sẽ loại trừ một số phiên bản Chrome, chẳng hạn như người dùng Chrome Enterprise. Khi đó, các nhóm trình duyệt ngẫu nhiên của riêng bạn không thể loại trừ những phiên bản Chrome này. Do đó, bạn chỉ nên chạy thử nghiệm trên các nhóm Chế độ A hoặc chỉ trên các nhóm không thuộc Chế độ A/Chế độ B để tránh so sánh chỉ số thu được trên các nhóm hỗ trợ Chrome với chỉ số thu được bên ngoài các nhóm hỗ trợ Chrome.
  • Nếu bạn không sử dụng các nhóm trình duyệt được gắn nhãn do Chrome hỗ trợ (ví dụ: chạy thử nghiệm trên lưu lượng truy cập khác):
    • Đảm bảo rằng chế độ phân chia người dùng trong nhóm đối chứng và nhóm người dùng được chọn ngẫu nhiên và không thiên vị. Bất kể cách thiết lập nhóm thử nghiệm, hãy đánh giá các đặc điểm của nhóm can thiệp và nhóm đối chứng để đảm bảo nhóm can thiệp và nhóm đối chứng tương đương với nhau. (Xem: Mục 15)
    • Đảm bảo rằng đặc điểm người dùng và cấu hình chiến dịch của nhóm thử nghiệm và nhóm đối chứng là giống nhau (ví dụ: sử dụng vị trí địa lý tương tự nhau trong cả nhóm thử nghiệm và nhóm đối chứng). (Xem: Mục 28)
      • Một số ví dụ cụ thể bao gồm: đảm bảo các loại chuyển đổi tương tự đang được đo lường bằng cách sử dụng cùng thời lượng phân bổ và cùng một logic phân bổ, các chiến dịch đang nhắm đến các đối tượng, nhóm mối quan tâm và vị trí địa lý tương tự, đồng thời sử dụng nội dung quảng cáo và định dạng quảng cáo tương tự.
    • Đảm bảo rằng quy mô dữ liệu ban đầu của nhóm can thiệp và nhóm đối chứng đủ lớn để có thể đặt giá thầu và thử nghiệm một cách linh hoạt.
  • Nếu bạn sử dụng các nhóm trình duyệt được gắn nhãn do Chrome hỗ trợ (Chế độ A), thì việc sắp xếp ngẫu nhiên các phiên bản trình duyệt Chrome cho các nhóm sẽ do Chrome xử lý. Như trước đây, bạn nên kiểm tra để đảm bảo việc sắp xếp ngẫu nhiên dẫn đến các nhóm không thiên vị / tương đương theo mục đích của mình.

Các điểm phân tích được đề xuất

• Bạn nên xác định nhóm đối chứng và nhóm thử nghiệm, đồng thời sử dụng một mô hình học máy khác để tối ưu hoá giá thầu cho từng nhóm:
  • Đối chứng 1 – Sử dụng mô hình tối ưu hoá giá thầu được huấn luyện dựa trên các phương pháp đo lường hiện tại (cookie của bên thứ ba + dữ liệu cookie của bên thứ ba)
  • (không bắt buộc) Nhóm đối chứng 2 – Sử dụng mô hình tối ưu hoá giá thầu được huấn luyện không thuộc Hộp cát về quyền riêng tư và không sử dụng cookie của bên thứ ba, tức là chỉ sử dụng dữ liệu cookie của bên thứ ba
    • Xin lưu ý rằng có thể một số trang web vẫn có một số cookie của bên thứ ba – để có kết quả chính xác nhất, đừng sử dụng các cookie của bên thứ ba đó để đo lường trong Phương pháp đối chứng 2 hoặc Phương pháp xử lý.
  • Xử lý – Sử dụng mô hình tối ưu hoá giá thầu được huấn luyện về Attribution Reporting API và dữ liệu cookie của bên thứ ba
    • Xin lưu ý rằng có thể một số trang web vẫn có một số cookie của bên thứ ba – để có kết quả chính xác nhất, đừng sử dụng các cookie của bên thứ ba đó để đo lường trong Phương pháp đối chứng 2 hoặc Phương pháp xử lý.

Chỉ số

• Xác định những chỉ số phù hợp với doanh nghiệp của bạn để đo lường kết quả, đồng thời thêm nội dung mô tả về ý nghĩa cũng như cách chỉ số được đo lường.
  • Ví dụ: chỉ số có ý nghĩa có thể là mức chi tiêu (doanh thu của nhà xuất bản), phù hợp với hướng dẫn của CMA để tìm hiểu tác động của việc ngừng sử dụng cookie của bên thứ ba đối với "Doanh thu trên mỗi lượt hiển thị". Xem Phần 19 để biết thêm thông tin chi tiết.
• Nếu báo cáo về chỉ số dựa trên lượt chuyển đổi, bạn nên sử dụng cùng một phương pháp đo lường cho từng nhóm, để tránh thử nghiệm đa lượng biến (thử nghiệm tác động đến hoạt động tối ưu hoá và báo cáo trong một thử nghiệm). Hãy xem các bảng mẫu đề xuất để tham khảo hướng dẫn về cách định dạng ý kiến phản hồi định lượng.
• Hãy xem xét các cách khác để thu thập chỉ số về tác động của hoạt động tối ưu hoá giá thầu, ví dụ: sử dụng việc mô phỏng giá thầu. Có chỉ số mô phỏng nào hữu ích để tìm hiểu tác động của cookie của bên thứ ba và ARA đối với các mô hình đặt giá thầu của bạn không?
• Chỉ định xem các chỉ số đó dựa trên Báo cáo cấp sự kiện, Báo cáo tóm tắt hay kết hợp cả hai báo cáo (và liệu báo cáo gỡ lỗi có được sử dụng hay không).

Phân tích

• Phạm vi:
  • Bạn có đo lường được trên một nhóm người dùng tương tự so với cookie của bên thứ ba không? Bạn có thấy thay đổi nào về mức độ phù hợp không (ví dụ: với mô hình từ ứng dụng đến web)?
  • Bạn có thể đo lường các lượt chuyển đổi (và phương diện/chỉ số) mà bạn hoặc các nhà quảng cáo của bạn quan tâm nhất không?
• Sự khác biệt giữa các nhóm này sẽ ảnh hưởng như thế nào đến những thông tin sau:
  • Ví dụ: báo cáo của nhà quảng cáo, chẳng hạn như tỷ lệ phần trăm các lượt chuyển đổi quan trọng mà bạn có thể báo cáo.
  • Ví dụ: huấn luyện và tối ưu hoá mô phỏng tác động của nhiều dữ liệu chuyển đổi đến hiệu suất của mô hình.
• Ý kiến phản hồi định tính khác:
  • ARA ảnh hưởng như thế nào đến sự phức tạp của việc thiết lập tính năng tối ưu hoá giá thầu của nhà quảng cáo?
  • ARA có giúp hoặc cản trở nhà quảng cáo tập trung vào các chỉ số và mục tiêu quan trọng đối với họ không?

Bảng mẫu được đề xuất để tác động đến chiến lược đặt giá thầu

(Đặt giá thầu) Bảng 1:

Ví dụ về bảng kết quả thử nghiệm mà những người tham gia thị trường nên gửi cho CMA (lấy từ trang 18, nhưng người thử nghiệm nên cân nhắc những chỉ số có ý nghĩa / khả thi nhất để cung cấp và điều chỉnh bảng nếu cần).

(Đặt giá thầu) Bảng 2:

Ví dụ về bảng mẫu để báo cáo số liệu thống kê mô tả cho các chỉ số trong nhóm thử nghiệm và nhóm đối chứng (lấy từ trang 20, nhưng người thử nghiệm nên cân nhắc những chỉ số nào có ý nghĩa nhất / khả thi nhất để cung cấp và điều chỉnh bảng nếu cần).

Mục tiêu 3 – Tải thử nghiệm Dịch vụ tổng hợp

Xem Khung kiểm thử tải dịch vụ tổng hợp.