Mục tiêu của hướng dẫn này là cung cấp hướng dẫn về cách chạy kiểm thử độc lập của API Báo cáo phân bổ Hộp cát về quyền riêng tư. Để biết thêm thông tin, hãy xem: Mục 12.
- Hướng dẫn kiểm thử API Mức độ liên quan đề cập đến việc đo lường kết quả của nhóm đối chứng và nhóm thử nghiệm trong thiết kế thử nghiệm 1 và 2 của CMA, vì mục tiêu của các thử nghiệm đó là kiểm thử hiệu quả của việc sử dụng Protected Audience và Topics. Để biết thêm thông tin, hãy xem Mục 11.
Trước khi bắt đầu
- Xem hướng dẫn về cách định cấu hình và thiết lập Attribution Reporting API.
- Xem lại hướng dẫn kiểm thử của CMA: Ghi chú về thử nghiệm (tháng 11 năm 2022), Hướng dẫn kiểm thử (tháng 6 năm 2023) và Hướng dẫn kiểm thử bổ sung (tháng 10 năm 2023).
Mục tiêu đánh giá và cách thiết lập thử nghiệm được đề xuất
Mục tiêu 1 – Xác định hiệu quả của Attribution Reporting API để báo cáo
Bạn nên thiết lập thử nghiệm A/A để đo lường mức tác động đến báo cáo
- Đề xuất này phù hợp với hướng dẫn của CMA về việc đánh giá các chỉ số dựa trên lượt chuyển đổi. Để biết thêm thông tin chi tiết, hãy xem Mục 21 và Mục 12.
- Chúng tôi ưu tiên phương pháp này hơn Chế độ A/B vì bạn có thể thử nghiệm Attribution Reporting API (ARA) bằng cách đồng thời đo lường lượt chuyển đổi trên cùng một nhóm lượt hiển thị bằng hai phương pháp đo lường khác nhau (cookie của bên thứ ba + dữ liệu không phải cookie của bên thứ ba và ARA + dữ liệu không phải cookie của bên thứ ba).
- Thử nghiệm A/A cũng tách riêng tác động của Attribution Reporting API đối với hoạt động đo lường lượt chuyển đổi (ví dụ: tránh mọi thay đổi đối với tỷ lệ chuyển đổi do thiếu cookie của bên thứ ba).
Các điểm phân tích được đề xuất
- Chọn một phần lưu lượng truy cập đủ lớn để có được kết quả có ý nghĩa thống kê và có cả cookie của bên thứ ba và API Hộp cát về quyền riêng tư. Lý tưởng nhất là tất cả lưu lượng truy cập, ngoại trừ Chế độ B (vô hiệu hoá cookie của bên thứ ba).
- Bạn nên loại trừ Chế độ B khỏi thử nghiệm A/A vì cookie của bên thứ ba sẽ không hoạt động và bạn sẽ không thể so sánh kết quả ARA với kết quả phân bổ dựa trên cookie của bên thứ ba.
- Nếu muốn đưa Chế độ B vào, bạn nên cân nhắc bật báo cáo gỡ lỗi cho lát cắt lưu lượng truy cập Chế độ B. Báo cáo gỡ lỗi sẽ giúp bạn khắc phục mọi vấn đề về cấu hình hoặc triển khai.
- Nếu có kế hoạch thử nghiệm trên một phần nhỏ lưu lượng truy cập, bạn có thể sẽ nhận được kết quả đo lường không chính xác hơn dự kiến. Bạn nên ghi chú trong phân tích của mình về tỷ lệ lưu lượng truy cập đã sử dụng và liệu bạn có đang báo cáo kết quả dựa trên báo cáo có nhiễu hay báo cáo gỡ lỗi không có nhiễu hay không.
- Đối với báo cáo tóm tắt, giá trị tóm tắt của bạn có thể thấp hơn và Dịch vụ tổng hợp sẽ thêm nhiễu từ cùng một phân phối bất kể giá trị tóm tắt.
- Kiểm thử các phương pháp đo lường khác nhau trên phần lưu lượng truy cập đó
- Nhóm đối chứng 1 – Sử dụng phương pháp đo lường hiện tại (cookie của bên thứ ba + dữ liệu không phải cookie của bên thứ ba)
- (không bắt buộc) Nhóm đối chứng 2 – không có Hộp cát về quyền riêng tư và không có cookie của bên thứ ba, tức là chỉ có dữ liệu cookie không phải của bên thứ ba
- Xin lưu ý rằng một số trang web vẫn có thể sử dụng một số cookie của bên thứ ba. Để có kết quả chính xác nhất, bạn không nên sử dụng những cookie của bên thứ ba đó để đo lường trong phương pháp Kiểm soát 2 hoặc Phương pháp điều trị
- Nhóm thử nghiệm – API Hộp cát về quyền riêng tư và dữ liệu cookie không phải của bên thứ ba
- Xin lưu ý rằng một số trang web vẫn có thể sử dụng một số cookie của bên thứ ba. Để có kết quả chính xác nhất, bạn không nên sử dụng những cookie của bên thứ ba đó để đo lường trong phương pháp Kiểm soát 2 hoặc Phương pháp điều trị
Chỉ số
- Xác định những chỉ số phù hợp với doanh nghiệp của bạn để đo lường kết quả, đồng thời cung cấp nội dung mô tả ý nghĩa của chỉ số và cách đo lường chỉ số đó.
- Bạn nên tập trung vào những phương diện và chỉ số quan trọng đối với nhà quảng cáo. Ví dụ: nếu nhà quảng cáo của bạn tập trung vào lượt chuyển đổi giao dịch mua, hãy đo lường số lượt chuyển đổi và giá trị giao dịch mua.
- Bạn nên sử dụng các chỉ số dựa trên số lượng hoặc tổng (ví dụ: tỷ lệ chuyển đổi) thay vì chi phí trên (ví dụ: chi phí trên mỗi lượt chuyển đổi). Đối với phân tích A/A, các chỉ số chi phí có thể được lấy hoàn toàn từ số lượt chuyển đổi hoặc tổng giá trị lượt chuyển đổi.
- Chỉ định xem các chỉ số có dựa trên Báo cáo cấp sự kiện, Báo cáo tóm tắt hay kết hợp cả hai báo cáo (và liệu có sử dụng báo cáo gỡ lỗi hay không).
- Hãy xem các bảng mẫu được đề xuất để biết hướng dẫn về cách định dạng phản hồi định lượng.
Phân tích
- Mức độ phù hợp:
- Bạn có thể đo lường trên một nhóm người dùng tương tự so với cookie của bên thứ ba không? Bạn có thấy mức độ phù hợp cao hơn (ví dụ: với ứng dụng đến web) không?
- Bạn có thể đo lường những lượt chuyển đổi (và phương diện hoặc chỉ số) mà bạn hoặc nhà quảng cáo quan tâm nhất không?
- Phản hồi định lượng
- Ví dụ: trong báo cáo nhà quảng cáo, bạn có thể báo cáo bao nhiêu phần trăm lượt chuyển đổi chính cho nhà quảng cáo đó hoặc bao nhiêu phần trăm chiến dịch đáp ứng một thanh chất lượng báo cáo (việc lấy thanh chất lượng giúp điều chỉnh cho những chiến dịch có số lượt chuyển đổi nhỏ)
- Ví dụ: theo nhà quảng cáo, có một số nhà quảng cáo phụ thuộc nhiều hay ít vào cookie của bên thứ ba để báo cáo hiện nay không?
- Ý kiến phản hồi định tính khác:
- ARA ảnh hưởng như thế nào đến độ phức tạp của việc thiết lập tính năng đo lường/phân bổ của nhà quảng cáo?
- ARA có giúp hay cản trở nhà quảng cáo tập trung vào các chỉ số và mục tiêu quan trọng với họ không?
Các bảng mẫu được đề xuất để báo cáo mức tác động
(Báo cáo) Bảng 1:
Mẫu bảng ví dụ để báo cáo kết quả thử nghiệm cho CMA (lấy từ trang 18, nhưng người kiểm thử nên cân nhắc những chỉ số nào có ý nghĩa / thực tế nhất để cung cấp và điều chỉnh bảng nếu cần).
Nhóm thử nghiệm so với nhóm đối chứng 1 So sánh trạng thái kết thúc được đề xuất với trạng thái hiện tại |
Nhóm thử nghiệm so với nhóm đối chứng 2 So sánh trạng thái kết thúc được đề xuất với trạng thái không có API Hộp cát về quyền riêng tư. |
Nhóm đối chứng 2 so với nhóm đối chứng 1 So sánh kết quả đo lường lượt chuyển đổi có và không có cookie của bên thứ ba, không có API PS nào. |
|
Phương pháp đo lường | So sánh kết quả đo lường lượt chuyển đổi cho Nhóm thử nghiệm (ARA có dữ liệu cookie không phải của bên thứ ba) với Nhóm đối chứng 1 (cookie của bên thứ ba và dữ liệu cookie không phải của bên thứ ba) | So sánh kết quả đo lường lượt chuyển đổi cho Nhóm thử nghiệm (ARA có dữ liệu cookie không phải của bên thứ ba) với Nhóm đối chứng 2 (chỉ có dữ liệu cookie không phải của bên thứ ba) | So sánh kết quả đo lường lượt chuyển đổi cho Nhóm đối chứng 2 (chỉ có dữ liệu cookie không phải của bên thứ ba) với Nhóm đối chứng 1 (dữ liệu cookie của bên thứ ba và không phải của bên thứ ba) |
Số lượt chuyển đổi trên mỗi đô la | Hiệu quả | Hiệu quả | Hiệu quả |
Sai số chuẩn | Sai số chuẩn | Sai số chuẩn | |
Khoảng tin cậy 95% | Khoảng tin cậy 95% | Khoảng tin cậy 95% | |
Tổng số lượt chuyển đổi | Hiệu quả | Hiệu quả | Hiệu quả |
Sai số chuẩn | Sai số chuẩn | Sai số chuẩn | |
Khoảng tin cậy 95% | Khoảng tin cậy 95% | Khoảng tin cậy 95% | |
Tỷ lệ chuyển đổi | Hiệu quả | Hiệu quả | Hiệu quả |
Sai số chuẩn | Sai số chuẩn | Sai số chuẩn | |
Khoảng tin cậy 95% | Khoảng tin cậy 95% | Khoảng tin cậy 95% | |
(thêm chỉ số của riêng bạn) |
(Báo cáo) Bảng 2:
Bảng mẫu ví dụ để báo cáo số liệu thống kê mô tả cho các chỉ số trong nhóm đối chứng và nhóm thử nghiệm (lấy từ trang 20, nhưng người kiểm thử nên cân nhắc những chỉ số nào có ý nghĩa / thực tế nhất để cung cấp và điều chỉnh bảng nếu cần).
Chỉ số | Phương pháp
Đo lường lượt chuyển đổi bằng ARA và mọi dữ liệu cookie không phải của bên thứ ba mà bạn sử dụng |
Nhóm đối chứng 1
Đo lường lượt chuyển đổi bằng cookie của bên thứ ba và mọi dữ liệu cookie không phải của bên thứ ba mà bạn sử dụng |
Nhóm đối chứng 2
Chỉ đo lường lượt chuyển đổi bằng dữ liệu cookie không phải của bên thứ ba |
Số lượt chuyển đổi trên mỗi đô la | Trung bình | Trung bình | Trung bình |
Độ lệch chuẩn | Độ lệch chuẩn | Độ lệch chuẩn | |
Phân vị thứ 25 và 75 | Phân vị thứ 25 và 75 | Phân vị thứ 25 và 75 | |
Tổng số lượt chuyển đổi | Trung bình | Trung bình | Trung bình |
Độ lệch chuẩn | Độ lệch chuẩn | Độ lệch chuẩn | |
Phân vị thứ 25 và 75 | Phân vị thứ 25 và 75 | Phân vị thứ 25 và 75 | |
Tỷ lệ chuyển đổi | Trung bình | Trung bình | Trung bình |
Độ lệch chuẩn | Độ lệch chuẩn | Độ lệch chuẩn | |
Phân vị thứ 25 và 75 | Phân vị thứ 25 và 75 | Phân vị thứ 25 và 75 | |
(thêm chỉ số của riêng bạn) |
Mục tiêu 2 – Xác định hiệu quả của Attribution Reporting API để tối ưu hoá chiến lược đặt giá thầu
Bạn nên thiết lập thử nghiệm A/B để đo lường mức tác động đến hoạt động tối ưu hoá chiến lược đặt giá thầu.
- Để đo lường tác động đến hoạt động tối ưu hoá giá thầu, bạn cần huấn luyện hai mô hình học máy khác nhau và sử dụng các mô hình đó trên hai nhóm lưu lượng truy cập – một mô hình được huấn luyện theo phương pháp đo lường hiện tại (cookie của bên thứ ba + dữ liệu không phải cookie của bên thứ ba) để áp dụng cho nhóm đối chứng và một mô hình được huấn luyện theo Attribution Reporting API + dữ liệu không phải cookie của bên thứ ba để áp dụng cho nhóm thử nghiệm.
- Quá trình huấn luyện mô hình phải dựa trên lưu lượng truy cập nhiều nhất mà người kiểm thử cho là cần thiết để tối đa hoá hiệu suất, ngay cả khi nhóm thử nghiệm là một phần nhỏ lưu lượng truy cập và có sự trùng lặp giữa các nhóm huấn luyện (ví dụ: sử dụng mô hình cookie của bên thứ ba hiện có đang huấn luyện trên tất cả lưu lượng truy cập và huấn luyện mô hình ARA trên tất cả lưu lượng truy cập ARA được bật cho Mục tiêu 1).
- Nếu gửi kết quả cho CMA, hãy lưu ý xem có sự khác biệt đáng kể nào giữa các lát lưu lượng truy cập dùng để huấn luyện các mô hình khác nhau hay không (ví dụ: nếu mô hình dựa trên cookie của bên thứ ba được huấn luyện trên 100% lưu lượng truy cập nhưng mô hình dựa trên ARA chỉ được huấn luyện trên 1% lưu lượng truy cập).
- Nếu có thể, quá trình huấn luyện cho cả mô hình đặt giá thầu đối chứng và mô hình đặt giá thầu thử nghiệm phải diễn ra trong cùng một khoảng thời gian.
- Hãy cân nhắc xem bạn có nên liên tục huấn luyện và cập nhật mô hình đặt giá thầu trong quá trình thử nghiệm hay không. Nếu có, bạn nên huấn luyện trên nhiều lưu lượng truy cập nhất có thể hay chỉ trên lưu lượng truy cập từ nhóm thử nghiệm và nhóm đối chứng.
- Bạn nên sử dụng các mô hình khác nhau trên các lát cắt lưu lượng truy cập không liên kết dưới dạng thử nghiệm A/B. Để phân bổ và tạo ngẫu nhiên người dùng giữa nhóm đối chứng và nhóm thử nghiệm, bạn nên sử dụng các nhóm trình duyệt được gắn nhãn do Chrome hỗ trợ (Chế độ A) hoặc chạy thử nghiệm của riêng mình với các nhóm trình duyệt được tạo ngẫu nhiên. Bạn không nên sử dụng Chế độ B vì việc thiếu cookie của bên thứ ba sẽ khiến bạn khó báo cáo các chỉ số dựa trên lượt chuyển đổi.
- Các nhóm trình duyệt do Chrome hỗ trợ sẽ loại trừ một số phiên bản Chrome như người dùng Chrome Enterprise, trong khi các nhóm trình duyệt ngẫu nhiên của riêng bạn có thể không loại trừ các phiên bản Chrome này. Do đó, bạn chỉ nên chạy thử nghiệm trên các nhóm Chế độ A hoặc chỉ trên các nhóm không phải Chế độ A/Chế độ B để tránh so sánh các chỉ số thu được trên các nhóm do Chrome hỗ trợ với các chỉ số thu được bên ngoài các nhóm do Chrome hỗ trợ.
- Nếu không sử dụng các nhóm trình duyệt được gắn nhãn do Chrome hỗ trợ (ví dụ: chạy thử nghiệm trên lưu lượng truy cập khác):
- Xác minh rằng việc phân chia người dùng thành nhóm đối chứng và nhóm thử nghiệm là ngẫu nhiên và không thiên vị. Bất kể cách thiết lập nhóm thử nghiệm, hãy đánh giá các đặc điểm của nhóm thử nghiệm và nhóm đối chứng để xác minh rằng nhóm thử nghiệm và nhóm đối chứng có thể so sánh được. (Xem: Mục 15)
- Xác minh rằng các đặc điểm người dùng và cấu hình chiến dịch của nhóm thử nghiệm và nhóm đối chứng giống nhau (ví dụ: sử dụng các vị trí địa lý tương tự trong cả nhóm thử nghiệm và nhóm đối chứng). (Xem: Mục 28)
- Ví dụ cụ thể: xác minh rằng các loại chuyển đổi tương tự đang được đo lường bằng cùng một khoảng thời gian phân bổ và cùng một logic phân bổ, các chiến dịch đang nhắm đến các đối tượng, nhóm mối quan tâm và vị trí địa lý tương tự, đồng thời sử dụng văn bản quảng cáo và định dạng quảng cáo tương tự.
- √ rằng quy mô ban đầu của nhóm đối chứng và nhóm thử nghiệm đủ lớn để có thể linh hoạt đặt giá thầu và thử nghiệm.
- Nếu bạn sử dụng các nhóm trình duyệt được gắn nhãn do Chrome hỗ trợ (Chế độ A), thì Chrome sẽ xử lý việc tạo các thực thể trình duyệt Chrome ngẫu nhiên cho các nhóm. Bạn nên kiểm tra (như trước đây) để đảm bảo rằng việc tạo ngẫu nhiên sẽ tạo ra các nhóm không thiên vị / có thể so sánh cho mục đích của bạn.
Các điểm phân tích được đề xuất
- Bạn nên xác định nhóm đối chứng và nhóm thử nghiệm, đồng thời sử dụng một mô hình học máy khác nhau để tối ưu hoá chiến lược đặt giá thầu cho từng nhóm:
- Nhóm đối chứng 1 – Sử dụng mô hình tối ưu hoá giá thầu được huấn luyện dựa trên các phương pháp đo lường hiện tại (cookie của bên thứ ba + dữ liệu không phải cookie của bên thứ ba)
- (không bắt buộc) Nhóm đối chứng 2 – Sử dụng mô hình tối ưu hoá giá thầu được huấn luyện mà không có Hộp cát về quyền riêng tư và không có cookie của bên thứ ba, tức là chỉ có dữ liệu không phải cookie của bên thứ ba
- Xin lưu ý rằng một số trang web vẫn có thể sử dụng một số cookie của bên thứ ba. Để có kết quả chính xác nhất, đừng sử dụng những cookie của bên thứ ba đó để đo lường trong phương pháp Kiểm soát 2 hoặc Phương pháp điều trị.
- Phương pháp điều trị – Sử dụng mô hình tối ưu hoá chiến lược đặt giá thầu được huấn luyện trên Attribution Reporting API và dữ liệu không phải cookie của bên thứ ba
- Xin lưu ý rằng một số trang web vẫn có thể sử dụng một số cookie của bên thứ ba. Để có kết quả chính xác nhất, đừng sử dụng những cookie của bên thứ ba đó để đo lường trong phương pháp Kiểm soát 2 hoặc Phương pháp điều trị.
Chỉ số
- Xác định những chỉ số phù hợp với doanh nghiệp của bạn để đo lường kết quả, đồng thời cung cấp nội dung mô tả ý nghĩa của chỉ số và cách đo lường chỉ số đó.
- Ví dụ: chỉ số có ý nghĩa có thể là mức chi tiêu (doanh thu của nhà xuất bản), phù hợp với hướng dẫn của CMA để hiểu được tác động của việc ngừng sử dụng cookie của bên thứ ba đối với "Doanh thu trên mỗi lượt hiển thị". Hãy xem Mục 19 để biết thêm thông tin chi tiết.
- Nếu báo cáo về bất kỳ chỉ số nào dựa trên lượt chuyển đổi, bạn nên sử dụng cùng một phương pháp đo lường cho mỗi nhóm thử nghiệm để tránh thử nghiệm đa biến (kiểm thử tác động đến hoạt động tối ưu hoá và báo cáo trong một thử nghiệm). Hãy xem các bảng mẫu được đề xuất để biết hướng dẫn về cách định dạng phản hồi định lượng.
- Hãy cân nhắc các cách khác để thu thập chỉ số về tác động của tính năng tối ưu hoá chiến lược đặt giá thầu, chẳng hạn như sử dụng giá thầu mô phỏng. Có chỉ số mô phỏng nào hữu ích để hiểu được tác động của cookie của bên thứ ba và ARA đối với mô hình đặt giá thầu không?
- Chỉ định xem các chỉ số có dựa trên Báo cáo cấp sự kiện, Báo cáo tóm tắt hay kết hợp cả hai báo cáo (và liệu có sử dụng báo cáo gỡ lỗi hay không).
Phân tích
- Mức độ phù hợp:
- Bạn có thể đo lường trên một nhóm người dùng tương tự so với cookie của bên thứ ba không? Bạn có thấy sự thay đổi nào về phạm vi áp dụng (ví dụ: với ứng dụng đến web) không?
- Bạn có thể đo lường những lượt chuyển đổi (và phương diện/chỉ số) mà bạn hoặc nhà quảng cáo quan tâm nhất không?
- Sự khác biệt giữa các nhóm sẽ ảnh hưởng như thế nào đến những yếu tố sau:
- Ví dụ: báo cáo nhà quảng cáo, tỷ lệ phần trăm số lượt chuyển đổi chính mà bạn có thể báo cáo.
- Ví dụ: quy trình huấn luyện và tối ưu hoá sẽ mô phỏng tác động của nhiều loại dữ liệu chuyển đổi đối với hiệu suất của mô hình.
- Ý kiến phản hồi định tính khác:
- ARA ảnh hưởng như thế nào đến độ phức tạp của việc thiết lập tính năng tối ưu hoá chiến lược đặt giá thầu của nhà quảng cáo?
- ARA có giúp hay cản trở nhà quảng cáo tập trung vào các chỉ số và mục tiêu quan trọng với họ không?
Bảng mẫu được đề xuất để xem mức tác động của chiến lược đặt giá thầu
(Đặt giá thầu) Bảng 1:
Bảng mẫu ví dụ về kết quả thử nghiệm mà người tham gia thị trường phải gửi cho CMA (lấy từ trang 18, nhưng người kiểm thử nên cân nhắc những chỉ số nào có ý nghĩa / thực tế nhất để cung cấp và điều chỉnh bảng nếu cần).
Nhóm thử nghiệm so với nhóm đối chứng 1 So sánh trạng thái kết thúc được đề xuất với trạng thái hiện tại |
Nhóm thử nghiệm so với nhóm đối chứng 2 So sánh trạng thái kết thúc được đề xuất với trạng thái không có API Hộp cát về quyền riêng tư. |
Nhóm đối chứng 2 so với nhóm đối chứng 1 So sánh tính năng tối ưu hoá chiến lược đặt giá thầu có và không có cookie của bên thứ ba, không có API Hộp cát về quyền riêng tư. |
|
Phương pháp đo lường | Để tránh thử nghiệm đa biến, hãy sử dụng dữ liệu cookie của bên thứ ba và dữ liệu không phải cookie của bên thứ ba để đo lường các chỉ số dựa trên lượt chuyển đổi cho cả hai nhóm trong mỗi thử nghiệm. | ||
Doanh thu trên mỗi lượt hiển thị | Hiệu quả | Hiệu quả | Hiệu quả |
Sai số chuẩn | Sai số chuẩn | Sai số chuẩn | |
Khoảng tin cậy 95% | Khoảng tin cậy 95% | Khoảng tin cậy 95% | |
(Thêm chỉ số của riêng bạn) |
(Đặt giá thầu) Bảng 2:
Bảng mẫu ví dụ để báo cáo số liệu thống kê mô tả cho các chỉ số trong nhóm đối chứng và nhóm thử nghiệm (lấy từ trang 20, nhưng người kiểm thử nên cân nhắc những chỉ số nào có ý nghĩa / thực tế nhất để cung cấp và điều chỉnh bảng nếu cần).
Phương pháp Tối ưu hoá chiến lược đặt giá thầu bằng ARA và mọi dữ liệu cookie không phải của bên thứ ba mà bạn sử dụng |
Nhóm đối chứng 1 Tối ưu hoá chiến lược đặt giá thầu bằng cookie của bên thứ ba và mọi dữ liệu cookie không phải của bên thứ ba mà bạn sử dụng |
Nhóm đối chứng 2 Chỉ tối ưu hoá giá thầu bằng dữ liệu cookie không phải của bên thứ ba |
|
Phương pháp đo lường | Để tránh thử nghiệm đa biến, hãy sử dụng dữ liệu cookie của bên thứ ba và dữ liệu không phải cookie của bên thứ ba để đo lường các chỉ số dựa trên lượt chuyển đổi trên tất cả các nhóm. | ||
Doanh thu trên mỗi lượt hiển thị | Trung bình | Trung bình | Trung bình |
Độ lệch chuẩn | Độ lệch chuẩn | Độ lệch chuẩn | |
Phân vị thứ 25 và 75 | Phân vị thứ 25 và 75 | Phân vị thứ 25 và 75 | |
(thêm chỉ số của riêng bạn) |
Mục tiêu 3 – Kiểm thử tải Dịch vụ tổng hợp
Xem Khung kiểm thử tải Dịch vụ tổng hợp.