측정 테스트 가이드

이 가이드의 목표는 개인 정보 보호 샌드박스 Attribution Reporting API의 독립형 테스트 실행에 관한 안내를 제공하는 것입니다. 자세한 내용은 섹션 12를 참고하세요.

• CMA의 실험 설계 1 및 2에서 대조군과 실험군 결과를 측정하는 방법은 관련성 API 테스트 가이드에서 다룹니다. 이러한 실험의 목표는 Protected Audience 및 Topics 사용의 효과를 테스트하는 것이기 때문입니다. 자세한 내용은 섹션 11을 참고하세요.

시작하기 전에

• Attribution Reporting API 구성 및 설정에 관한 안내를 검토합니다.
• CMA 테스트 가이드: 실험 메모 (2022년 11월), 테스트 가이드 (2023년 6월), 추가 테스트 가이드 (2023년 10월)를 검토합니다.

평가 목표 및 제안된 실험 설정

목표 1 - 보고를 위한 Attribution Reporting API의 효과 확인

보고에 미치는 영향을 측정하기 위한 A/A 설정을 제안합니다.

• 이 제안은 전환 기반 측정항목 평가에 관한 CMA 가이드에 따라 작성되었습니다. 자세한 내용은 섹션 21 및 섹션 12를 참고하세요.
• Attribution Reporting API (ARA)를 테스트할 때는 두 가지 측정 방법 (서드 파티 쿠키 + 서드 파티 외 쿠키 데이터 및 ARA + 서드 파티 외 쿠키 데이터)을 사용하여 동일한 노출 세트에서 전환을 동시에 측정할 수 있으므로 A/B 모드보다 이 방법을 사용하는 것이 좋습니다.
• A/A 실험은 Attribution Reporting API가 전환 측정에 미치는 영향을 분리합니다 (예: 서드 파티 쿠키가 없기 때문에 전환율이 변경되지 않음).

추천 분석 포인트

• 통계적으로 유의미한 결과를 얻기에 충분히 크고 서드 파티 쿠키와 개인 정보 보호 샌드박스 API가 모두 포함된 트래픽 슬라이스를 선택합니다. 서드 파티 쿠키를 사용 중지하는 모드 B를 제외한 모든 트래픽이 여기에 포함되는 것이 이상적입니다.
  • 서드 파티 쿠키를 사용할 수 없고 ARA 결과를 서드 파티 쿠키 기반 기여 분석 결과와 비교할 수 없으므로 A/A 실험에서 모드 B를 제외하는 것이 좋습니다.
  • 모드 B를 포함하려면 트래픽의 모드 B 슬라이스에 대한 디버그 보고서를 사용 설정하는 것이 좋습니다. 디버그 보고서는 구성 또는 구현 문제를 해결하는 데 도움이 됩니다.
• 트래픽의 일부만 테스트하려는 경우 예상보다 노이즈가 많은 측정 결과가 표시될 수 있습니다. 분석 시 사용된 트래픽의 비율과 노이즈가 있는 보고서 또는 노이즈가 없는 디버그 보고서를 기반으로 결과를 보고하는지 여부를 기록하는 것이 좋습니다.
  • 요약 보고서의 경우 요약 값이 더 낮을 수 있으며 집계 서비스는 요약 값과 관계없이 동일한 분포에서 노이즈를 추가합니다.
• 해당 트래픽 슬라이스에 다양한 측정 방법을 테스트합니다.
  • 대조군 1 - 현재 측정 방법 (서드 파티 쿠키 + 서드 파티 외 쿠키 데이터) 사용
  • (선택사항) 대조군 2 - 개인 정보 보호 샌드박스 및 서드 파티 쿠키 없음, 즉 서드 파티가 아닌 쿠키 데이터만 사용함
    • 일부 사이트에서는 여전히 서드 파티 쿠키를 사용할 수 있습니다. 가장 정확한 결과를 얻으려면 대조군 2 또는 실험군 방법론에서 측정에 이러한 서드 파티 쿠키를 사용하지 마세요.
  • 실험군 - 개인 정보 보호 샌드박스 API 및 서드 파티가 아닌 쿠키 데이터
    • 일부 사이트에서는 여전히 서드 파티 쿠키를 사용할 수 있습니다. 가장 정확한 결과를 얻으려면 대조군 2 또는 실험군 방법론에서 측정에 이러한 서드 파티 쿠키를 사용하지 마세요.

측정항목

• 비즈니스에서 결과를 측정하는 데 적합한 측정항목을 정의하고 측정항목의 의미와 측정 방법에 관한 설명을 포함합니다.
  • 광고주에게 중요한 측정기준과 측정항목에 집중하는 것이 좋습니다. 예를 들어 광고주가 구매 전환에 중점을 둔다면 구매 전환수와 구매 가치를 측정합니다.
• 비용당 (예: 전환당비용)이 아닌 개수 또는 합계를 기반으로 하는 측정항목 (예: 전환율)이 더 적합합니다. A/A 분석의 경우 비용 측정항목은 전환 가치의 개수 또는 합계에서 완전히 파생될 수 있습니다.
• 측정항목이 이벤트 수준 보고서, 요약 보고서 또는 두 보고서의 조합을 기반으로 하는지, 디버그 보고서가 사용되었는지 지정합니다.
• 정량적 의견의 형식을 지정하는 방법에 관한 안내는 추천 템플릿 표를 참고하세요.

분석

• 노출 범위:
  • 서드 파티 쿠키와 비교하여 유사한 사용자 집단을 대상으로 측정할 수 있나요? 노출 범위가 더 넓어졌나요 (예: 앱-웹)?
  • 나 또는 광고주가 가장 중요하게 생각하는 전환 (및 측정기준 또는 측정항목)을 측정할 수 있나요?
• 정량적 의견
  • 예를 들어 광고주 보고의 경우 해당 광고주에 대해 보고할 수 있는 주요 전환의 비율 또는 보고 품질 기준을 충족하는 캠페인의 비율을 파악할 수 있습니다. 품질 기준을 파생하면 전환 수가 적은 캠페인을 조정하는 데 도움이 됩니다.
  • 예를 들어 광고주별로 분류하면 오늘날 보고에 서드 파티 쿠키를 어느 정도 의존하는 광고주가 있나요?
• 기타 정성적 의견:
  • ARA는 광고주의 측정/기여 분석 설정의 복잡성에 어떤 영향을 미치나요?
  • ARA는 광고주가 중요한 측정항목과 목표에 집중하는 데 도움이 되나요, 아니면 방해가 되나요?

영향 보고를 위한 추천 템플릿 표

(보고) 표 1:

CMA에 실험 결과를 보고하기 위한 템플릿 표의 예시(18페이지에서 가져왔으나 테스터는 가장 의미가 있거나 실행 가능한 측정항목을 고려하여 필요에 따라 표를 조정해야 함)

	처리 그룹과 대조군 1 비교 제안된 최종 상태와 현재 상태 비교	처리 그룹과 대조군 2 비교 제안된 최종 상태를 PS API가 전혀 없는 상태와 비교합니다.	대조군 2 대 대조군 1 PS API 없이 서드 파티 쿠키 유무에 따른 전환 측정을 비교합니다.
측정 방법론	처리 (서드 파티 외 쿠키 데이터가 포함된 ARA)의 전환 측정값을 대조군 1 (서드 파티 쿠키 및 서드 파티 외 쿠키 데이터)과 비교	처리 (서드 파티 외 쿠키 데이터가 포함된 ARA)의 전환 측정값을 대조군 2 (서드 파티 외 쿠키 데이터만 포함)와 비교	대조군 2 (서드 파티 외 쿠키 데이터만 해당)의 전환 측정값을 대조군 1 (서드 파티 쿠키 및 서드 파티 외 쿠키 데이터)과 비교합니다.
1달러당 전환수	효과	효과	효과
	표준 오류	표준 오류	표준 오류
	95% 신뢰 구간	95% 신뢰 구간	95% 신뢰 구간
총 전환수	효과	효과	효과
	표준 오류	표준 오류	표준 오류
	95% 신뢰 구간	95% 신뢰 구간	95% 신뢰 구간
전환율	효과	효과	효과
	표준 오류	표준 오류	표준 오류
	95% 신뢰 구간	95% 신뢰 구간	95% 신뢰 구간
(자체 측정항목 추가)

(보고) 표 2:

실험 그룹과 대조 그룹의 측정항목에 대한 기술 통계를 보고하는 템플릿 표의 예시입니다. (20페이지에서 가져왔지만 테스터는 가장 의미가 있거나 실행 가능한 측정항목을 고려하여 필요에 따라 표를 조정해야 합니다.)

측정항목	처리 ARA 및 사용하는 서드 파티 이외의 쿠키 데이터를 사용한 전환 측정	대조군 1 서드 파티 쿠키 및 사용하는 서드 파티 이외의 쿠키 데이터를 사용한 전환 측정	대조군 2 서드 파티가 아닌 쿠키 데이터만을 사용한 전환 측정
1달러당 전환수	평균	평균	평균
	표준 편차	표준 편차	표준 편차
	25번째 및 75번째 백분위수	25번째 및 75번째 백분위수	25번째 및 75번째 백분위수
총 전환수	평균	평균	평균
	표준 편차	표준 편차	표준 편차
	25번째 및 75번째 백분위수	25번째 및 75번째 백분위수	25번째 및 75번째 백분위수
전환율	평균	평균	평균
	표준 편차	표준 편차	표준 편차
	25번째 및 75번째 백분위수	25번째 및 75번째 백분위수	25번째 및 75번째 백분위수
(자체 측정항목 추가)

목표 2 - 입찰 최적화를 위한 Attribution Reporting API의 효과 확인

입찰 최적화에 미치는 영향을 측정하기 위한 A/B 설정을 제안합니다.

• 입찰 최적화에 미치는 영향을 측정하려면 두 가지 머신러닝 모델을 학습시키고 두 가지 트래픽 슬라이스에 사용해야 합니다. 하나는 현재 측정 방법론 (서드 파티 쿠키 + 서드 파티 쿠키가 아닌 데이터)에 학습된 모델로 대조군에 적용하고, 하나는 Attribution Reporting API + 서드 파티 쿠키가 아닌 데이터에 학습된 모델로 실험군에 적용합니다.
• 모델 학습은 실험 부문이 트래픽의 일부분에 불과하고 학습 인구집단 간에 중복이 있더라도 테스터가 성능을 극대화하는 데 필요하다고 판단되는 만큼 많은 트래픽을 기반으로 해야 합니다 (예: 모든 트래픽에서 학습 중인 기존 서드 파티 쿠키 모델을 사용하고 목표 1에 사용 설정된 모든 ARA 트래픽에서 ARA 모델을 학습).
  • CMA에 결과를 제출하는 경우 서로 다른 모델을 학습하는 데 사용되는 트래픽 슬라이스에 상당한 차이가 있는지 확인합니다 (예: 서드 파티 쿠키 기반 모델이 트래픽의 100% 에서 학습되지만 ARA 기반 모델은 트래픽의 1% 에서만 학습되는 경우).
• 가능하면 실험 및 대조 입찰 모델의 학습이 동일한 기간 동안 이루어져야 합니다.
• 실험 중에 입찰 모델을 지속적으로 학습하고 업데이트해야 하는지 여부와 학습하는 경우 최대한 많은 트래픽을 사용해야 하는지 아니면 전체 실험 대상 부문과 대조 부문의 트래픽만 사용해야 하는지 여부를 고려합니다.
• 여러 모델은 A/B 실험으로 트래픽의 일치하지 않는 슬라이스에 사용해야 합니다. 실험 대상 그룹과 대조 그룹 간에 사용자를 무작위로 선택하고 할당하려면 Chrome에서 제공하는 라벨이 지정된 브라우저 그룹 (모드 A)을 사용하거나 무작위로 선택한 브라우저 세트를 사용하여 자체 실험을 실행하는 것이 좋습니다. 서드 파티 쿠키가 없으면 전환 기반 측정항목을 보고하기 어려우므로 모드 B를 사용하지 않는 것이 좋습니다.
  • Chrome에서 제공하는 브라우저 그룹은 Enterprise Chrome 사용자와 같은 일부 Chrome 인스턴스를 제외합니다. 이 경우 자체 무작위 브라우저 세트는 이러한 Chrome 인스턴스를 제외하지 않을 수 있습니다. 따라서 Chrome에서 지원하는 그룹에서 얻은 측정항목을 Chrome에서 지원하지 않는 그룹에서 얻은 측정항목과 비교하지 않도록 모드 A 그룹에서만 실험을 실행하거나 모드 A/모드 B가 아닌 그룹에서만 실험을 실행해야 합니다.
  • Chrome에서 제공하는 라벨이 지정된 브라우저 그룹을 사용하지 않는 경우 (예: 다른 트래픽에서 실험 실행):
    • 사용자의 실험 그룹과 대조군 분할이 무작위로 이루어지고 편향되지 않았는지 확인합니다. 실험 그룹 설정과 관계없이 전체 실험 대상 그룹과 통제 그룹을 비교할 수 있는지 확인하기 위해 전체 실험 대상 그룹과 통제 그룹의 특성을 평가합니다. (15항 참고)
    • 실험군과 대조군의 사용자 특성 및 캠페인 구성이 동일한지 확인합니다 (예: 실험군과 대조군 모두에서 유사한 지역 사용). (섹션 28 참고)
      • 구체적인 예로는 동일한 기여 분석 기간과 동일한 기여 분석 로직을 사용하여 유사한 전환 유형이 측정되고 있는지 확인하고, 캠페인이 유사한 잠재고객, 관심분야 그룹, 지역을 타겟팅하고 유사한 광고 문구와 광고 형식을 사용하는지 확인하는 것이 있습니다.
    • √ 전체 실험 대상 그룹과 통제 그룹의 초기 인구 규모가 입찰 및 실험에 유연성을 제공할 만큼 충분히 큽니다.
  • Chrome에서 라벨이 지정된 브라우저 그룹을 사용하는 경우 (모드 A) Chrome 브라우저 인스턴스를 그룹으로 무작위로 지정하는 작업은 Chrome에서 처리합니다. 이전과 마찬가지로 무작위로 선택한 결과가 목적에 맞게 편향되지 않고 비교 가능한 그룹인지 확인하는 것이 좋습니다.

추천 분석 포인트

• 대조 부문과 실험 부문을 정의하고 각 부문의 입찰가 최적화에 다른 머신러닝 모델을 사용하는 것이 좋습니다.
  • 대조군 1 - 현재 측정 방법 (서드 파티 쿠키 + 서드 파티 외 쿠키 데이터)으로 학습된 입찰 최적화 모델 사용
  • (선택사항) 대조군 2 - 개인 정보 보호 샌드박스 및 서드 파티 쿠키 없이 학습된 입찰 최적화 모델(서드 파티 쿠키가 아닌 데이터만 사용)을 사용합니다.
    • 일부 사이트에서는 여전히 서드 파티 쿠키를 사용할 수 있습니다. 가장 정확한 결과를 얻으려면 대조군 2 또는 실험군 방법론에서 측정에 이러한 서드 파티 쿠키를 사용하지 마세요.
  • 처치 - Attribution Reporting API 및 서드 파티가 아닌 쿠키 데이터로 학습된 입찰 최적화 모델 사용
    • 일부 사이트에서는 여전히 서드 파티 쿠키를 사용할 수 있습니다. 가장 정확한 결과를 얻으려면 대조군 2 또는 실험군 방법론에서 측정에 이러한 서드 파티 쿠키를 사용하지 마세요.

측정항목

• 비즈니스에서 결과를 측정하는 데 적합한 측정항목을 정의하고 측정항목의 의미와 측정 방법에 관한 설명을 포함합니다.
  • 예를 들어 의미 있는 측정항목은 지출 (게시자 수익)일 수 있으며, 이는 서드 파티 쿠키 지원 중단이 '노출당 수익'에 미치는 영향을 파악하기 위한 CMA의 가이드에 부합합니다. 자세한 내용은 19장을 참고하세요.
• 전환 기반 측정항목을 보고하는 경우 다변량 테스트 (하나의 실험에서 최적화 및 보고에 미치는 영향을 테스트)를 피하기 위해 각 실험 부문에 동일한 측정 방법을 사용해야 합니다. 정량적 의견의 형식을 지정하는 방법에 관한 안내는 추천 템플릿 표를 참고하세요.
• 입찰가 최적화 영향에 관한 측정항목을 수집하는 다른 방법(예: 입찰가 시뮬레이션 사용)을 고려하세요. 서드 파티 쿠키 및 ARA가 입찰 모델에 미치는 영향을 파악하는 데 유용한 시뮬레이션된 측정항목이 있나요?
• 측정항목이 이벤트 수준 보고서, 요약 보고서 또는 두 보고서의 조합을 기반으로 하는지, 디버그 보고서가 사용되었는지 지정합니다.

분석

• 노출 범위:
  • 서드 파티 쿠키와 비교하여 유사한 사용자 집단을 대상으로 측정할 수 있나요? 노출 범위가 변경되었나요 (예: 앱-웹)?
  • 나 또는 광고주가 가장 중요하게 생각하는 전환 (및 측정기준/측정항목)을 측정할 수 있나요?
• 그룹 간의 차이가 다음에 어떤 영향을 미치나요?
  • 광고주 보고(예: 보고할 수 있는 주요 전환의 비율)
  • 예를 들어 학습 및 최적화는 다양한 전환 데이터가 모델 성능에 미치는 영향을 시뮬레이션합니다.
• 기타 정성적 의견:
  • ARA는 광고주의 입찰 최적화 설정의 복잡성에 어떤 영향을 미치나요?
  • ARA는 광고주가 중요한 측정항목과 목표에 집중하는 데 도움이 되나요, 아니면 방해가 되나요?

입찰 영향에 관한 추천 템플릿 표

(입찰) 표 1:

시장 참여자가 CMA에 제출해야 하는 실험 결과의 템플릿 표 예시(18페이지에서 가져왔으나 테스터는 가장 의미 있고 실행 가능한 측정항목을 고려하여 필요에 따라 표를 조정해야 함)

	처리 그룹과 대조군 1 비교 제안된 최종 상태와 현재 상태 비교	처리 그룹과 대조군 2 비교 제안된 최종 상태를 PS API가 전혀 없는 상태와 비교합니다.	대조군 2와 대조군 1 비교 서드 파티 쿠키 유무와 PS API 유무에 따른 입찰 최적화를 비교합니다.
측정 방법론	다변수 테스트를 피하려면 서드 파티 쿠키와 서드 파티 외 쿠키 데이터를 사용하여 각 실험의 두 부문 모두에서 전환 기반 측정항목을 측정하세요.
노출당 수익	효과	효과	효과
	표준 오류	표준 오류	표준 오류
	95% 신뢰 구간	95% 신뢰 구간	95% 신뢰 구간
(자체 측정항목 추가)

(입찰) 표 2:

실험 그룹과 대조 그룹의 측정항목에 대한 기술 통계를 보고하는 템플릿 표의 예시입니다. (20페이지에서 가져왔지만 테스터는 가장 의미가 있거나 실행 가능한 측정항목을 고려하여 필요에 따라 표를 조정해야 합니다.)

	조치 ARA 및 사용하는 서드 파티 외 쿠키 데이터를 사용한 입찰 최적화	대조군 1 서드 파티 쿠키 및 사용하는 서드 파티 외 쿠키 데이터를 사용한 입찰 최적화	대조군 2 서드 파티 이외의 쿠키 데이터만을 사용한 입찰 최적화
측정 방법론	다변수 테스트를 피하려면 서드 파티 쿠키 및 서드 파티 외 쿠키 데이터를 사용하여 모든 실험군에서 전환 기반 측정항목을 측정하세요.
노출당 수익	평균	평균	평균
	표준 편차	표준 편차	표준 편차
	25번째 및 75번째 백분위수	25번째 및 75번째 백분위수	25번째 및 75번째 백분위수
(자체 측정항목 추가)

목표 3 - 집계 서비스 부하 테스트

집계 서비스 부하 테스트 프레임워크를 참고하세요.