집계 서비스 부하 테스트 프레임워크

이 문서를 공개 가이드 저장소에 추가할 예정이므로 의견을 보내주시기 바랍니다.

광고 기술은 프로덕션 트래픽의 100% 에 대해 부하 테스트를 실행하는 것이 좋습니다.

광고 기술은 Attribution Reporting API를 보고 사용 사례로 사용하여 전환 기여 분석 측정에 액세스해야 합니다.
광고 기술은 노이즈를 최소화하면서 설계 결정을 내려야 합니다(참조: 모델링된 설계 결정).
테스트하는 동안 광고 기술은 하루에 실행하는 작업 수 (예: 광고주별 작업), 전환 이벤트 볼륨의 예상 분포, 처리 작업당 입력으로 사용되는 집계 키 수 (집계 서비스 API 문서의 output_domain_blob_prefix 작업 매개변수 참고), 입력 보고서당 예상 평균 전환 이벤트를 추적해야 합니다.
테스트를 위해 광고 기술은 예상 작업 크기 (예: 보고서 볼륨, 도메인 크기)를 기반으로 크기 조정 가이드 표에서 권장 인스턴스 유형을 조회하고 이에 따라 배포된 집계 서비스의 크기를 조정해야 합니다. 참조: AWS의 집계 서비스 크기 조정 가이드
광고 기술은 부하 테스트를 위해 집계 작업을 실행해야 합니다.

목표

이 안내는 집계 전환 기여도 측정에 관한 것으로, 광고 기술이 다음을 수행하는 데 사용할 수 있는 주요 설정 및 구성 안내가 포함됩니다.

집계 전환 기여 분석 측정의 부하 예상치를 추정합니다.
측정하려는 측정기준과 목표, 광고주의 규모와 세분화에 따라 실적과 노이즈를 위해 주요 설정과 구성을 최적화합니다.

기본 요건

이 가이드는 광고 기술 잠재고객을 대상으로 합니다. 다음 단계를 진행하기 전에 노이즈 작업, 요약 보고서 설계 결정에 관한 문서를 검토하고 노이즈 실험실을 실험하여 최적의 구성을 확인해야 합니다.

단계

1. 초기 집계 키 설정 전략

비즈니스 유형과 목표에 따라 필요한 다양한 키 구조(즉, 측정기준 집합)의 수를 결정합니다. 키 구조를 최적화하면 보고서의 노이즈를 줄일 수 있습니다.

광고주 수
예를 들어 광고주가 1,000명이라고 가정해 보겠습니다.

광고주 간 유사성
유사성은 전환수, 상대적 전환 가치, 광고주 특성의 일반적인 적용 범위를 기준으로 평가해야 합니다. 더 유사하게 그룹화할수록 출력 값의 변동이 적어지므로 결과가 더 세밀하게 조정되고 노이즈의 영향이 줄어듭니다. 자세한 내용은 고급 키 관리를 참고하세요. 예를 들어 광고 기술은 다음과 같이 업계, 지출, 전환량별로 광고주를 분류할 수 있습니다.

업계 (예: 보험, 주얼리, 성장 소매)
지출 (예: 분기당 50,000달러 미만, 분기당 50,000~150,000달러, 분기당 150,000~250,000달러)
전환수 (낮음, 보통, 높음)

생성할 집계 키 구조의 수
예를 들어 27 (3x3x3)은 업종 3개, 지출 유형 3개, 전환 가치 그룹화 3개를 의미합니다.

2. 집계 키 측정기준 식별

다음으로 소스 및 트리거 측 키의 수를 추정하기 위해 노출과 전환 모두에 대해 추적할 중요한 측정기준을 식별합니다.

각 집계 키 구조에서 노출수에 대해 추적해야 하는 중요한 측정기준을 통해 소스 측 키의 수를 결정할 수 있습니다. 측정기준은 업종, 지출, 전환과 같은 광고주 유형에 따라 달라집니다. 다음 예는 측정기준을 설명하는 데 도움이 됩니다.

주요 구조 1: (업계 = 보험, 지출 = 50,000 미만, 전환수 = 낮음)
- A: 4개 측정기준: 캠페인 (예: 50가지 가능성), 광고 그룹 (예: 20가지 가능성), 기기 유형(예: 5가지 가능성), 지역 (예: 50가지 가능성)
  1. 가능한 측정기준 조합 = 50 x 20 x 5 x 50 = 250,000 이는 키 구조 1의 소스 측 키에 가능한 차원 조합의 수를 나타냅니다.
  2. 18비트 (18비트 = 262,144개의 가능한 조합)를 예약해야 합니다.
키 구조 2: (업계 = 보험, 지출 = 50,000 미만, 전환수 = 중간)
- A: 4개 측정기준: 캠페인 (예: 30가지 가능성), 광고 그룹 (예: 80가지), 광고 유형 (예: 3가지 가능성), 지역 (예: 50가지 가능성이 있습니다.
  1. 가능한 차원 조합 = 30 x 80 x 3 x 50 = 360,000 이는 키 구조 2의 가능한 차원 조합 또는 소스 측 키 수를 나타냅니다.
  2. 19비트 (19비트 = 524,288가지 조합)를 예약해야 합니다.
주요 구조 3: 반복 (보유한 모든 주요 구조에 대해 유사하게 계획)

각 집계 키 구조에서 전환에 대해 추적해야 하는 중요한 측정기준은 트리거 측 키를 결정하는 데 도움이 됩니다. 예를 들면 다음과 같습니다.

주요 구조 1: (업계 = 보험, 지출 = 50,000 미만, 전환수 = 낮음)
- A: 2개의 측정기준: 제품 카테고리 (예: 가능성), 전환 유형 (예: 5가지 가능성)
  1. 가능한 크기 조합 = 100 x 5 = 500
  2. 9비트 (9비트 = 512개의 가능한 조합)를 예약해야 합니다.
키 구조 2: (업계 = 보험, 지출 = 50,000 미만, 전환수 = 중간)
- A: 3가지 측정기준: 제품 카테고리 (예: 50가지 가능성), 제품 유형 (10가지 가능성), 전환 유형 (3가지 가능성)
  1. 가능한 크기 조합 = 50 x 10 x 3 = 1,500
  2. 11비트 (11비트 = 2,048개의 가능한 조합)를 예약해야 합니다.
주요 구조 3: 반복 (보유한 모든 주요 구조에 대해 유사하게 계획)

집계 키 추정치

키 구조 1: 250,000개의 노출 키 x 500개의 전환 키 = 125,000,000개의 키
키 구조 2: 360,000개의 노출 키 x 1,500개의 전환 키 = 540,000,000개의 키
주요 구조 3: (마찬가지로 보유한 모든 주요 구조에 대해 계획)
각 키 구조에 대해 반복
최대 집계 키 = 540,000,000개 키 (모든 키 구조에 걸쳐) 30비트 예약 필요 (30비트 = 10억 7천만 개의 조합 가능)

예상 전환수

각 집계 키 구조의 예상 볼륨은 다음 예시를 사용하여 설명할 수 있습니다.

주요 구조 1: (업종 = 보험, 지출 = 50,000 미만, 전환수 = 낮음)
- A: 핵심 구조 1이 다음 분기에 평균 8달러의 CPM 가격으로 약 500,000달러의 광고주 지출을 구성할 것으로 예상됩니다. 이로 인해 등록해야 하는 노출수가 62,500,000회 발생할 것으로 예상됩니다.
- 다음 분기에 Key Structure 1의 평균 노출 대비 전환율이 0.08%가 될 것으로 예상되므로 50,000건의 기여 전환을 포착해야 합니다. 각 전환에 대해 구매 가치와 구매 수를 측정합니다.
주요 구조 2: (업계 = 보험, 지출 = 50,000 미만, 전환수 = 중간)
- A: 다음 분기에 Key 2에 약 800,000달러를 지출할 것으로 예상되며 평균 CPM 가격은 10달러입니다. 등록해야 하는 노출수가 80,000,000회에 달할 것으로 예상됩니다.
- 다음 분기에 Key 2의 평균 노출 대비 전환율이 0.03125%가 될 것으로 예상되므로 25,000개의 기여 전환을 포착해야 합니다. 각 전환에 대해 구매 가치와 구매 수를 측정합니다.
각 키 구조에 대해 반복

보고 게재 및 일괄 처리 빈도 (광고주별 일괄 처리)**

각 집계 키 구조에는 반복적으로 제공되는 전환 보고서가 필요합니다. 광고 기술은 광고주별로 일괄 처리 (보고서별 데이터의 더 명확한 분리 및 더 효율적인 집계를 위해)하고 일괄 처리를 위해 보고서의 shared_info.scheduled_report_time 필드를 사용하는 것이 좋습니다.

A: 시간별
B: 일일
C: 주간

참고

광고주별 일괄 처리를 위해 광고주와 SLA를 확인합니다.
배치 빈도가 높을수록 배치당 노이즈가 더 많이 포함됩니다. (참고: 결정: 배치 빈도)
잘못된 일괄 처리로 인한 오류를 방지하려면 일괄 처리에서 report arrival time이 아닌 scheduled_report_time 필드를 사용해야 합니다. 예를 들어 매시간 일괄 처리하는 경우 오전 11시의 일괄 처리에는 오전 10시에서 오전 11시 사이에 scheduled_report_time가 있는 보고서만 포함되어야 하며 오전 10시에서 오전 11시 사이에 도착한 다른 scheduled_report_time가 있는 보고서는 포함되지 않아야 합니다 (예: 오전 9시)

신고량 추정치

주요 구조 1: 기여 전환수 50,000개 / 2,160 (시간별 보고, 분기별 시간) = 광고주당 시간당 요약 보고서 24개 (24 x 광고주 1,000명 = 요약 보고서 24,000개)
주요 구조 2: 25,000개의 기여 전환수 / 2160 (시간별 보고, 분기별 시간) = 광고주당 시간당 12개의 요약 보고서 (12 x 1,000명의 광고주 = 12,000개의 요약 보고서)
핵심 구조 3: 반복
시간당 요약 보고서 총수 = 주요 구조 1의 요약 보고서 24개 + 주요 구조 2의 요약 보고서 12개 + ... = 광고주당 시간당... 개

피드백 요약

광고 기술에서 제공하는 다음 추정치를 이해하면 광고 기술에 필요한 규모를 지원하는 기능과 개선사항을 계획하는 데 도움이 됩니다. 다음 정보를 공유해 주시기 바랍니다. 자세한 내용은 AWS의 집계 서비스 크기 조정 가이드를 참고하세요.

집계 서비스 작업당 최대 입력 도메인 키 (집계할 키)
작업당 최대 입력 보고서 수 (기여 전환)
보고서별 예상 기여도 (보고서의 키/값 쌍)
작업별 기여 전환의 예상 분포
작업의 도메인 키 예상 분포
시간당/일별/주별 예상 작업 수