집계 서비스 부하 테스트 프레임워크

이 문서를 공개 가이드 저장소에 추가할 예정이므로 문서에 관한 의견을 보내주세요.

광고 기술은 프로덕션 트래픽의 100% 에 부하 테스트를 실행하는 것이 좋습니다.

  1. 광고 기술은 Attribution Reporting API를 보고 사용 사례로 사용하여 전환 기여 분석 측정에 액세스해야 합니다.
  2. 광고 기술은 노이즈를 최소화하면서 설계 결정을 내려야 합니다(참고: 모델링된 설계 결정).
  3. 테스트하는 동안 광고 기술은 일일 실행 작업 수 (예: 광고주별 작업 수), 전환 이벤트 볼륨의 예상 분포, 처리 작업당 입력으로서의 집계 키 수 (집계 서비스 API 문서의 output_domain_blob_prefix 작업 매개변수 참고), 입력 보고서당 예상 평균 전환 이벤트 수를 추적해야 합니다.
  4. 테스트의 경우 광고 기술은 예상 작업 크기 (예: 보고서 양, 도메인 크기)에 따라 크기 조정 안내 표에서 권장 인스턴스 유형을 조회하고 배포된 집계 서비스를 적절하게 조정해야 합니다. 참조: AWS의 집계된 서비스 크기 조정 가이드
  5. 광고 기술은 부하 테스트를 위해 집계 작업을 실행해야 합니다.

목표

이 안내는 집계 전환 기여 분석 측정에 관한 안내이며 광고 기술에서 다음과 같은 작업을 위해 사용할 수 있는 주요 설정 및 구성 안내를 포함합니다.

  • 집계된 전환 기여 분석 측정의 부하 예상치를 추정합니다.
  • 측정하려는 측정기준 및 목표, 광고주의 규모 및 세분화를 기반으로 실적 및 노이즈에 맞게 주요 설정 및 구성을 최적화합니다.

기본 요건

이 가이드는 광고 기술 관련 사용자를 대상으로 합니다. 다음 단계를 진행하기 전에 노이즈 작업, 요약 보고서 설계 결정에 관한 문서를 검토하고 최적의 구성을 위해 노이즈 실험실을 실험해 보세요.

단계

1. 초기 집계 키 설정 전략

비즈니스 유형 및 목표에 따라 필요한 다양한 키 구조(즉, 측정기준 집합)의 수를 결정합니다. 키 구조를 최적화하면 보고서의 노이즈를 줄일 수 있습니다.

광고주 수
예를 들어 광고주가 1,000명 있다고 가정해 보겠습니다.

광고주 간의 유사성
유사성은 전환수, 상대 전환 가치, 광고주 특성의 일반적인 노출 범위를 기준으로 평가해야 합니다. 그룹화할 수 있는 유사성이 높을수록 출력 값의 변동이 적어 결과가 더 미세하게 조정되므로 노이즈의 영향이 줄어듭니다. 자세한 내용은 고급 키 관리를 참고하세요. 예를 들어 광고 기술은 다음과 같이 광고주를 업종, 지출, 전환수로 분류할 수 있습니다.

  • 업계 (예: 보험, 주얼리, 성장형 소매업)
  • 지출 (예: 분기당 미만 50,000달러, 분기당 50,000~150,000달러, 분기당 150,000~250,000달러)
  • 전환수 (낮음, 중간, 높음)

생성할 집계 키 구조 수
예: 27 (3x3x3): 3개의 업종, 3개의 지출 유형, 3개의 전환 가치 그룹

2. 집계 키 측정기준 식별

그런 다음 노출 및 전환 모두에서 추적하려는 중요한 측정기준을 파악하여 소스 측면 키와 트리거 측면 키의 수를 추정합니다.

각 집계 키 구조의 경우 노출수를 추적해야 하는 중요한 측정기준을 사용하면 소스 측 키 수를 결정하는 데 도움이 됩니다. 측정기준은 업종, 지출, 전환과 같은 광고주 유형에 따라 달라집니다. 다음 예는 측정기준을 설명하는 데 도움이 됩니다.

  • 주요 구조 1: (업계 = 보험, 지출 = 50,000원 미만, 전환수 = 낮음)

    • A: 4가지 측정기준: 캠페인 (예: 50개), 광고 그룹 (예: 20가지 가능성), 기기 유형(예: 5가지 가능성), 지역 (예: 50가지 가능성)
      1. 가능한 크기 조합 = 50 x 20 x 5 x 50 = 250,000. 키 구조 1의 소스 측 키에 가능한 측정기준 조합의 수를 나타냅니다.
      2. 18비트를 예약해야 합니다 (18비트 = 가능한 조합 262,144개).
  • 키 구조 2: (업계 = 보험, 지출 = 50,000원 미만, 전환수 = 중간)

    • A: 4가지 측정기준: 캠페인 (예: 30가지), 광고 그룹 (예: 80가지), 광고 유형 (예: 3가지 가능성), 지역 (예: 50가지 가능성)
      1. 가능한 크기 조합 = 30 x 80 x 3 x 50 = 360,000. 키 구조 2의 가능한 측정기준 조합 또는 소스 측 키 수를 나타냅니다.
      2. 19비트 (19비트) = 가능한 조합 524,288개를 예약해야 합니다.
  • 키 구조 3: 반복 (보유한 모든 키 구조에 대해 유사하게 계획)

각 집계 키 구조의 경우 전환을 추적하는 데 필요한 중요한 측정기준을 사용하면 트리거 측면 키를 결정하는 데 도움이 됩니다. 예를 들면 다음과 같습니다.

  • 주요 구조 1: (업계 = 보험, 지출 = 50,000원 미만, 전환수 = 낮음)

    • A: 2개의 측정기준: 제품 카테고리 (예: 100가지), 전환 유형 (예: 5가지 가능성)
      1. 가능한 크기 조합 = 100 x 5 = 500
      2. 9비트를 예약해야 합니다 (9비트 = 가능한 조합 512개).
  • 키 구조 2: (업계 = 보험, 지출 = 50,000원 미만, 전환수 = 중간)

    • A: 3가지 측정기준: 제품 카테고리 (예: 50가지), 제품 유형 (10가지), 전환 유형 (3가지)
      1. 가능한 크기 조합 = 50x10x3 = 1,500
      2. 11비트를 예약해야 합니다 (11비트 = 가능한 조합 2,048개).
  • 키 구조 3: 반복 (보유한 모든 키 구조에 대해 유사하게 계획)

집계 키의 추정치

  • 키 구조 1: 노출 키 250,000개 x 전환 키 500개 = 키 125,000,000개
  • 키 구조 2: 노출 키 360,000개 x 전환 키 1,500개 = 키 540,000,000개
  • 키 구조 3: (사용 중인 모든 키 구조에 대해 유사하게 계획)
  • 키 구조마다 반복
  • 최대 집계 키 = 540,000,000개 키 (모든 키 구조에 걸쳐) 30비트를 예약해야 합니다 (30비트 = 가능한 조합 10억 7,000만 개).

예상 전환수

각 집계 키 구조의 예상 볼륨은 다음 예를 사용하여 설명할 수 있습니다.

  • 주요 구조 1: (업계 = 보험, 지출 = 50,000원 미만, 전환수 = 낮음)
    • A: 키 구조 1이 다음 분기에 평균 CPM 가격 8달러에 약 50만 달러의 광고주 지출을 차지할 것으로 예상됩니다. 이로 인해 등록해야 할 노출수가 62,500,000개가 될 것으로 예상됩니다.
    • 키 구조 1이 다음 분기에 구성할 평균 노출당 전환율은 0.08%이며, 이로 인해 포착해야 할 기여도 부여 전환 50,000개가 발생할 것으로 예상됩니다. 각 전환에 대해 구매 가치와 구매 수를 측정합니다.
  • 키 구조 2: (업계 = 보험, 지출 = 50,000원 미만, 전환수 = 중간)
    • A: 키 2는 다음 분기에 평균 CPM 가격 10달러에 약 80만 달러의 지출을 차지할 것으로 예상됩니다. 이로 인해 등록해야 할 노출수가 80,000,000개가 될 것으로 예상됩니다.
    • 다음 분기에 키 2가 구성할 평균 노출당 전환율은 0.03125%이며, 이로 인해 기여도 부여 전환 25,000회를 추적해야 합니다. 각 전환에 대해 구매 가치와 구매 수를 측정합니다.
  • 키 구조마다 반복

보고 전송 및 일괄 처리 빈도 (광고주별 일괄 처리)**

각 집계 키 구조에 대해 반복적으로 전송되는 전환 보고서가 필요합니다. 광고 기술은 보고서당 데이터를 더 명확하게 구분하고 더 효율적으로 집계할 수 있도록 광고주별로 일괄 처리하고 일괄 처리에 보고서의 shared_info.scheduled_report_time 필드를 사용하는 것이 좋습니다.

  • A: 시간별
  • B: 매일
  • C: 주간

참고

  • 광고주별 일괄 처리의 경우 광고주와 SLA를 확인합니다.
  • 일괄 처리 빈도가 높을수록 일괄 처리당 노이즈가 더 많이 포함됩니다. (참고: 결정: 일괄 빈도)

  • 잘못된 일괄 처리로 인한 오류를 방지하려면 일괄 처리에서 report arrival time가 아닌 scheduled_report_time 필드를 사용해야 합니다. 예를 들어 매시간 일괄 처리하는 경우 오전 11시의 일괄 처리에는 오전 10시에서 오전 11시 사이에 scheduled_report_time가 포함된 보고서만 포함되어야 하며, 오전 10시에서 오전 11시 사이에 다른 scheduled_report_time가 포함된 보고서는 포함되어서는 안 됩니다 (예: 9시)

신고 건수 추정치

  • 주요 구조 1: 기여도가 부여된 전환수 50,000개 / 2160 (시간별 보고, 분기의 시간) = 광고주당 시간당 요약 보고서 24개 (광고주 1,000개 x 24 = 요약 보고서 24,000개)
  • 주요 구조 2: 기여도가 부여된 전환수 25,000개 / 2,160개 (시간별 보고, 분기의 시간) = 광고주당 시간당 요약 보고서 12개 (광고주 1,000개 x 12개 = 요약 보고서 12,000개)
  • 키 구조 3: 반복
  • 시간당 총 요약 보고서 수 = 키 구조 1의 요약 보고서 24개 + 키 구조 2의 요약 보고서 12개 + ... = 광고주당 시간당...

의견 요약

광고 기술의 다음 추정치를 이해하면 광고 기술에 필요한 규모를 지원하기 위한 기능과 개선사항을 계획하는 데 도움이 됩니다. 다음 정보를 공유해 주시기 바랍니다. 자세한 내용은 AWS의 집계 서비스 크기 조정 가이드를 참고하세요.

  • 집계 서비스 작업당 최대 입력 도메인 키 (집계할 키)
  • 작업당 최대 입력 보고서 양 (기여도 부여 전환)
  • 보고서당 예상 기여도 (보고서의 키/값 쌍)
  • 작업별 기여도 전환의 예상 분포
  • 작업의 도메인 키 예상 분포
  • 시간/일/주당 예상 작업 수