Platforma testowania obciążenia usługi agregacji

Chętnie poznamy Twoją opinię na temat tego dokumentu, ponieważ przygotowujemy się do dodania go do naszego publicznego repozytorium wskazówek.

Zachęcamy dostawców technologii reklamowych do przeprowadzania testów obciążeniowych na 100% ruchu produkcyjnego:

1. Technologie reklamowe powinny uzyskiwać dostęp do pomiarów atrybucji konwersji za pomocą interfejsu Attribution Reporting API w przypadku raportowania.
2. Technologia reklamowa powinna podejmować decyzje projektowe przy jednoczesnym minimalizowaniu szumu (odniesienie: decyzje projektowe modelowane).
3. Podczas testowania dostawcy technologii reklamowych powinni śledzić liczbę zadań wykonywanych dziennie (np. zadań dotyczących poszczególnych reklamodawców), szacunkowy rozkład liczby zdarzeń konwersji i liczbę kluczy zbiorczych jako danych wejściowych w przypadku każdego zadania przetwarzania (patrz parametr zadania output_domain_blob_prefix w dokumentacji interfejsu Aggregation Service API) oraz szacunkową średnią liczbę zdarzeń konwersji w przypadku każdego raportu wejściowego.
4. Na potrzeby testów dostawcy technologii reklamowych powinni sprawdzić zalecany typ instancji w tabeli wskazówek dotyczących rozmiarów na podstawie oczekiwanego rozmiaru zadania (np. wolumenu raportu, rozmiaru domeny) i odpowiednio dostosować rozmiar wdrożonej usługi agregacji. Źródło: Wskazówki dotyczące określania rozmiaru usługi zagregowanej w AWS
5. Dostawcy technologii reklamowych powinni przeprowadzać zadania agregacji w przypadku testów obciążeniowych.

Cele

Te wskazówki dotyczą pomiaru atrybucji konwersji zbiorczych i zawierają kluczowe instrukcje konfiguracji przeznaczone dla dostawców technologii reklamowych, które pomogą im:

• Oszacuj oczekiwania dotyczące obciążenia w przypadku pomiaru zbiorczego przypisywania konwersji.
• Optymalizować kluczowe ustawienia i konfigurację pod kątem skuteczności i szumu na podstawie wymiarów i celów, które chcą mierzyć, oraz wielkości i segmentacji reklamodawców.

Warunek wstępny

Ten przewodnik jest przeznaczony dla osób z branży technologii reklamowych. Zanim wykonasz poniższe czynności, zapoznaj się z naszą dokumentacją dotyczącą pracy z szumem, decyzji projektowych dotyczących raportu podsumowującego i eksperymentuj z laboratorium szumu, aby uzyskać optymalną konfigurację.

Kroki

1. Początkowa strategia konfiguracji klucza agregacji

Określ, ile różnych kluczowych struktur (czyli zestawów wymiarów) potrzebujesz w zależności od rodzaju działalności i celów. Pamiętaj, że optymalizacja struktury kluczy może pomóc w zmniejszeniu szumu w raportach.

Liczba reklamodawców
Załóżmy na przykład, że masz 1000 reklamodawców.

Podobieństwa między reklamodawcami
Podobieństwa należy oceniać na podstawie liczby konwersji, względnych wartości konwersji i ogólnego zakresu charakterystyki reklamodawców. Im bardziej podobne do siebie grupy uda Ci się utworzyć, tym dokładniejsze będą wyniki (ze względu na mniejszą wariancję wartości wyjściowych), a tym samym mniejszy wpływ szumu. Więcej informacji znajdziesz w sekcji Zaawansowane zarządzanie kluczami. Na przykład platforma reklamowa może podzielić reklamodawców na segmenty według branży, wydatków i liczby konwersji w ten sposób:

• Branża (np. ubezpieczenia, biżuteria, handel detaliczny)
• Wydatki (np. <50 000 zł/kwartał, 50–150 tys. zł/kwartał, 150–250 tys. zł/kwartał).
• Liczba konwersji (niska, średnia, wysoka)

Liczba struktur kluczy zbiorczych do utworzenia
Na przykład: 27 (3 x 3 x 3): 3 branże, 3 rodzaje wydatków i 3 grupy wartości konwersji.

2. Określanie kluczowych wymiarów agregacji

Następnie określ ważne wymiary, które chcesz śledzić w przypadku wyświetleń i konwersji, aby oszacować liczbę kluczy po stronie źródła i wyzwalacza.

W przypadku każdej struktury klucza agregacji ważne wymiary, które musisz śledzić w odniesieniu do wyświetleń, pomogą Ci określić liczbę kluczy po stronie źródła. Wymiary zależą od typu reklamodawcy, np. branży, wydatków lub konwersji. Te przykłady pomogą Ci zrozumieć wymiary:

• Kluczowa struktura 1: (Branża = ubezpieczenia, wydatki = <50 000, liczba konwersji = niska)

  • O: 4 wymiary: Kampania (np. 50 możliwości), grupa reklam (np. 20 możliwości), Typ urządzenia (np. 5 możliwości), Geo (np. 50 możliwości)
    1. Możliwe kombinacje wymiarów = 50 × 20 × 5 × 50 = 250 000. Jest to liczba możliwych kombinacji wymiarowych kluczy po stronie źródła w przypadku struktury kluczy 1.
    2. Musisz zarezerwować 18 bitów (18 bitów = 262 144 możliwe kombinacje).

• Struktura klucza 2: (branża = ubezpieczenia, wydatki = <50 000 PLN, liczba konwersji = średnia)

  • O: 4 wymiary: Kampania (np. 30 możliwości), grupa reklam (np. 80 możliwości), Typ reklamy (np. 3 możliwości), Geo (np. 50 możliwości).
    1. Możliwe kombinacje wymiarów = 30 x 80 x 3 x 50 = 360 000. Jest to liczba możliwych kombinacji wymiarowych lub kluczy po stronie źródła dla struktury klucza 2.
    2. Musisz zarezerwować 19 bitów (19 bitów = 524 288 możliwych kombinacji).

• Struktura klucza 3: powtórz (podobnie zaplanuj wszystkie struktury kluczy)

W przypadku każdej struktury klucza agregacji ważne wymiary, które musisz śledzić w przypadku konwersji, pomogą Ci określić klucze po stronie wywołania. Na przykład:

• Kluczowa struktura 1: (Branża = ubezpieczenia, wydatki = <50 000, liczba konwersji = niska)

  • O: 2 wymiary: kategoria produktu (np. 100 możliwości), Typ konwersji (np. 5 możliwości)
    1. Możliwe kombinacje wymiarów = 100 x 5 = 500
    2. Musisz zarezerwować 9 bitów (9 bitów = 512 możliwych kombinacji).

• Struktura klucza 2: (branża = ubezpieczenia, wydatki = <50 000 PLN, liczba konwersji = średnia)

  • O: 3 wymiary: kategoria produktu (np. 50 możliwości), typ produktu (10 możliwości), typ konwersji (3 możliwości).
    1. Możliwe kombinacje wymiarów = 50 x 10 x 3 = 1500
    2. Musisz zarezerwować 11 bitów (11 bitów = 2048 możliwych kombinacji).

• Kluczowa struktura 3: powtórz (podobnie zaplanuj wszystkie kluczowe struktury, które masz)

Szacunki dotyczące kluczy zbiorczych

• Kluczowa struktura 1: 250 000 kluczy wyświetleń x 500 kluczy konwersji = 125 000 000 kluczy
• Struktura kluczy 2: 360 tys. kluczy wyświetleń x 1,5 tys. kluczy konwersji = 540 mln kluczy
• Kluczowa struktura 3: (podobnie zaplanuj wszystkie kluczowe struktury, które masz)
• Powtórz te czynności dla każdej struktury kluczy
• Maksymalna łączna liczba kluczy = 540 mln kluczy (we wszystkich strukturach kluczy). Musisz zarezerwować 30 bitów (30 bitów = 1,07 mld możliwych kombinacji).

Przewidywana liczba konwersji

Przewidywaną liczbę kluczy agregacji można wyjaśnić na podstawie tych przykładów:

• Klucz struktury 1: (Branża = ubezpieczenia, wydatki = <50 000, liczba konwersji = niska)
  • A: Przewiduj,że w przypadku struktury kluczowej 1 wydatki reklamodawców w ciągu najbliższego kwartału wyniosą około 500 tys. USD przy średniej cenie CPM wynoszącej 8 USD. Oczekuj,że spowoduje to 62 500 000 wyświetleń,które należy zarejestrować.
  • Przewiduj, że średni współczynnik wyświetleń do konwersji, który w przyszłym kwartale będzie stanowić kluczowa struktura 1, wyniesie 0,08%, co da 50 tys.przypisanych konwersji, które należy zarejestrować. W przypadku każdej konwersji mierz wartość zakupu i liczbę zakupów.
• Struktura klucza 2: (Branża = ubezpieczenia, wydatki =<50 000, liczba konwersji = średnia)
  • O: Przewiduj, że w przypadku kluczowego słowa 2 wydasz w ciągu najbliższego kwartału około 800 tys. zł, co da średnią cenę CPM w wysokości 10 zł. Spodziewaj się,że spowoduje to 80 000 000 wyświetleń,które należy zarejestrować.
  • Przewiduj, że średni współczynnik wyświetleń do konwersji, który będzie stanowić klucz 2 w ciągu następnego kwartału, wyniesie 0,03125%, co da 25 000 przypisanych konwersji, które należy zarejestrować. W przypadku każdej konwersji mierz wartość zakupu i liczbę zakupów.
• Powtórz te czynności dla każdej struktury kluczy

Częstotliwość dostarczania raportów i grupowania (grupa na reklamodawcę)**

W przypadku każdej struktury klucza agregacji musisz otrzymywać raporty o konwersjach w sposób cykliczny. Zalecamy, aby dostawcy technologii reklamowych grupowali dane według reklamodawcy (aby uzyskać wyraźniejsze rozdzielenie danych w poszczególnych raportach i wydajniejsze agregowanie) i używali do tego pola shared_info.scheduled_report_time w raporcie.

• A: Co godzinę
• B: Codziennie
• C: Tygodniowo

Uwagi

• W przypadku grupowania według reklamodawcy sprawdź umowy SLA z reklamodawcami.

• Częstsze przetwarzanie wsadowe będzie wiązać się z większym szumem w każdej partii. (Patrz: Decyzja: częstotliwość przetwarzania wsadowego).

• Aby uniknąć błędów spowodowanych nieprawidłowym grupowaniem, upewnij się, że wsady używają pola scheduled_report_time, a nie report arrival time. Przykład: jeśli wysyłasz raporty zbiorcze co godzinę, raport zbiorczy za 11:00 powinien zawierać tylko raporty z wartością scheduled_report_time między 10:00 a 11:00, a nie raporty, które dotarły między 10:00 a 11:00 z inną wartością scheduled_report_time (np. 9:00).

Szacunki dotyczące liczby raportów

• Kluczowa struktura 1: 50 000 przypisanych konwersji / 2160 (raportowanie godzinowe, godziny w kwartale) = 24 raporty podsumowujące na godzinę na reklamodawcę (24 x 1000 reklamodawców = 24 tys. raportów podsumowujących)
• Kluczowa struktura 2: 25 000 przypisanych konwersji / 2160 (raportowanie godzinowe, godziny w kwartale) = 12 raportów podsumowujących na godzinę na reklamodawcę (12 x 1000 reklamodawców = 12 tys. raportów podsumowujących)
• Struktura klucza 3. Powtórz
• Łączna liczba raportów podsumowujących na godzinę = 24 raporty podsumowujące dotyczące struktury klucza 1 + 12 raportów podsumowujących dotyczących struktury klucza 2 + … = … na godzinę na reklamodawcę

Podsumowanie opinii

Znajomość tych szacunków od dostawców technologii reklamowych pomaga nam planować funkcje i ulepszenia, które będą obsługiwać skalę wymaganą przez dostawców technologii reklamowych. Zalecamy udostępnienie nam tych informacji. Więcej informacji znajdziesz w wskazówkach dotyczących określania rozmiaru usługi Aggregation Service w AWS:

• Maksymalna liczba kluczy domeny wejściowej (kluczy do agregacji) na zadanie usługi do agregacji
• Maksymalna liczba raportów wejściowych na zadanie (przypisane konwersje)
• Szacunkowy udział w raporcie (klucze/pary klucz-wartość w raporcie)
• Szacowany rozkład przypisanych konwersji według zadań
• Szacowany rozkład kluczy domeny w zadaniu
• Szacunkowa liczba zadań na godzinę/dzień/tydzień