Przewodnik dotyczący testowania pomiarów

Celem tego przewodnika jest udzielenie wskazówek dotyczących przeprowadzania samodzielnego testu interfejsu Attribution Reporting API w Piaskownicy prywatności. Więcej informacji znajdziesz w sekcji 12.

• Pomiar wyników w grupach kontrolnych i eksperymentalnych w przypadku projektów eksperymentalnych 1 i 2 Urzędu ds. Konkurencji i Rynków (CMA) jest opisany w wytycznych dotyczących testowania interfejsów Relevance API, ponieważ celem tych eksperymentów jest sprawdzenie skuteczności korzystania z interfejsów Protected Audience API i Topics API. Więcej informacji znajdziesz w sekcji 11.

Zanim zaczniesz

• Zapoznaj się z wskazówkami dotyczącymi konfigurowania i ustawiania interfejsu Attribution Reporting API.
• Zapoznaj się z wytycznymi CMA dotyczącymi testowania: Uwaga dotycząca eksperymentów (listopad 2022 r.), Wytyczne dotyczące testowania (czerwiec 2023 r.) i Dodatkowe wytyczne dotyczące testowania (październik 2023 r.).

Cele oceny i proponowana konfiguracja eksperymentu

Cel 1. Określenie skuteczności interfejsu Attribution Reporting API w zakresie raportowania

Proponujemy konfigurację A/A, aby zmierzyć wpływ na raportowanie.

• Ta propozycja jest zgodna z wytycznymi CMA dotyczącymi oceny danych opartych na konwersjach. Więcej informacji znajdziesz w sekcji 21 i sekcji 12.
• Wolimy tę metodę od Trybu A/B, ponieważ testowanie interfejsu Attribution Reporting API (ARA) można przeprowadzić, mierząc jednocześnie konwersje w tym samym zestawie wyświetleń za pomocą 2 różnych metod pomiaru (pliki cookie innych firm + dane niepochodzące z plików cookie innych firm oraz ARA + dane niepochodzące z plików cookie innych firm).
• Eksperyment A/A izoluje też wpływ interfejsu Attribution Reporting API na pomiar konwersji (np. zapobiega zmianom współczynników konwersji z powodu braku plików cookie innych firm).

Sugerowane punkty analizy

• Wybierz część ruchu, która jest wystarczająco duża, aby uzyskać istotne statystycznie wyniki, i która obejmuje zarówno pliki cookie innych firm, jak i interfejsy API Piaskownicy prywatności. Najlepiej, aby był to cały ruch z wyjątkiem trybu B (w którym wyłączone są pliki cookie innych firm).
  • Zalecamy wykluczenie trybu B z eksperymentu A/A, ponieważ pliki cookie innych firm nie będą dostępne i nie będzie można porównać wyników ARA z wynikami atrybucji opartej na plikach cookie innych firm.
  • Jeśli chcesz uwzględnić tryb B, włącz raporty debugowania dla części ruchu w trybie B. Raporty debugowania pomogą Ci rozwiązać problemy z konfiguracją lub implementacją.
• Jeśli planujesz przeprowadzić test na mniejszej części ruchu, spodziewaj się wyników pomiarów z większą ilością szumu niż oczekiwano. Zalecamy, aby w analizie podać, jaka część ruchu została użyta, oraz czy wyniki są oparte na raportach z szumem, czy na raportach debugowania bez szumu.
  • W przypadku raportów podsumowujących wartości podsumowujące będą prawdopodobnie niższe, a usługa do agregacji doda szum z tego samego rozkładu niezależnie od wartości podsumowującej.
• Testuj różne metodologie pomiarowe na tym wycinku ruchu.
  • Grupa kontrolna 1 – korzystanie z obecnych metod pomiaru (dane z plików cookie innych firm i plików cookie innych niż pliki cookie innych firm)
  • (opcjonalnie) Grupa kontrolna 2 – bez Piaskownicy prywatności i bez plików cookie innych firm, czyli tylko dane z plików cookie innych niż te należące do innych firm.
    • Pamiętaj, że niektóre witryny mogą nadal mieć dostęp do plików cookie innych firm. Aby uzyskać najdokładniejsze wyniki, nie używaj tych plików cookie do pomiarów w metodach grupy kontrolnej 2 ani grupy eksperymentalnej.
  • Grupa eksperymentalna – dane z interfejsów API Piaskownicy prywatności i plików cookie innych niż pliki cookie innych firm
    • Pamiętaj, że niektóre witryny mogą nadal mieć dostęp do plików cookie innych firm. Aby uzyskać najdokładniejsze wyniki, nie używaj tych plików cookie do pomiarów w metodach grupy kontrolnej 2 ani grupy eksperymentalnej.

Dane

• Określ, które dane mają sens w przypadku Twojej firmy, aby mierzyć wyniki, i dodaj opis, co oznaczają te dane i jak są mierzone.
  • Sugerujemy skupienie się na wymiarach i danych, które są ważne dla Twoich reklamodawców. Jeśli np. reklamodawcy koncentrują się na konwersjach polegających na zakupie, mierz liczbę tych konwersji i wartość zakupu.
• Dane oparte na liczbie lub sumie (np. współczynnik konwersji) są bardziej odpowiednie niż dane oparte na koszcie (np. koszt konwersji). W przypadku analizy A/A dane o kosztach można w pełni wyliczyć na podstawie liczby lub sumy wartości konwersji.
• Określ, czy dane pochodzą z raportów na poziomie zdarzenia, raportów podsumowujących czy z obu tych rodzajów raportów (i czy użyto raportów debugowania).
• W tabelach z sugerowanymi szablonami znajdziesz wskazówki dotyczące formatowania opinii ilościowych.

Analiza

• Pokrycie:
  • Czy możesz prowadzić pomiary w przypadku podobnego zestawu użytkowników jak w przypadku plików cookie innych firm? Czy widzisz większy zasięg (np. w przypadku przejścia z aplikacji do witryny)?
  • Czy możesz mierzyć konwersje (oraz wymiary lub dane), które są najważniejsze dla Ciebie lub Twoich reklamodawców?
• Opinia ilościowa
  • Na przykład w przypadku raportowania reklamodawcy jaki odsetek kluczowych konwersji możesz zgłosić w jego imieniu lub jaki odsetek kampanii spełnia kryteria jakości raportowania (ustalenie kryteriów jakości pomaga dostosować raportowanie do kampanii z niewielką liczbą konwersji).
  • Czy w przypadku niektórych reklamodawców zależność od plików cookie innych firm w zakresie raportowania jest większa lub mniejsza?
• Inne uwagi jakościowe:
  • Jak ARA wpływa na złożoność konfiguracji pomiarów i atrybucji reklamodawców?
  • Czy ARA pomaga reklamodawcom skupiać się na danych i celach, które są dla nich ważne, czy im to utrudnia?

Sugerowane tabele szablonów do raportowania wpływu

(Tabela raportowania) Tabela 1:

Przykładowa tabela szablonu do raportowania wyników eksperymentu do CMA (pochodzi ze strony 18, ale testerzy powinni zastanowić się, które dane są najbardziej istotne lub możliwe do podania, i w razie potrzeby dostosować tabelę).

(Raportowanie) Tabela 2:

Przykładowa tabela szablonu do raportowania statystyk opisowych dotyczących danych w grupie eksperymentalnej i kontrolnej (pochodzi ze strony 20, ale testerzy powinni zastanowić się, które dane są najbardziej przydatne lub możliwe do podania, i w razie potrzeby dostosować tabelę).

Cel 2. Określenie skuteczności interfejsu Attribution Reporting API w optymalizacji stawek

Proponujemy konfigurację testu A/B, aby zmierzyć wpływ na optymalizację określania stawek.

• Aby zmierzyć wpływ na optymalizację stawek, musisz wytrenować 2 różne modele uczenia maszynowego i użyć ich w przypadku 2 części ruchu – jeden model wytrenowany na podstawie obecnych metod pomiarowych (pliki cookie innych firm + dane inne niż pliki cookie innych firm) do zastosowania w grupie kontrolnej, a drugi model wytrenowany na podstawie interfejsu Attribution Reporting API + dane inne niż pliki cookie innych firm do zastosowania w grupie eksperymentalnej.
• Trenowanie modelu powinno opierać się na tak dużym ruchu, jaki tester uzna za niezbędny do zmaksymalizowania skuteczności, nawet jeśli grupa eksperymentalna obejmuje mniejszą część ruchu i występuje nakładanie się populacji trenujących (np. użyj istniejącego modelu opartego na plikach cookie innych firm, który trenuje na całym ruchu, i wytrenuj model ARA na całym ruchu ARA włączonym dla celu 1).
  • Jeśli przesyłasz wyniki do CMA, zaznacz, czy występuje znacząca różnica między segmentami ruchu używanymi do trenowania różnych modeli (np. czy modele oparte na plikach cookie innych firm są trenowane na 100% ruchu, a modele oparte na ARA – tylko na 1% ruchu).
• W miarę możliwości trenowanie modeli określania stawek w przypadku kampanii eksperymentalnej i kontrolnej powinno trwać tyle samo czasu.
• Zastanów się, czy w trakcie eksperymentu należy stale trenować i aktualizować modele określania stawek, a jeśli tak, to czy trenować je na podstawie jak największego ruchu, czy tylko na podstawie ruchu z grup eksperymentalnej i kontrolnej.
• Różne modele należy stosować w przypadku rozłącznych fragmentów ruchu w ramach eksperymentu A/B. Do randomizacji użytkowników i przypisywania ich do grup eksperymentalnych i kontrolnych zalecamy używanie grup przeglądarek z etykietami obsługiwanych przez Chrome (tryb A) lub przeprowadzanie własnych eksperymentów z losowymi zestawami przeglądarek. Nie zalecamy używania trybu B, ponieważ brak plików cookie innych firm utrudni raportowanie danych opartych na konwersjach.
  • Grupy przeglądarek utworzone przy użyciu Chrome będą wykluczać niektóre instancje Chrome, np. użytkowników Chrome Enterprise, podczas gdy Twoje własne losowe zestawy przeglądarek mogą nie wykluczać tych instancji Chrome. Dlatego eksperyment należy przeprowadzać tylko w grupach w trybie A lub tylko w grupach w trybie innym niż A/B, aby uniknąć porównywania danych uzyskanych w grupach obsługiwanych przez Chrome z danymi uzyskanymi w grupach nieobsługiwanych przez Chrome.
  • Jeśli nie używasz grup przeglądarek z etykietami utworzonych w Chrome (np. prowadzisz eksperyment na innym ruchu):
    • Sprawdź, czy podział użytkowników na grupy eksperymentalną i kontrolną jest losowy i nieobciążony. Niezależnie od konfiguracji grupy eksperymentalnej oceń charakterystykę grup eksperymentalnej i kontrolnej, aby sprawdzić, czy są one porównywalne. (Patrz: sekcja 15)
    • Sprawdź, czy charakterystyka użytkowników i konfiguracje kampanii w grupach eksperymentalnej i kontrolnej są takie same (np. używaj podobnych lokalizacji geograficznych w obu grupach). (Patrz: sekcja 28).
      • Przykłady: sprawdź, czy podobne typy konwersji są mierzone przy użyciu tego samego okresu atrybucji i tej samej logiki atrybucji, czy kampanie są kierowane na podobnych odbiorców, grupy zainteresowań i obszary geograficzne oraz czy używają podobnych tekstów reklam i formatów reklam.
    • √ początkowe rozmiary populacji w grupach eksperymentalnej i kontrolnej są wystarczająco duże, aby zapewnić elastyczność określania stawek i przeprowadzania eksperymentów;
  • Jeśli używasz grup przeglądarek z etykietami obsługiwanych przez Chrome (tryb A), losowe przypisywanie instancji przeglądarki Chrome do grup jest obsługiwane przez Chrome. Zalecamy sprawdzenie, czy randomizacja zapewnia nieobciążone lub porównywalne grupy na potrzeby Twoich celów.

Sugerowane punkty analizy

• Zalecamy zdefiniowanie grup kontrolnej i eksperymentalnej oraz używanie w każdej z nich innego modelu uczenia maszynowego do optymalizacji stawek:
  • Grupa kontrolna 1 – korzystanie z modelu optymalizacji stawek wytrenowanego na podstawie bieżących metod pomiaru (dane z plików cookie innych firm i plików cookie innych niż pliki cookie innych firm)
  • (opcjonalnie) Grupa kontrolna 2 – użyj modelu optymalizacji stawek wytrenowanego bez Piaskownicy prywatności i bez plików cookie innych firm, czyli tylko na podstawie danych innych niż pliki cookie innych firm.
    • Pamiętaj, że niektóre witryny mogą nadal mieć dostęp do plików cookie innych firm. Aby uzyskać najdokładniejsze wyniki, nie używaj tych plików cookie do pomiarów w metodach grupy kontrolnej 2 i eksperymentalnej.
  • Grupa eksperymentalna – używaj modelu optymalizacji określania stawek wytrenowanego na podstawie interfejsu Attribution Reporting API i danych niezwiązanych z plikami cookie innych firm.
    • Pamiętaj, że niektóre witryny mogą nadal mieć dostęp do plików cookie innych firm. Aby uzyskać najdokładniejsze wyniki, nie używaj tych plików cookie do pomiarów w metodach grupy kontrolnej 2 i eksperymentalnej.

Dane

• Określ, które dane mają sens w przypadku Twojej firmy, aby mierzyć wyniki, i dodaj opis, co oznaczają te dane i jak są mierzone.
  • Przykładową wartościową wartością może być wydatkowana kwota (przychody wydawcy), która jest zgodna z wytycznymi CMA dotyczącymi oceny wpływu wycofania plików cookie innych firm na „przychody z wyświetlenia”. Więcej informacji znajdziesz w sekcji 19.
• Jeśli raportujesz jakiekolwiek dane oparte na konwersjach, w przypadku każdej grupy eksperymentalnej stosuj tę samą metodologię pomiaru, aby uniknąć testów wieloczynnikowych (testowania wpływu na optymalizację i raportowanie w ramach jednego eksperymentu). W tabelach z sugerowanymi szablonami znajdziesz wskazówki dotyczące formatowania opinii ilościowych.
• Rozważ inne sposoby zbierania danych o wpływie optymalizacji stawek, np. za pomocą symulacji stawek. Czy są jakieś symulowane dane, które pomogłyby Ci zrozumieć wpływ plików cookie innych firm i ARA na Twoje modele określania stawek?
• Określ, czy dane pochodzą z raportów na poziomie zdarzenia, raportów podsumowujących czy z obu tych rodzajów raportów (i czy użyto raportów debugowania).

Analiza

• Pokrycie:
  • Czy możesz prowadzić pomiary w przypadku podobnego zestawu użytkowników jak w przypadku plików cookie innych firm? Czy widzisz jakieś zmiany w zasięgu (np. w przypadku przejść z aplikacji do witryny)?
  • Czy możesz mierzyć konwersje (oraz wymiary i dane), na których Tobie lub Twoim reklamodawcom najbardziej zależy?
• Jak różnice między grupami wpłyną na te kwestie:
  • Raportowanie reklamodawców, np. jaki odsetek kluczowych konwersji możesz raportować.
  • Trenowanie i optymalizacja, na przykład symulowanie wpływu różnych danych o konwersjach na skuteczność modelu.
• Inne uwagi jakościowe:
  • Jak ARA wpływa na złożoność konfiguracji optymalizacji określania stawek przez reklamodawców?
  • Czy ARA pomaga reklamodawcom skupiać się na istotnych dla nich statystykach i celach, czy im to utrudnia?

Sugerowane tabele szablonów dotyczące wpływu określania stawek

(Określanie stawek) Tabela 1:

Przykładowa tabela wyników eksperymentów, którą uczestnicy rynku powinni przesłać do CMA (pochodzi z strony 18, ale testerzy powinni zastanowić się, które dane są najbardziej przydatne i możliwe do uzyskania, i w razie potrzeby dostosować tabelę).

(Określanie stawek) Tabela 2:

Przykładowa tabela szablonu do raportowania statystyk opisowych dotyczących danych w grupie eksperymentalnej i kontrolnej (pochodzi ze strony 20, ale testerzy powinni zastanowić się, które dane są najbardziej przydatne lub możliwe do podania, i w razie potrzeby dostosować tabelę).

Cel 3. Testowanie obciążenia usługi do agregacji

Zobacz Platforma testowania obciążeń usługi do agregacji.