Ten przewodnik zawiera wskazówki dotyczące samodzielnego testowania interfejsu Attribution Reporting API w ramach Piaskownicy prywatności. Więcej informacji znajdziesz w sekcji 12.
- Wyniki eksperymentów CMA o numerze 1 i 2 dotyczące pomiaru wyników grup kontrolnych i eksperymentalnych zostały opisane w wytycznych dotyczących testowania interfejsów API związanych z trafnością, ponieważ celem tych eksperymentów jest sprawdzenie skuteczności korzystania z interfejsów Protected Audience API i Topics API. Więcej informacji znajdziesz w sekcji 11.
Zanim zaczniesz
- Znajdziesz tu wskazówki dotyczące konfigurowania i konfigurowania interfejsu Attribution Reporting API.
- Zapoznaj się z wytycznymi CMA dotyczącymi testów: Uwaga na temat eksperymentów (listopad 2022 r.), Wytyczne dotyczące testów (czerwiec 2023 r.) i dodatkowe wytyczne dotyczące testów (październik 2023 r.).
Cele oceny i proponowana konfiguracja eksperymentu
Cel 1. Określanie skuteczności interfejsu Attribution Reporting API na potrzeby raportowania
Proponujemy konfigurację A/A, aby zmierzyć wpływ na raportowanie
- Ta propozycja jest zgodna ze wskazówkami CMA dotyczącymi oceny danych opartych na konwersjach. Więcej informacji znajdziesz w sekcji 21 i sekcji 12.
- Preferujemy tę metodę od Trybu A/B, ponieważ testowanie interfejsu Attribution Reporting API (ARA) można przeprowadzić, mierząc jednocześnie konwersje w tym samym zbiorze wyświetleń za pomocą 2 różnych metod pomiarowych (pliki cookie innych firm + dane z plików cookie innych niż pliki cookie innych firm oraz ARA + dane z plików cookie innych niż pliki cookie innych firm).
- Eksperyment A/A pozwala też wyodrębnić wpływ interfejsu Attribution Reporting API na pomiar konwersji (np. zapobiega zmianom wskaźników konwersji spowodowanym brakiem plików cookie innych firm).
Sugerowane punkty analizy
- Wybierz wycinek ruchu, który jest wystarczająco duży, aby uzyskać istotne statystycznie wyniki, i zawiera zarówno pliki cookie innych firm, jak i interfejsy API Piaskownicy prywatności. W idealnej sytuacji dotyczy to całego ruchu, z wyjątkiem trybu B (w którym pliki cookie innych firm są wyłączone).
- Zalecamy wykluczenie Trybu B z eksperymentu A/A, ponieważ pliki cookie innych firm nie będą dostępne, a Ty nie będziesz mieć możliwości porównania wyników ARA z wynikami przypisania na podstawie plików cookie innych firm.
- Jeśli chcesz uwzględnić tryb B, rozważ włączenie raportów debugowania dla segmentu ruchu w trybie B. Raporty debugowania pomogą Ci rozwiązać problemy z konfiguracją lub implementacją.
- Jeśli planujesz przetestować mniejszy wycinek ruchu, spodziewaj się wyników pomiarów o większym niż oczekiwany poziom szumów. W ramach analizy zalecamy zanotowanie, jaka część ruchu została wykorzystana i czy raportowanie wyników odbywa się na podstawie raportów z dodanym szumem czy bez niego.
- W przypadku raportów podsumowujących wartości podsumowujące będą prawdopodobnie niższe, a usługa do agregacji doda szum z tej samej dystrybucji niezależnie od wartości podsumowującej.
- Wypróbuj różne metody pomiarowe na tym wycinku ruchu.
- Grupa kontrolna 1 – korzystanie z obecnych metod pomiarowych (pliki cookie innych firm + dane z plików cookie innych niż innych firm)
- (opcjonalnie) Grupa kontrolna 2 – bez Piaskownicy prywatności i plików cookie innych firm, czyli tylko dane z plików cookie innych niż firmowe
- Pamiętaj, że w przypadku niektórych witryn nadal mogą być dostępne pliki cookie innych firm. Aby uzyskać jak najdokładniejsze wyniki, nie używaj tych plików cookie innych firm do pomiarów w metodologii kontrolnej 2 ani w metodologii z interwencją.
- Grupa eksperymentalna – interfejsy API Piaskownicy prywatności i dane z plików cookie innych firm
- Pamiętaj, że w przypadku niektórych witryn nadal mogą być dostępne pliki cookie innych firm. Aby uzyskać jak najdokładniejsze wyniki, nie używaj tych plików cookie innych firm do pomiarów w metodologii kontrolnej 2 ani w metodologii z interwencją.
Dane
- Określ, które dane są odpowiednie do pomiaru wyników w Twojej firmie, i podaj opis znaczenia tych danych oraz sposobu ich pomiaru.
- Sugerujemy skupienie się na wymiarach i danych, które są ważne dla Twoich reklamodawców. Jeśli np. Twoi reklamodawcy koncentrują się na konwersjach polegających na zakupie, zliczaj liczbę takich konwersji i wartość zakupu.
- Dane oparte na liczbie lub sumie (np. współczynnik konwersji) są bardziej przydatne niż dane o kosztach (np. koszt konwersji). W przypadku analizy A/A dane o kosztach mogą być w pełni wyprowadzone z liczby lub sumy wartości konwersji.
- Określ, czy dane są oparte na raportach na poziomie zdarzenia, raportach podsumowujących czy na obu tych rodzajach raportów (oraz czy zostały użyte raporty debugowania).
- Aby dowiedzieć się, jak sformatować opinie ilościowe, zapoznaj się z zalecanymi tabelami szablonów.
Analiza
- Zasięg:
- Czy możesz mierzyć dane dotyczące podobnego zbioru użytkowników w porównaniu z plikami cookie innych firm? Czy widzisz większą liczbę wyświetleń (np. w przypadku aplikacji i przeglądarki)?
- Czy możesz mierzyć konwersje (i wymiary lub dane), które są najważniejsze dla Ciebie lub Twoich reklamodawców?
- Opinie ilościowe
- W raportach o reklamodawcach możesz np. sprawdzić, jaki odsetek kluczowych konwersji możesz uwzględnić w raportach o tym reklamodawcy lub jaki odsetek kampanii spełnia kryteria jakości raportowania (określenie tych kryteriów pomaga uwzględniać w raportach kampanie z małą liczbą konwersji).
- Na przykład w przypadku reklamodawców możesz sprawdzić, czy niektórzy z nich są obecnie bardziej lub mniej zależni od plików cookie innych firm na potrzeby raportowania.
- Inne opinie jakościowe:
- Jak ARA wpływa na złożoność konfiguracji pomiarów i przypisywania udziału w przychodach reklamodawców?
- Czy ARA pomaga reklamodawcom skupić się na danych i celach, które są dla nich ważne, czy raczej utrudnia im to?
Sugerowane tabele szablonów do raportowania wpływu
(Raportowanie) Tabela 1:
Przykładowa tabela szablonu do raportowania wyników eksperymentu do CMA (wzięty z strony 18, ale testerzy powinni rozważyć, które dane są najbardziej przydatne i możliwe do podania, i w razie potrzeby dostosować tabelę).
|
Treatment vs Control 1 Porównuje proponowany stan końcowy z obecnym stanem |
Treatment vs Control 2 Porównuje proponowany stan końcowy z brakiem interfejsów PS. |
Grupa kontrolna 2 w porównaniu z grupą kontrolną 1 Porównuje pomiar konwersji z użyciem plików cookie innych firm i bez nich, bez stosowania interfejsów API Piaskownicy prywatności. |
|
| Metodologia pomiaru | Porównaj pomiar konwersji w grupie eksperymentalnej (ARA z danymi z plików cookie innych niż pliki cookie innych firm) z grupą kontrolną 1 (pliki cookie innych firm i dane z plików cookie innych niż pliki cookie innych firm) | Porównaj pomiar konwersji w grupie eksperymentalnej (ARA z danymi z plików cookie innych firm) z grupą kontrolną 2 (tylko dane z plików cookie innych firm) | Porównaj pomiar konwersji w grupie kontrolnej 2 (tylko dane z plików cookie innych niż pliki cookie innych firm) z grupą kontrolną 1 (dane z plików cookie innych firm i niez plików cookie innych firm) |
| Konwersje na każdą wydaną złotówkę | Efekt | Efekt | Efekt |
| błąd standardowy | błąd standardowy | błąd standardowy | |
| Przedział ufności: 95% | Przedział ufności: 95% | Przedział ufności: 95% | |
| Łączna liczba konwersji | Efekt | Efekt | Efekt |
| błąd standardowy | błąd standardowy | błąd standardowy | |
| Przedział ufności: 95% | Przedział ufności: 95% | Przedział ufności: 95% | |
| Współczynnik konwersji | Efekt | Efekt | Efekt |
| błąd standardowy | błąd standardowy | błąd standardowy | |
| Przedział ufności: 95% | Przedział ufności: 95% | Przedział ufności: 95% | |
| (dodaj własne dane) |
(Raportowanie) Tabela 2:
Przykładowa tabela szablonu do raportowania statystyk opisowych dla danych w grupach eksperymentalnej i kontrolnej (wzięty z strony 20, ale testerzy powinni rozważyć, które dane są najbardziej przydatne i możliwe do przedstawienia, i w razie potrzeby dostosować tabelę).
| Dane | Metoda
Mierzenie konwersji za pomocą ARA i danych plików cookie innych firm, których używasz |
Grupa kontrolna 1
Mierzenie konwersji za pomocą plików cookie innych firm i plików cookie innych firm, których używasz |
Ustawienie 2
Pomiar konwersji z wykorzystaniem tylko danych z plików cookie innych niż pliki cookie firm zewnętrznych |
| Konwersje na każdą wydaną złotówkę | Średnia | Średnia | Średnia |
| Odchylenie standardowe | Odchylenie standardowe | Odchylenie standardowe | |
| 25 i 75 centyl | 25 i 75 centyl | 25 i 75 centyl | |
| Łączna liczba konwersji | Średnia | Średnia | Średnia |
| Odchylenie standardowe | Odchylenie standardowe | Odchylenie standardowe | |
| 25 i 75 centyl | 25 i 75 centyl | 25 i 75 centyl | |
| Współczynnik konwersji | Średnia | Średnia | Średnia |
| Odchylenie standardowe | Odchylenie standardowe | Odchylenie standardowe | |
| 25 i 75 centyl | 25 i 75 centyl | 25 i 75 centyl | |
| (dodaj własne dane) |
Cel 2. Określanie skuteczności interfejsu Attribution Reporting API na potrzeby optymalizacji ustalania stawek
Proponujemy konfigurację A/B, aby zmierzyć wpływ na optymalizację określania stawek.
- Aby zmierzyć wpływ na optymalizację stawek, musisz wytrenować 2 różne modele systemów uczących się i stosować je w 2 grupach ruchu – jeden model wytrenowany na podstawie obecnych metod pomiaru (pliki cookie innych firm + dane inne niż pliki cookie innych firm), który będzie stosowany w grupie kontrolnej, oraz jeden model wytrenowany na podstawie interfejsu Attribution Reporting API + danych innych niż pliki cookie innych firm, który będzie stosowany w grupie eksperymentalnej.
- Trenowanie modelu powinno opierać się na tak dużym ruchu, jak to konieczne do zmaksymalizowania skuteczności, nawet jeśli grupa eksperymentalna obejmuje mniejszy wycinek ruchu i występuje nakładanie się populacji danych treningowych (np. użyj istniejącego modelu plików cookie innych firm, który jest trenowany na całym ruchu, i wytrenuj model ARA na całym ruchu ARA włączonym na potrzeby celu 1).
- Jeśli przesyłasz wyniki do CMA, zwróć uwagę, czy występuje znaczna różnica między wycinkami ruchu użytymi do trenowania różnych modeli (np. czy modele oparte na plikach cookie innych firm są trenowane na 100% ruchu, a modele oparte na ARA tylko na 1% ruchu).
- W miarę możliwości trenowanie modeli ustalania stawek w grupach eksperymentalnej i kontrolnej powinno trwać tyle samo czasu.
- Zastanów się, czy podczas eksperymentu należy stale trenować i aktualizować modele określania stawek. Jeśli tak, zastanów się, czy trenować je na jak największej liczbie wizyt, czy tylko na wizytach z grup eksperymentalnej i kontrolnej.
- Różne modele powinny być używane w niepowiązanych od siebie częściach ruchu jako eksperyment A/B. W przypadku losowego przypisywania użytkowników do grup eksperymentalnych i kontrolnych zalecamy użycie etykietowanych grup przeglądarek w Chrome (Tryb A) lub przeprowadzenie własnego eksperymentu z losowymi zestawami przeglądarek. Nie zalecamy używania trybu B, ponieważ brak plików cookie innych firm utrudnia raportowanie danych na podstawie konwersji.
- Grupy przeglądarek obsługiwane przez Chrome będą wykluczać niektóre instancje Chrome, np. użytkowników Chrome Enterprise, gdzie Twoje własne losowe zestawy przeglądarek mogą nie wykluczać tych instancji. Dlatego eksperyment powinieneś przeprowadzać tylko w grupach w reżimie A lub tylko w grupach innych niż w reżimie A i B, aby uniknąć porównywania danych uzyskanych w grupach obsługiwanych przez Chrome z danymi uzyskanymi poza grupami obsługiwanymi przez Chrome.
- Jeśli nie używasz etykietowanych grup przeglądarek w Chrome (np. eksperymentujesz z innym ruchem):
- Sprawdź, czy podział użytkowników na grupy eksperymentalną i kontrolną jest losowy i nieskierowany. Niezależnie od konfiguracji grup eksperymentalnych oceń cechy grup eksperymentalnej i kontrolnej, aby sprawdzić, czy są one porównywalne. (patrz sekcja 15).
- Sprawdź, czy w grupach eksperymentalnej i kontrolnej są takie same cechy użytkowników i tak samo skonfigurowane kampanie (np. czy w grupach eksperymentalnej i kontrolnej są używane podobne regiony). (patrz sekcja 28)
- Przykłady: sprawdź, czy podobne typy konwersji są mierzone za pomocą tego samego okna atrybucji i tej samej logiki atrybucji, czy kampanie kierują na podobnych odbiorców, grupy zainteresowań i lokalizacje oraz czy używają podobnych tekstów i formatów reklam.
- √ że początkowe rozmiary populacji w grupach eksperymentalnej i kontrolnej są wystarczająco duże, aby zapewnić elastyczność w określaniu stawek i eksperymentowaniu.
- Jeśli używasz etykietowanych grup przeglądarek obsługiwanych przez Chrome (Tryb A), losowe przypisywanie instancji przeglądarki Chrome do grup jest obsługiwane przez Chrome. Podobnie jak wcześniej zalecamy sprawdzenie, czy losowanie tworzy grupy, które są obiektywne i można je porównywać w celu analizy.
Sugerowane punkty analizy
- Zalecamy zdefiniowanie grupy kontrolnej i grupy eksperymentalnej oraz użycie w przypadku każdej z nich innego modelu systemów uczących się do optymalizacji określania stawek:
- Grupa kontrolna 1 – korzystanie z modelu optymalizacji stawek wyuczonego na podstawie obecnych metod pomiarowych (pliki cookie innych firm + dane z plików cookie innych niż pliki cookie innych firm)
- (opcjonalnie) Grupa kontrolna 2 – użyj modelu optymalizacji stawek wytrenowanego bez korzystania z Piaskownicy prywatności ani plików cookie innych firm, czyli tylko z danych innych niż pochodzących z plików cookie innych firm.
- Pamiętaj, że w przypadku niektórych witryn nadal mogą być dostępne pliki cookie innych firm. Aby uzyskać jak najdokładniejsze wyniki, nie używaj tych plików cookie innych firm do pomiarów w metodologii kontrolnej 2 ani w metodologii z zastosowaniem grupy eksperymentalnej.
- Eksperyment – użyj modelu optymalizacji określania stawek wytrenowanego na podstawie danych z interfejsu Attribution Reporting API i plików cookie innych firm
- Pamiętaj, że w przypadku niektórych witryn nadal mogą być dostępne pliki cookie innych firm. Aby uzyskać jak najdokładniejsze wyniki, nie używaj tych plików cookie innych firm do pomiarów w metodologii kontrolnej 2 ani w metodologii z zastosowaniem grupy eksperymentalnej.
Dane
- Określ, które dane są odpowiednie do pomiaru wyników w Twojej firmie, i podaj opis znaczenia tych danych oraz sposobu ich pomiaru.
- Może to być na przykład wydatek (przychody wydawcy), co jest zgodne ze wskazówkami CMA dotyczącymi wpływu wycofania plików cookie innych firm na „Przychody z wyświetlenia”. Więcej informacji znajdziesz w sekcji 19.
- Jeśli raportujesz dane oparte na konwersjach, w przypadku każdej grupy eksperymentalnej musisz używać tej samej metody pomiaru, aby uniknąć testów wieloczynnikowych (testowania wpływu na optymalizację i raportowanie w ramach jednego eksperymentu). Aby dowiedzieć się, jak sformatować opinie ilościowe, zapoznaj się z zalecanymi tabelami szablonów.
- Rozważ inne sposoby zbierania danych o wpływie optymalizacji stawek na skuteczność reklam – np. za pomocą symulacji stawek. Czy są jakieś symulowane dane, które pomogą Ci zrozumieć wpływ plików cookie innych firm i ARA na modele ustalania stawek?
- Określ, czy dane są oparte na raportach na poziomie zdarzenia, raportach podsumowujących czy na obu tych rodzajach raportów (oraz czy zostały użyte raporty debugowania).
Analiza
- Zasięg:
- Czy możesz mierzyć dane dotyczące podobnego zbioru użytkowników w porównaniu z plikami cookie innych firm? Czy widzisz jakieś zmiany w zasięgu (np. w przypadku przekierowania z aplikacji na stronę internetową)?
- Czy możesz mierzyć konwersje (i wymiary/dane), które są najważniejsze dla Ciebie lub Twoich reklamodawców?
- Jak różnice między grupami wpłyną na te kwestie:
- Raportowanie przez reklamodawcę, np. jaki odsetek kluczowych konwersji możesz podać.
- Trenowanie i optymalizacja, np. symulowanie wpływu różnych danych o konwersjach na wydajność modelu.
- Inne opinie jakościowe:
- Jak ARA wpływa na złożoność konfiguracji optymalizacji określania stawek przez reklamodawców?
- Czy ARA pomaga reklamodawcom skupić się na metrykach i celach, które są dla nich ważne, czy może im to utrudnia?
Sugerowane tabele szablonów dotyczące wpływu na ustalanie stawek
(Określanie stawek) Tabela 1:
Przykładowa tabela z wynikami eksperymentów, którą uczestnicy rynku powinni przesłać do CMA. (Tabela pochodzi ze strony 18, ale testerzy powinni rozważyć, które dane są najbardziej przydatne i możliwe do przekazania, i w razie potrzeby dostosować tabelę).
|
Treatment vs Control 1 Porównuje proponowany stan końcowy z obecnym stanem |
Treatment vs Control 2 Porównuje proponowany stan końcowy z brakiem interfejsów PS. |
Grupa kontrolna 2 w porównaniu z grupą kontrolną 1 Porównuje optymalizację stawek z plikami cookie innych firm i bez nich, bez interfejsów API PS. |
|
| Metodologia pomiaru | Aby uniknąć testów wieloczynnikowych, używaj danych z plików cookie innych firm i plików cookie innych niż innych firm do pomiaru danych na podstawie konwersji w obu grupach eksperymentalnych w każdym eksperymencie. | ||
| Przychody z wyświetlenia | Efekt | Efekt | Efekt |
| błąd standardowy | błąd standardowy | błąd standardowy | |
| Przedział ufności: 95% | Przedział ufności: 95% | Przedział ufności: 95% | |
| (Dodaj własne dane) | |||
(Określanie stawek) Tabela 2:
Przykładowa tabela szablonu do raportowania statystyk opisowych dla danych w grupach eksperymentalnej i kontrolnej (wzięty z strony 20, ale testerzy powinni rozważyć, które dane są najbardziej przydatne i możliwe do przedstawienia, i w razie potrzeby dostosować tabelę).
|
Treatment Optymalizacja stawek za pomocą ARA i danych z plików cookie innych firm, których używasz |
Grupa kontrolna 1 Optymalizacja stawek z wykorzystaniem plików cookie innych firm i innych plików cookie, których używasz |
Grupa kontrolna 2 Optymalizacja stawek z wykorzystaniem tylko danych z plików cookie innych firm |
|
| Metodologia pomiaru | Aby uniknąć testów wieloczynnikowych, używaj danych z plików cookie stron trzecich i nie-stron trzecich do pomiaru wskaźników konwersji we wszystkich grupach. | ||
| Przychody z wyświetlenia | Średnia | Średnia | Średnia |
| Odchylenie standardowe | Odchylenie standardowe | Odchylenie standardowe | |
| 25 i 75 centyl | 25 i 75 centyl | 25 i 75 centyl | |
| (dodaj własne dane) | |||
Cel 3. Testowanie obciążenia usługi do agregacji
Zobacz ramy testowania obciążenia usługi do agregacji danych.