Noiselab

Informacje o tym dokumencie

Z tego dokumentu dowiesz się:

  • Zanim wygenerujesz raporty podsumowujące, dowiedz się, jakie strategie warto utworzyć.
  • Poznaj Noise Lab, narzędzie, które pomaga zrozumieć wpływ różnych parametrów szumu i umożliwia szybkie poznawanie i ocenianie różnych strategii zarządzania szumem.
Zrzut ekranu z Noise Lab.
Noise Lab

Prześlij opinię

W tym dokumencie podsumowaliśmy kilka zasad pracy z raportami podsumowującymi, ale istnieje wiele podejść do zarządzania szumem, które mogą nie być tu uwzględnione. Twoje sugestie, dodatkowe informacje i pytania są mile widziane.

  • Aby przekazać publiczną opinię na temat strategii zarządzania szumem, użyteczności lub prywatności interfejsu API (epsilon) oraz podzielić się swoimi obserwacjami podczas symulacji w Noise Lab: skomentuj ten problem
  • Aby przesłać publiczną opinię na temat innego aspektu interfejsu API: utwórz nowe zgłoszenie tutaj.

Zanim rozpoczniesz

  1. Więcej informacji znajdziesz w artykułach Raportowanie atrybucji: raporty podsumowująceRaportowanie atrybucji: pełne omówienie systemu.
  2. Aby w pełni wykorzystać ten przewodnik, zapoznaj się z sekcjami Interpretowanie szumuInterpretowanie kluczy agregacji.

Decyzje projektowe

Podstawowa zasada projektowania

Istnieją zasadnicze różnice między działaniem plików cookie innych firm a raportów zbiorczych. Jedną z głównych różnic jest szum dodawany do danych pomiarowych w raportach podsumowujących. Innym jest sposób planowania raportów.

Aby uzyskać dostęp do danych pomiarowych w raporcie podsumowującym o wyższym stosunku sygnału do szumu, platformy DSP i dostawcy pomiarów reklam będą musieli współpracować z reklamodawcami w celu opracowania strategii zarządzania szumem. Aby opracować te strategie, platformy DSP i dostawcy usług pomiarowych muszą podejmować decyzje projektowe. Decyzje te opierają się na jednej podstawowej koncepcji:

Rozkład, z którego pochodzą wartości szumu, zależy tylko od 2 parametrów: epsilon i budżetu na udział. Masz jednak do dyspozycji szereg innych ustawień, które wpływają na stosunek sygnału do szumu w danych pomiarowych.

Oczekujemy, że proces iteracyjny doprowadzi do najlepszych decyzji, ale każda zmiana tych decyzji będzie prowadzić do nieco innej implementacji. Dlatego decyzje te muszą być podejmowane przed napisaniem każdej iteracji kodu (i przed wyświetlaniem reklam).

Decyzja: szczegółowość wymiaru

Wypróbuj w Laboratorium szumu

  1. Otwórz tryb zaawansowany.
  2. W panelu bocznym Parametry odszukaj sekcję Twoje dane o konwersjach.
  3. Sprawdź parametry domyślne. Domyślnie ŁĄCZNA dzienna liczba konwersji, które można przypisać, wynosi 1000. Jeśli używasz konfiguracji domyślnej (domyślne wymiary, domyślna liczba możliwych różnych wartości dla każdego wymiaru, strategia kluczowa A), średnia liczba segmentów wynosi około 40. Zauważ, że w polu „Średnia dzienna liczba konwersji z atrybucją” w sekcji „NA ZASOBNIK” wpisana jest wartość 40.
  4. Kliknij Symuluj, aby uruchomić symulację z parametrami domyślnymi.
  5. W panelu bocznym Parametry znajdź Wymiary. Zmień nazwę Geografia na Miasto i zmień liczbę możliwych różnych wartości na 50.
  6. Obserwuj, jak zmienia się średnia dzienna liczba konwersji z atrybucją W PRZYPADKU KAŻDEGO KOSZYKA. Teraz jest znacznie niższy. Dzieje się tak, ponieważ jeśli zwiększysz liczbę możliwych wartości w tym wymiarze, nie zmieniając niczego innego, zwiększysz łączną liczbę przedziałów bez zmiany liczby zdarzeń konwersji, które będą do nich trafiać.
  7. Kliknij Symuluj.
  8. Obserwuj współczynniki szumu w wynikowej symulacji: są one teraz wyższe niż w przypadku poprzedniej symulacji.

Zgodnie z główną zasadą projektowania małe wartości podsumowania są prawdopodobnie bardziej zaszumione niż duże wartości podsumowania. Dlatego wybór konfiguracji wpływa na to, ile przypisanych zdarzeń konwersji trafia do poszczególnych segmentów (nazywanych też kluczem agregacji), a ta liczba wpływa na szum w raportach podsumowujących dane wyjściowe.

Jedną z decyzji projektowych, która wpływa na liczbę przypisanych zdarzeń konwersji w jednym przedziale, jest szczegółowość wymiarów. Oto przykłady kluczy agregacji i ich wymiarów:

  • Podejście 1. Jedna struktura kluczowa z ogólnymi wymiarami: Kraj × Kampania reklamowa (lub największy zasobnik agregacji kampanii) × Typ produktu (spośród 10 możliwych typów produktów).
  • Podejście 2. Jedna struktura klucza z dokładnymi wymiarami: Miasto × Identyfikator kreacji × Produkt (spośród 100 możliwych produktów)

Miasto to wymiar o większej szczegółowości niż Kraj, Identyfikator kreacji to wymiar o większej szczegółowości niż Kampania, a Produkt to wymiar o większej szczegółowości niż Typ produktu. Dlatego w raporcie podsumowującym metoda 2 będzie miała mniejszą liczbę zdarzeń (konwersji) w każdym koszyku (= w każdym kluczu) niż metoda 1. Ponieważ szum dodawany do danych wyjściowych jest niezależny od liczby zdarzeń w zasobniku, dane pomiarowe w raportach podsumowujących będą bardziej zaszumione w przypadku podejścia 2. W przypadku każdego reklamodawcy eksperymentuj z różnymi kompromisami dotyczącymi szczegółowości w projekcie klucza, aby uzyskać maksymalną użyteczność wyników.

Decyzja: kluczowe struktury

Wypróbuj w Laboratorium szumu

W trybie prostym używana jest domyślna struktura kluczy. W trybie zaawansowanym możesz eksperymentować z różnymi strukturami kluczy. Podane są przykładowe wymiary, ale możesz je też zmodyfikować.

  1. Otwórz tryb zaawansowany.
  2. W panelu bocznym Parametry znajdź Kluczową strategię. Zauważ, że strategia domyślna, oznaczona w narzędziu jako A, korzysta z jednej szczegółowej struktury kluczy, która obejmuje wszystkie wymiary: Geografia × Identyfikator kampanii × Kategoria produktu.
  3. Kliknij Symuluj.
  4. Obserwuj współczynniki szumu w wynikowej symulacji.
  5. Zmień strategię kluczową na B. Wyświetlą się dodatkowe elementy sterujące, za pomocą których możesz skonfigurować strukturę kluczy.
  6. Skonfiguruj strukturę kluczy, np. w ten sposób:
    1. Liczba kluczowych struktur: 2
    2. Kluczowa struktura 1 = Geografia x Kategoria produktu.
    3. Klucz struktury 2 = Identyfikator kampanii × Kategoria produktu.
  7. Kliknij Symuluj.
  8. Zauważ, że w przypadku każdego typu celu pomiaru otrzymujesz teraz 2 raporty podsumowujące (2 raporty dotyczące liczby zakupów i 2 raporty dotyczące wartości zakupów), ponieważ używasz 2 różnych struktur kluczy. Obserwuj ich współczynniki szumu.
  9. Możesz też spróbować użyć własnych wymiarów niestandardowych. W tym celu poszukaj sekcji Dane, które chcesz śledzić: Wymiary. Możesz usunąć przykładowe wymiary i utworzyć własne, korzystając z przycisków Dodaj/Usuń/Zresetuj poniżej ostatniego wymiaru.

Kolejną decyzją projektową, która wpłynie na liczbę przypisanych zdarzeń konwersji w jednym przedziale, są struktury kluczy, których zdecydujesz się użyć. Oto przykłady kluczy agregacji:

  • Jedna kluczowa struktura ze wszystkimi wymiarami, którą nazwiemy Kluczową strategią A.
  • 2 kluczowe struktury, z których każda zawiera podzbiór wymiarów. Nazwijmy to Kluczową strategią B.
Kosz na strategię kluczową A i B.
Przedziały dla strategii kluczowych A i B.

Strategia A jest prostsza, ale aby uzyskać dostęp do niektórych statystyk, może być konieczne zsumowanie (zrolowanie) wartości podsumowania z szumem w raportach podsumowujących. Sumując te wartości, sumujesz też szum. W przypadku strategii B wartości podsumowujące w raportach podsumowujących mogą już zawierać potrzebne informacje. Oznacza to, że strategia B prawdopodobnie zapewni lepszy stosunek sygnału do szumu niż strategia A. Jednak w przypadku strategii A szum może być już akceptowalny, więc możesz nadal preferować strategię A ze względu na jej prostotę. Więcej informacji znajdziesz w szczegółowym przykładzie, który opisuje te 2 strategie

Zarządzanie kluczami to złożony temat. Aby poprawić stosunek sygnału do szumu, można zastosować wiele zaawansowanych technik. Jeden z nich jest opisany w sekcji Zaawansowane zarządzanie kluczami.

Decyzja: częstotliwość przetwarzania wsadowego

Wypróbuj w Laboratorium szumu

  1. Przejdź do trybu prostego (lub zaawansowanego – oba tryby działają tak samo w przypadku częstotliwości grupowania).
  2. W panelu bocznym Parametry znajdź kolejno Twoja strategia agregacji > Częstotliwość przetwarzania wsadowego. Odwołuje się to do częstotliwości tworzenia partii raportów podlegających agregacji, które są przetwarzane przez usługę do agregacji w ramach jednego zadania.
  3. Obserwuj domyślną częstotliwość przetwarzania zbiorczego: domyślnie symulowana jest dzienna częstotliwość przetwarzania zbiorczego.
  4. Kliknij Symuluj.
  5. Obserwuj współczynniki szumu w wynikowej symulacji.
  6. Zmień częstotliwość przetwarzania zbiorczego na tygodniową.
  7. Obserwuj współczynniki szumu w wynikowej symulacji: są one teraz niższe (lepsze) niż w przypadku poprzedniej symulacji.

Kolejną decyzją projektową, która wpłynie na liczbę zdarzeń konwersji przypisanych do jednego przedziału, jest częstotliwość przetwarzania wsadowego. Częstotliwość przetwarzania to częstotliwość przetwarzania raportów, które można agregować.

Raport, który jest zaplanowany do agregacji częściej (np. co godzinę), będzie zawierać mniej zdarzeń konwersji niż ten sam raport z mniej częstym harmonogramem agregacji (np. co tydzień). W efekcie raport godzinowy będzie zawierać więcej szumu.``` będzie zawierać mniej zdarzeń konwersji niż ten sam raport z mniej częstym harmonogramem agregacji (np. co tydzień). W efekcie raport godzinowy będzie miał mniejszy stosunek sygnału do szumu niż raport tygodniowy, przy założeniu, że wszystkie inne czynniki są takie same. Eksperymentuj z wymaganiami dotyczącymi raportowania o różnej częstotliwości i oceniaj stosunek sygnału do szumu w każdym przypadku.

Więcej informacji znajdziesz w sekcjach Przetwarzanie wsadoweAgregowanie danych w dłuższych okresach.

Decyzja: zmienne kampanii, które mają wpływ na konwersje, którym można przypisać atrybucję

Wypróbuj w Laboratorium szumu

Chociaż trudno to przewidzieć i może to podlegać znacznym wahaniom oprócz efektów sezonowych, spróbuj oszacować liczbę dziennych konwersji z atrybucją do pojedynczego kontaktu w przybliżeniu do najbliższej potęgi liczby 10: 10, 100, 1000 lub 10 000.

  1. Otwórz tryb zaawansowany.
  2. W panelu bocznym Parametry odszukaj sekcję Twoje dane o konwersjach.
  3. Sprawdź parametry domyślne. Domyślnie ŁĄCZNA dzienna liczba konwersji, które można przypisać, wynosi 1000. Jeśli używasz konfiguracji domyślnej (domyślne wymiary, domyślna liczba możliwych różnych wartości dla każdego wymiaru, strategia kluczowa A), średnia liczba segmentów wynosi około 40. Zauważ, że w polu „Średnia dzienna liczba konwersji z atrybucją” w sekcji „NA ZASOBNIK” wpisana jest wartość 40.
  4. Kliknij Symuluj, aby uruchomić symulację z parametrami domyślnymi.
  5. Obserwuj współczynniki szumu w wynikowej symulacji.
  6. Teraz ustaw ŁĄCZNĄ dzienną liczbę konwersji, które można przypisać, na 100. Zauważ, że obniża to wartość średniej dziennej liczby konwersji przypisanych DO KOSZYKA.
  7. Kliknij Symuluj.
  8. Zauważ, że współczynniki szumu są teraz wyższe. Dzieje się tak, ponieważ gdy masz mniej konwersji w poszczególnych przedziałach, stosuje się więcej szumu, aby zachować prywatność.

Ważne jest rozróżnienie między łączną liczbą możliwych konwersji w przypadku reklamodawcy a łączną liczbą możliwych konwersji przypisanych. To właśnie ta druga wartość ma wpływ na szum w raportach podsumowujących. Przypisane konwersje to podzbiór wszystkich konwersji, na które mają wpływ zmienne kampanii, takie jak budżet reklamy i kierowanie reklam. Na przykład w przypadku kampanii reklamowej o budżecie 10 mln zł oczekujesz większej liczby przypisanych konwersji niż w przypadku kampanii o budżecie 10 tys. zł, przy założeniu, że wszystkie inne czynniki są takie same.

Kwestie, na które należy zwrócić uwagę:

  • Oceniaj przypisane konwersje na podstawie modelu atrybucji z 1 interakcją na tym samym urządzeniu, ponieważ mieszczą się one w zakresie raportów zbiorczych zbieranych za pomocą interfejsu Attribution Reporting API.
  • Rozważ zarówno liczbę konwersji z atrybucją w najgorszym, jak i w najlepszym scenariuszu. Na przykład przy założeniu, że wszystkie inne czynniki są równe, weź pod uwagę minimalny i maksymalny możliwy budżet kampanii reklamodawcy, a następnie w symulacji uwzględnij przewidywane konwersje przypisane do obu wyników.
  • Jeśli rozważasz użycie Piaskownicy prywatności na Androida, uwzględnij w obliczeniach konwersje przypisane na różnych platformach.

Decyzja: użycie skalowania

Wypróbuj w Laboratorium szumu

  1. Otwórz tryb zaawansowany.
  2. W panelu bocznym Parametry znajdź sekcję Twoja strategia agregacji > Skalowanie. Domyślnie jest ustawiona na wartość „Tak”.
  3. Aby zrozumieć pozytywny wpływ skalowania na stosunek sygnału do szumu, najpierw ustaw Skalowanie na Nie.
  4. Kliknij Symuluj.
  5. Obserwuj współczynniki szumu w wynikowej symulacji.
  6. Ustaw Skalowanie na Tak. Pamiętaj, że Noise Lab automatycznie oblicza współczynniki skalowania, które mają być używane w przypadku zakresów (wartości średnich i maksymalnych) celów pomiarowych w Twoim scenariuszu. W prawdziwym systemie lub w konfiguracji testu pochodzenia możesz zaimplementować własne obliczenia współczynników skalowania.
  7. Kliknij Symuluj.
  8. Zauważ, że w tej drugiej symulacji współczynniki szumu są niższe (lepsze). Wynika to z tego, że używasz skalowania.

Zgodnie z podstawową zasadą projektowania dodawany szum jest funkcją budżetu na udział.

Aby zwiększyć stosunek sygnału do szumu, możesz przekształcać wartości zbierane podczas zdarzenia konwersji, skalując je w stosunku do budżetu na udział (i odwrotnie po agregacji). Używaj skalowania, aby zwiększać stosunek sygnału do szumu.

Decyzja: liczba celów pomiarowych i podział budżetu na ochronę prywatności

Dotyczy to skalowania. Przeczytaj sekcję Korzystanie ze skalowania.

Wypróbuj w Laboratorium szumu

Cel pomiaru to odrębny punkt danych zbierany w zdarzeniach konwersji.

  1. Otwórz tryb zaawansowany.
  2. W panelu bocznym Parametry znajdź sekcję Dane, które chcesz śledzić: cele pomiaru. Domyślnie masz 2 cele pomiaru: wartość zakupu i liczba zakupów.
  3. Kliknij Symuluj, aby uruchomić symulację z domyślnymi celami.
  4. Kliknij Usuń. Spowoduje to usunięcie ostatniego celu pomiaru (w tym przypadku liczby zakupów).
  5. Kliknij Symuluj.
  6. Zwróć uwagę, że w przypadku tej drugiej symulacji współczynniki szumu dla wartości zakupu są teraz niższe (lepsze). Dzieje się tak, ponieważ masz mniej celów pomiarowych, więc Twój jeden cel pomiarowy otrzymuje teraz cały budżet na udział.
  7. Kliknij Resetuj. Masz teraz ponownie 2 cele pomiaru: wartość zakupu i liczbę zakupów. Pamiętaj, że Noise Lab automatycznie oblicza współczynniki skalowania, które mają być używane w przypadku zakresów (wartości średnich i maksymalnych) celów pomiarowych w Twoim scenariuszu. Domyślnie Laboratorium szumu dzieli budżet równomiernie między cele pomiarowe.
  8. Kliknij Symuluj.
  9. Obserwuj współczynniki szumu w wynikowej symulacji. Zwróć uwagę na współczynniki skalowania wyświetlane w symulacji.
  10. Teraz dostosujmy podział budżetu na ochronę prywatności, aby uzyskać lepsze stosunki sygnału do szumu.
  11. Dostosuj procent budżetu przypisany do każdego celu pomiaru. Przy domyślnych parametrach cel pomiaru 1, czyli wartość zakupu, ma znacznie szerszy zakres (od 0 do 1000) niż cel pomiaru 2, czyli liczba zakupów (od 1 do 1, czyli zawsze równa 1). Dlatego potrzebuje „więcej miejsca na skalowanie”: idealnie byłoby przypisać do celu pomiaru 1 większy budżet na udział niż do celu pomiaru 2, aby można było go skuteczniej skalować (patrz Skalowanie), a tym samym
  12. Przypisz 70% budżetu do celu pomiaru 1. Przypisz 30% do celu pomiaru 2.
  13. Kliknij Symuluj.
  14. Obserwuj współczynniki szumu w wynikowej symulacji. W przypadku wartości zakupu współczynniki szumu są teraz znacznie niższe (lepsze) niż w poprzedniej symulacji. W przypadku liczby zakupów są one w przybliżeniu niezmienione.
  15. Stale dostosowuj podział budżetu między poszczególne dane. Obserwuj, jak to wpływa na szum.

Pamiętaj, że możesz ustawić własne niestandardowe cele pomiaru za pomocą przycisków Dodaj/Usuń/Zresetuj.


Jeśli w przypadku zdarzenia konwersji mierzysz 1 punkt danych (cel pomiaru), np. liczbę konwersji, ten punkt danych może otrzymać cały budżet udziału (65536). Jeśli w przypadku zdarzenia konwersji ustawisz kilka celów pomiarowych, np. liczbę konwersji i wartość zakupu, te punkty danych będą musiały dzielić budżet udziału. Oznacza to, że masz mniejszą swobodę w skalowaniu wartości.

Dlatego im więcej masz celów pomiarowych, tym mniejsze prawdopodobieństwo uzyskania wysokiego stosunku sygnału do szumu (większy szum).

Kolejną decyzją, którą musisz podjąć w odniesieniu do celów pomiarowych, jest podział budżetu. Jeśli podzielisz budżet na potrzeby udziału po równo na 2 punkty danych, każdy z nich otrzyma budżet w wysokości 65536/2 = 32768. Może to być optymalne lub nieoptymalne rozwiązanie w zależności od maksymalnej możliwej wartości każdego punktu danych. Jeśli na przykład mierzysz liczbę zakupów, która ma maksymalną wartość 1, oraz wartość zakupu, która ma minimalną wartość 1 i maksymalną wartość 120, wartość zakupu skorzysta na „większej przestrzeni” do skalowania w górę, czyli na większym udziale w budżecie na udział. Dowiesz się, czy niektóre cele pomiarowe powinny być traktowane priorytetowo w stosunku do innych ze względu na wpływ szumu.

Decyzja: zarządzanie wartościami odstającymi

Wypróbuj w Laboratorium szumu

Cel pomiaru to odrębny punkt danych zbierany w zdarzeniach konwersji.

  1. Otwórz tryb zaawansowany.
  2. W panelu bocznym Parametry znajdź sekcję Twoja strategia agregacji > Skalowanie.
  3. Sprawdź, czy skalowanie jest ustawione na Tak. Pamiętaj, że Noise Lab automatycznie oblicza współczynniki skalowania na podstawie podanych przez Ciebie zakresów (wartości średnich i maksymalnych) dla celów pomiarowych.
  4. Załóżmy, że największy zakup w historii kosztował 2000 zł, ale większość zakupów mieści się w przedziale 10–120 zł. Najpierw zobaczmy, co się stanie, jeśli zastosujemy dosłowne skalowanie (niezalecane): wpisz 2000 PLN jako maksymalną wartość parametru purchaseValue.
  5. Kliknij Symuluj.
  6. Zwróć uwagę, że współczynniki szumu są wysokie. Dzieje się tak, ponieważ nasz współczynnik skalowania jest obliczany na podstawie kwoty 2000 zł, podczas gdy w rzeczywistości większość wartości zakupów będzie znacznie niższa.
  7. Teraz zastosujmy bardziej pragmatyczne podejście do skalowania. Zmień maksymalną wartość zakupu na 120 PLN.
  8. Kliknij Symuluj.
  9. Zauważ, że w tej drugiej symulacji współczynniki szumu są niższe (co jest korzystniejsze).

Aby wdrożyć skalowanie, zwykle obliczasz współczynnik skalowania na podstawie maksymalnej możliwej wartości danego zdarzenia konwersji (więcej informacji znajdziesz w tym przykładzie).

Unikaj jednak używania dosłownej wartości maksymalnej do obliczania tego współczynnika skalowania, ponieważ pogorszy to stosunek sygnału do szumu. Zamiast tego usuń wartości odstające i użyj pragmatycznej wartości maksymalnej.

Zarządzanie wartościami odstającymi to złożony temat. Aby poprawić stosunek sygnału do szumu, można zastosować wiele zaawansowanych technik. Jeden z nich został opisany w sekcji Zaawansowane zarządzanie wartościami odstającymi.

Dalsze kroki

Po przeanalizowaniu różnych strategii zarządzania szumem w swoim przypadku możesz zacząć eksperymentować z raportami podsumowującymi, zbierając rzeczywiste dane pomiarowe w ramach testu origin. Zapoznaj się z przewodnikami i wskazówkami, aby wypróbować interfejs API.

Dodatek

Krótka prezentacja Noise Lab

Noise Lab pomaga szybko oceniać i porównywać strategie zarządzania szumem. Pozwala na:

  • Poznaj główne parametry, które mogą wpływać na szum, i ich wpływ.
  • Symuluj wpływ szumu na dane pomiarowe wyjściowe w przypadku różnych decyzji projektowych. Dostosuj parametry projektu, aż uzyskasz stosunek sygnału do szumu odpowiedni do Twojego przypadku użycia.
  • Podziel się opinią na temat przydatności raportów podsumowujących: które wartości parametrów epsilon i szumu są dla Ciebie odpowiednie, a które nie? Gdzie znajdują się punkty przegięcia?

Potraktuj to jako etap przygotowawczy. Noise Lab generuje dane pomiarowe, aby symulować dane wyjściowe raportu podsumowującego na podstawie Twoich danych wejściowych. Nie przechowuje ani nie udostępnia żadnych danych.

W Laboratorium szumu dostępne są 2 tryby:

  1. Tryb prosty: poznaj podstawowe elementy sterujące, które umożliwiają kontrolowanie hałasu.
  2. Tryb zaawansowany: testuj różne strategie zarządzania szumem i sprawdzaj, która z nich zapewnia najlepszy stosunek sygnału do szumu w Twoich przypadkach użycia.

Kliknij przyciski w menu u góry, aby przełączać się między tymi 2 trybami (1. na zrzucie ekranu poniżej).

Tryb prosty
  • W trybie prostym możesz kontrolować parametry (znajdujące się po lewej stronie lub na zrzucie ekranu poniżej w punkcie 2), takie jak epsilon, i sprawdzać, jak wpływają one na szum.
  • Każdy parametr ma etykietkę (przycisk „?”). Kliknij te elementy, aby wyświetlić wyjaśnienie każdego parametru (nr 3 na zrzucie ekranu poniżej).
  • Na początek kliknij przycisk „Symuluj” i zobacz, jak wyglądają dane wyjściowe (#4 na zrzucie ekranu poniżej).
  • W sekcji Wynik możesz zobaczyć różne szczegóły. Niektóre elementy mają obok siebie znak „?”. Poświęć chwilę, aby kliknąć każdy znak „?”, aby wyświetlić wyjaśnienie poszczególnych informacji.
  • W sekcji Wynik kliknij przełącznik Szczegóły, jeśli chcesz wyświetlić rozwiniętą wersję tabeli (nr 5 na zrzucie ekranu poniżej).
  • Po każdej tabeli danych w sekcji danych wyjściowych znajduje się opcja pobrania tabeli do użytku offline. Dodatkowo w prawym dolnym rogu znajduje się opcja pobrania wszystkich tabel danych (nr 6 na poniższym zrzucie ekranu).
  • W sekcji Parametry przetestuj różne ustawienia parametrów i kliknij Symuluj, aby zobaczyć, jak wpływają one na wynik:
    Interfejs laboratorium szumu w trybie prostym.
    Interfejs Noise Lab w trybie prostym.
Tryb dla zaawansowanych
  • W trybie zaawansowanym masz większą kontrolę nad parametrami. Możesz dodać niestandardowe cele pomiaru i wymiary (#1 i #2 na zrzucie ekranu poniżej).
  • Przewiń w dół sekcji Parametry i zobacz opcję Kluczowa strategia. Możesz go użyć do testowania różnych struktur kluczy (#3 na zrzucie ekranu poniżej).
    • Aby przetestować różne struktury kluczy, zmień strategię kluczy na „B”.
    • Wpisz liczbę różnych struktur kluczy, których chcesz używać (domyślnie ustawiona jest wartość „2”).
    • Kliknij Wygeneruj struktury kluczy.
    • Aby określić struktury kluczy, kliknij pola wyboru obok kluczy, które chcesz uwzględnić w poszczególnych strukturach.
    • Aby zobaczyć dane wyjściowe, kliknij Symuluj.
      Tryb zaawansowany oferuje ustawienia celów pomiarowych i wymiarów do śledzenia, które są wyróżnione na pasku bocznym.
      Interfejs Noise Lab w trybie zaawansowanym.
      W trybie zaawansowanym w sekcji Parametry na pasku bocznym dostępna jest też opcja Strategia kluczowa.
      Interfejs Noise Lab w trybie zaawansowanym.

Dane dotyczące hałasu

Podstawowe pojęcie

Szum jest dodawany w celu ochrony prywatności poszczególnych użytkowników.

Wysoka wartość szumu wskazuje, że koszyki/klucze są rzadkie i zawierają dane z ograniczonej liczby zdarzeń wrażliwych. Noise Lab robi to automatycznie, aby umożliwić osobom „ukrycie się w tłumie”, czyli innymi słowy, chronić prywatność tych osób poprzez dodanie większej ilości szumu.

Niska wartość szumu oznacza, że konfiguracja danych została zaprojektowana w taki sposób, aby umożliwić osobom „ukrycie się w tłumie”. Oznacza to, że przedziały zawierają dane z wystarczającej liczby zdarzeń, aby można było zweryfikować, czy prywatność poszczególnych użytkowników jest chroniona.

To stwierdzenie jest prawdziwe zarówno w przypadku średniego błędu procentowego (APE), jak i RMSRE_T (średniego błędu względnego z progiem).

APE (średni błąd procentowy)

APE to stosunek szumu do sygnału, czyli prawdziwej wartości podsumowania.

Niższe wartości APE oznaczają lepszy stosunek sygnału do szumu.

Formuła

W przypadku danego raportu podsumowującego APE jest obliczany w ten sposób:

Równanie APE. Wymagane są wartości bezwzględne, ponieważ szum może być ujemny.
Równanie APE. Wymagane są wartości bezwzględne, ponieważ szum może być ujemny.

True to prawdziwa wartość podsumowania. APE to średnia szumu w każdej prawdziwej wartości podsumowania, uśredniona we wszystkich wpisach w raporcie podsumowującym. W Noise Lab wynik jest następnie mnożony przez 100, aby uzyskać wartość procentową.

Wady i zalety

Przedziały o mniejszych rozmiarach mają nieproporcjonalny wpływ na ostateczną wartość APE. Może to wprowadzać w błąd podczas oceny szumu. Dlatego dodaliśmy kolejny rodzaj danych, RMSRE_T, który ma na celu ograniczenie tego problemu związanego z rodzajem danych APE. Szczegółowe informacje znajdziesz w przykładach.

Kod

Sprawdź kod źródłowy obliczeń APE.

RMSRE_T (średniokwadratowy błąd względny z progiem)

RMSRE_T (średniokwadratowy błąd względny z progiem) to kolejny wskaźnik szumu.

Interpretowanie wartości RMSRE_T

Niższe wartości RMSRE_T oznaczają lepszy stosunek sygnału do szumu.
Jeśli na przykład dopuszczalny w Twoim przypadku stosunek szumu wynosi 20%, a wartość RMSRE_T to 0,2, możesz mieć pewność, że poziom szumu mieści się w dopuszczalnym zakresie.

Formuła

W przypadku danego raportu podsumowującego wartość RMSRE_T jest obliczana w ten sposób:

Formuła
Równanie dla RMSRE_T. Wymagane są wartości bezwzględne, ponieważ szum może być ujemny.
Wady i zalety

Wskaźnik RMSRE_T jest nieco bardziej skomplikowany niż APE. Ma jednak kilka zalet, które w niektórych przypadkach sprawiają, że jest bardziej odpowiedni niż APE do analizowania szumu w raportach podsumowujących:

  • RMSRE_T jest bardziej stabilny. „T” to wartość progowa. W obliczeniach RMSRE_T używamy wartości „T”, aby przypisać mniejszą wagę do przedziałów, w których występuje mniej konwersji, a co za tym idzie, są one bardziej podatne na szumy ze względu na mały rozmiar. W przypadku T dane nie rosną gwałtownie w przypadku przedziałów z niewielką liczbą konwersji. Jeśli T = 5, wartość szumu wynosząca nawet 1 w przypadku segmentu z 0 konwersji nie będzie wyświetlana jako znacznie większa niż 1. Zamiast tego będzie ograniczona do 0, 2, czyli 1/5, ponieważ T = 5. Ta miara jest bardziej stabilna, ponieważ przypisuje mniejszą wagę mniejszym przedziałom, które są bardziej podatne na szumy. Ułatwia to porównywanie 2 symulacji.
  • RMSRE_T umożliwia proste agregowanie. Znając wartość RMSRE_T wielu przedziałów wraz z ich rzeczywistymi liczbami, możesz obliczyć wartość RMSRE_T ich sumy. Umożliwia to też optymalizację pod kątem RMSRE_T w przypadku tych połączonych wartości.

Agregacja w przypadku APE jest możliwa, ale formuła jest dość skomplikowana, ponieważ obejmuje wartość bezwzględną sumy szumów Laplace’a. Utrudnia to optymalizację APE.

Kod

Sprawdź kod źródłowy obliczeń RMSRE_T.

Przykłady

Raport podsumowujący z 3 kategoriami:

  • bucket_1 = noise: 10, trueSummaryValue: 100
  • bucket_2 = noise: 20, trueSummaryValue: 100
  • bucket_3 = noise: 20, trueSummaryValue: 200

APE = (0,1 + 0,2 + 0,1) / 3 = 13%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,200))^2) / 3) =  sqrt( (0.01 + 0.04 + 0.01) / 3) =  0.14

Raport podsumowujący z 3 kategoriami:

  • bucket_1 = noise: 10, trueSummaryValue: 100
  • bucket_2 = noise: 20, trueSummaryValue: 100
  • bucket_3 = noise: 20, trueSummaryValue: 20

APE = (0,1 + 0,2 + 1) / 3 = 43%

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2 +
(20/max(5,20))^2) / 3)  =  sqrt( (0.01 + 0.04 + 1.0) / 3) =  0.59

Raport podsumowujący z 3 kategoriami:

  • bucket_1 = noise: 10, trueSummaryValue: 100
  • bucket_2 = noise: 20, trueSummaryValue: 100
  • bucket_3 = noise: 20, trueSummaryValue: 0

APE = (0,1 + 0,2 + nieskończoność) / 3 = nieskończoność

RMSRE_T = sqrt( ( (10/max(5,100))^2  + (20/max(5,100))^2  +
(20/max(5,0))^2) / 3) =  sqrt( (0.01 + 0.04 + 16.0) / 3) =  2.31

Zaawansowane zarządzanie kluczami

Platforma DSP lub firma zajmująca się pomiarami reklam może mieć tysiące klientów na całym świecie, którzy działają w różnych branżach, posługują się różnymi walutami i mają różny potencjał cenowy. Oznacza to, że tworzenie i zarządzanie jednym kluczem agregacji na reklamodawcę będzie prawdopodobnie bardzo niepraktyczne. Dodatkowo trudno będzie wybrać maksymalną wartość podlegającą agregacji i budżet agregacji, które mogą ograniczyć wpływ szumu w przypadku tysięcy reklamodawców na całym świecie. Zamiast tego rozważmy te scenariusze:

Kluczowa strategia A

Dostawca technologii reklamowych decyduje się utworzyć i zarządzać jednym kluczem dla wszystkich swoich klientów reklamowych. W przypadku wszystkich reklamodawców i wszystkich walut zakres zakupów jest różny – od małej liczby zakupów produktów z wyższej półki po dużą liczbę zakupów produktów z niższej półki. W rezultacie otrzymasz ten klucz:

Klucz (wiele walut)
Maksymalna wartość do agregacji 5 000 000
Zakres wartości zakupu [120–5 000 000]
Kluczowa strategia B

Dostawca technologii reklamowych decyduje się utworzyć 2 klucze i zarządzać nimi na potrzeby wszystkich swoich klientów reklamowych. Decydują się rozdzielić klucze według waluty. W przypadku wszystkich reklamodawców i wszystkich walut zakres zakupów jest różny – od małej liczby zakupów produktów z wyższej półki po dużą liczbę zakupów produktów z niższej półki. Rozdzielając je według waluty, tworzą 2 klucze:

Klucz 1 (USD) Klawisz 2 (¥)
Maksymalna wartość do agregacji 40 000 PLN 5 000 000 JPY
Zakres wartości zakupu [120–40 000] [15 000–5 000 000]

Strategia kluczowa B będzie miała w wynikach mniej szumu niż strategia kluczowa A, ponieważ wartości walut nie są równomiernie rozłożone w poszczególnych walutach. Zastanów się na przykład, jak zakupy w jenach połączone z zakupami w dolarach amerykańskich zmienią dane źródłowe i spowodują szum w danych wyjściowych.

Kluczowa strategia C

Dostawca technologii reklamowych decyduje się utworzyć 4 klucze i zarządzać nimi w przypadku wszystkich swoich klientów reklamowych oraz rozdzielić je według kryterium waluta × branża reklamodawcy:

Klucz 1
(USD x reklamodawcy sprzedający ekskluzywną biżuterię)
Klucz 2
(¥ x Reklamodawcy luksusowej biżuterii)
Kluczowy 3
(USD x Reklamodawcy z branży odzieżowej)
Klucz 4
(¥ x reklamodawcy z branży odzieżowej)
Maksymalna wartość do agregacji 40 000 PLN 5 000 000 JPY 500 USD 65 000 JPY
Zakres wartości zakupu [10 000–40 000] [1 250 000–5 000 000] [120–500] [15 000–65 000]

Strategia kluczowa C będzie miała mniej szumu w wynikach niż strategia kluczowa B, ponieważ wartości zakupów reklamodawców nie są rozłożone równomiernie. Na przykład zastanów się, jak zakupy drogiej biżuterii połączone z zakupami czapek z daszkiem zmienią dane źródłowe i spowodują powstanie szumu w danych wyjściowych.

Aby zmniejszyć szum w danych wyjściowych, rozważ utworzenie wspólnych maksymalnych wartości zagregowanych i wspólnych współczynników skalowania dla podobieństw występujących u wielu reklamodawców. Możesz na przykład eksperymentować z tymi strategiami w przypadku reklamodawców:

  • Jedna strategia podzielona według waluty (USD, ¥, CAD itp.)
  • Jedna strategia podzielona według branży reklamodawcy (ubezpieczenia, motoryzacja, handel detaliczny itp.)
  • Jedna strategia podzielona na podobne zakresy wartości zakupu ([100], [1000], [10000] itp.)

Tworząc kluczowe strategie oparte na podobieństwach między reklamodawcami, łatwiej zarządzać kluczami i odpowiadającym im kodem, a stosunek sygnału do szumu staje się wyższy. Eksperymentuj z różnymi strategiami, które uwzględniają różne cechy wspólne reklamodawców, aby odkryć punkty zwrotne w maksymalizowaniu wpływu szumu w porównaniu z zarządzaniem kodem.


Zaawansowane zarządzanie wartościami odstającymi

Rozważmy scenariusz dotyczący 2 reklamodawców:

  • Reklamodawca A:
    • W przypadku wszystkich produktów w witrynie reklamodawcy A cena zakupu może wynosić od 120 PLN do 1000 PLN, czyli w zakresie 880 PLN.
    • Ceny zakupu są równomiernie rozłożone w zakresie 880 PLN, bez wartości odstających poza 2 odchylenia standardowe od mediany ceny zakupu.
  • Reklamodawca B:
    • W przypadku wszystkich produktów w witrynie reklamodawcy B możliwe ceny zakupu wahają się od 120 PLN do 1000 PLN, co daje zakres 880 PLN.
    • Ceny zakupu są w większości w zakresie 120–500 PLN, a tylko 5% zakupów mieści się w zakresie 500–1000 PLN.

Biorąc pod uwagę wymagania dotyczące budżetu na udział i metodologię dodawania szumu do wyników końcowych, reklamodawca B będzie domyślnie uzyskiwać bardziej zaszumione dane wyjściowe niż reklamodawca A, ponieważ w przypadku reklamodawcy B istnieje większe prawdopodobieństwo, że wartości odstające wpłyną na obliczenia podstawowe.

Można temu zapobiec, stosując odpowiednią konfigurację klucza. Testuj kluczowe strategie, które pomagają zarządzać danymi odstającymi i równomiernie rozkładać wartości zakupu w zakresie zakupu klucza.

W przypadku reklamodawcy B możesz utworzyć 2 osobne klucze, aby rejestrować 2 różne zakresy wartości zakupu. W tym przykładzie technologia reklamowa zauważyła, że wartości odstające występują powyżej wartości zakupu wynoszącej 500 zł. Spróbuj wdrożyć 2 osobne klucze dla tego reklamodawcy:

  • Klucz struktury 1 : klucz, który rejestruje tylko zakupy w zakresie od 120 do 500 PLN (obejmujący około 95% całkowitej liczby zakupów).
  • Kluczowa struktura 2: klucz, który rejestruje tylko zakupy o wartości powyżej 500 PLN (obejmuje około 5% całkowitej liczby zakupów).

Wdrożenie tej kluczowej strategii powinno pomóc reklamodawcy B w lepszym zarządzaniu szumem i maksymalizowaniu korzyści z raportów zbiorczych. W przypadku nowych, mniejszych zakresów klucze A i B powinny mieć bardziej równomierny rozkład danych w porównaniu z poprzednim pojedynczym kluczem. Dzięki temu w danych wyjściowych każdego klucza będzie mniej szumu niż w przypadku poprzedniego pojedynczego klucza.