Leitfaden für die Analyse von Messungen

In dieser Anleitung erfahren Sie, wie Sie einen eigenständigen Test der Privacy Sandbox Attribution Reporting API durchführen. Weitere Informationen finden Sie in Abschnitt 12.

  • Die Messung der Ergebnisse von Kontroll- und Testgruppen in den Versuchsaufbauten 1 und 2 der CMA wird in der Anleitung zum Testen von Relevance APIs behandelt, da das Ziel dieser Tests darin besteht, die Wirksamkeit der Verwendung von Protected Audience und Topics zu testen. Weitere Informationen finden Sie in Abschnitt 11.

Hinweis

Bewertungsziele und vorgeschlagene Testeinrichtung

Ziel 1: Effektivität der Attribution Reporting API für Berichte ermitteln

Wir schlagen ein A/A-Setup vor, um die Auswirkungen auf die Berichterstellung zu messen.

  • Dieser Vorschlag entspricht den CMA-Richtlinien zur Bewertung von conversionsbasierten Messwerten. Weitere Informationen finden Sie in Abschnitt 21 und Abschnitt 12.
  • Wir bevorzugen diese Methode gegenüber Modus A/B, da die Attribution Reporting API (ARA) getestet werden kann, indem Conversions für dieselben Impressionen gleichzeitig mit zwei verschiedenen Analysemethoden erfasst werden (Drittanbieter-Cookies + Daten ohne Drittanbieter-Cookies und ARA + Daten ohne Drittanbieter-Cookies).
  • Bei einem A/A-Test wird auch die Auswirkung der Attribution Reporting API auf die Conversion-Analyse isoliert. So werden beispielsweise Änderungen an den Conversion-Raten aufgrund fehlender Drittanbieter-Cookies vermieden.

Vorgeschlagene Analysepunkte

  • Wählen Sie einen Traffic-Abschnitt aus, der groß genug ist, um statistisch signifikante Ergebnisse zu erzielen, und sowohl Drittanbieter-Cookies als auch Privacy Sandbox-APIs umfasst. Im Idealfall ist das der gesamte Traffic mit Ausnahme von Modus B, in dem Drittanbieter-Cookies deaktiviert sind.
    • Wir empfehlen, Modus B aus dem A/A-Test auszuschließen, da Drittanbieter-Cookies nicht verfügbar sind und Sie die Ergebnisse der Reichweiten- und Häufigkeitsanalyse nicht mit Attributionsergebnissen auf Grundlage von Drittanbieter-Cookies vergleichen können.
    • Wenn Sie Modus B einbeziehen möchten, sollten Sie Debug-Berichte für den Modus B-Traffic aktivieren. Mithilfe von Debug-Berichten können Sie Probleme mit der Konfiguration oder Implementierung beheben.
  • Wenn Sie Tests mit einem kleineren Teil des Traffics durchführen möchten, sind die Messergebnisse wahrscheinlich ungenauer als erwartet. Wir empfehlen, in Ihrer Analyse anzugeben, welcher Anteil des Traffics verwendet wurde und ob Sie Ergebnisse auf Grundlage von Berichten mit Rauschen oder Debug-Berichten ohne Rauschen präsentieren.
    • Bei Zusammenfassungsberichten sind die Zusammenfassungswerte wahrscheinlich niedriger. Der Aggregationsdienst fügt unabhängig vom Zusammenfassungswert Rauschen aus derselben Verteilung hinzu.
  • Verschiedene Messmethoden für diesen Traffic-Anteil testen
    • Kontrollgruppe 1: Aktuelle Analysemethoden verwenden (Drittanbieter-Cookies + Daten aus Nicht-Drittanbieter-Cookies)
    • (optional) Kontrollgruppe 2: Keine Privacy Sandbox und keine Drittanbieter-Cookies, d. h. nur Daten, die nicht von Drittanbieter-Cookies stammen
      • Beachten Sie, dass einige Websites möglicherweise weiterhin auf Drittanbieter-Cookies zugreifen können. Um möglichst genaue Ergebnisse zu erhalten, sollten Sie diese Drittanbieter-Cookies nicht für die Analyse in den Methoden „Kontrollgruppe 2“ oder „Testgruppe“ verwenden.
    • Testgruppe – Privacy Sandbox-APIs und Daten ohne Drittanbieter-Cookies
      • Beachten Sie, dass einige Websites möglicherweise weiterhin auf Drittanbieter-Cookies zugreifen können. Um möglichst genaue Ergebnisse zu erhalten, sollten Sie diese Drittanbieter-Cookies nicht für die Analyse in den Methoden „Kontrollgruppe 2“ oder „Testgruppe“ verwenden.

Messwerte

  • Legen Sie fest, welche Messwerte für Ihr Unternehmen sinnvoll sind, um Ergebnisse zu messen, und fügen Sie eine Beschreibung hinzu, was der Messwert bedeutet und wie er gemessen wird.
    • Konzentrieren Sie sich auf Dimensionen und Messwerte, die für Ihre Werbetreibenden wichtig sind. Wenn sich Ihre Werbetreibenden beispielsweise auf Kauf-Conversions konzentrieren, sollten Sie die Anzahl der Conversions und den Kaufwert für diese Conversions messen.
  • Messwerte, die auf Anzahl oder Summe basieren (z. B. Conversion-Rate), sind besser geeignet als Messwerte, die auf Kosten pro Einheit basieren (z. B. Cost-per-Conversion). Bei A/A-Analysen können Kostenmesswerte vollständig aus den Conversion-Werten für Anzahl oder Summe abgeleitet werden.
  • Geben Sie an, ob die Messwerte auf Berichten auf Ereignisebene, Zusammenfassungsberichten oder einer Kombination aus beiden Berichten basieren und ob Debug-Berichte verwendet wurden.
  • In den vorgeschlagenen Vorlagentabellen finden Sie Informationen zur Formatierung von quantitativem Feedback.

Analyse

  • Abdeckung:
    • Können Sie eine ähnliche Gruppe von Nutzern wie bei Drittanbieter-Cookies analysieren? Haben Sie eine höhere Abdeckung (z. B. mit App-zu-Web)?
    • Können Sie die Conversions (und Dimensionen oder Messwerte) erfassen, die für Sie oder Ihre Werbetreibenden am wichtigsten sind?
  • Quantitatives Feedback
    • Bei Berichten für Werbetreibende: Welcher Prozentsatz der wichtigsten Conversions kann für den Werbetreibenden gemeldet werden? Welcher Prozentsatz der Kampagnen erfüllt einen Qualitätsstandard für Berichte? (Ein Qualitätsstandard hilft, Kampagnen mit einer geringen Anzahl von Conversions zu berücksichtigen.)
    • Gibt es Werbetreibende, die heute mehr oder weniger auf Drittanbieter-Cookies für Berichte angewiesen sind?
  • Sonstiges qualitatives Feedback:
    • Wie wirkt sich ARA auf die Komplexität der Einrichtung von Analyse- und Attributionslösungen für Werbetreibende aus?
    • Hilft oder behindert ARA Werbetreibende dabei, sich auf die für sie wichtigen Messwerte und Ziele zu konzentrieren?

Vorgeschlagene Vorlagentabellen für die Berichterstellung zu Auswirkungen

(Berichterstellung) Tabelle 1:

Beispieltabelle für die Meldung von Testergebnissen an die CMA (entnommen von Seite 18, Tester sollten jedoch überlegen, welche Messwerte am sinnvollsten / realistischsten sind, und die Tabelle entsprechend anpassen).

Testgruppe 1 im Vergleich zur Kontrollgruppe
Vergleich des vorgeschlagenen Endzustands mit dem aktuellen Zustand 		Testgruppe im Vergleich zur Kontrollgruppe 2
Vergleicht den vorgeschlagenen Endzustand mit dem Fall, in dem überhaupt keine PS-APIs verwendet werden. 		Kontrollgruppe 2 im Vergleich zu Kontrollgruppe 1
Vergleich der Conversion-Analyse mit und ohne Drittanbieter-Cookies, ohne PS-APIs.
Messmethodik Conversion-Analyse für die Testgruppe (ARA mit Daten ohne Drittanbieter-Cookies) mit der Kontrollgruppe 1 (Daten mit und ohne Drittanbieter-Cookies) vergleichen Conversion-Analyse für die Testgruppe (ARA mit Daten ohne Drittanbieter-Cookies) mit der Kontrollgruppe 2 (nur Daten ohne Drittanbieter-Cookies) vergleichen Conversion-Messung für Kontrollgruppe 2 (nur Daten ohne Drittanbieter-Cookies) mit Kontrollgruppe 1 (Daten mit und ohne Drittanbieter-Cookies) vergleichen
Conversions pro Euro Effekt Effekt Effekt
Standardfehler Standardfehler Standardfehler
95 % Konfidenzintervall 95 % Konfidenzintervall 95 % Konfidenzintervall
Conversions insgesamt Effekt Effekt Effekt
Standardfehler Standardfehler Standardfehler
95 % Konfidenzintervall 95 % Konfidenzintervall 95 % Konfidenzintervall
Conversion-Rate Effekt Effekt Effekt
Standardfehler Standardfehler Standardfehler
95 % Konfidenzintervall 95 % Konfidenzintervall 95 % Konfidenzintervall
(eigene Messwerte hinzufügen)
(Bericht) Tabelle 2:

Beispieltabelle für die Berichterstellung deskriptiver Statistiken für Messwerte in der Test- und Kontrollgruppe (entnommen von Seite 20, aber Tester sollten überlegen, welche Messwerte am sinnvollsten / realistischsten sind, und die Tabelle entsprechend anpassen).

Messwert Testgruppe
Conversion-Analyse mit ARA und allen Daten, die nicht auf Drittanbieter-Cookies basieren 		Kontrolle 1
Conversion-Analyse mit Drittanbieter-Cookies und allen Daten, die Sie nicht über Drittanbieter-Cookies erheben 		Kontrollgruppe 2
Conversion-Analyse nur mit Daten, die nicht von Drittanbieter-Cookies stammen
Conversions pro Euro Durchschnitt Durchschnitt Durchschnitt
Standardabweichung Standardabweichung Standardabweichung
25. und 75. Perzentil 25. und 75. Perzentil 25. und 75. Perzentil
Conversions insgesamt Durchschnitt Durchschnitt Durchschnitt
Standardabweichung Standardabweichung Standardabweichung
25. und 75. Perzentil 25. und 75. Perzentil 25. und 75. Perzentil
Conversion-Rate Durchschnitt Durchschnitt Durchschnitt
Standardabweichung Standardabweichung Standardabweichung
25. und 75. Perzentil 25. und 75. Perzentil 25. und 75. Perzentil
(eigene Messwerte hinzufügen)

Ziel 2: Effektivität der Attribution Reporting API für die Gebotsoptimierung ermitteln

Wir schlagen einen A/B-Test vor, um die Auswirkungen auf die Gebotsoptimierung zu messen.

  • Um die Auswirkungen auf die Gebotsoptimierung zu messen, müssen Sie zwei verschiedene Modelle für maschinelles Lernen trainieren und auf zwei Traffic-Segmenten verwenden: ein Modell, das mit aktuellen Analysemethoden (Drittanbieter-Cookies + Daten ohne Drittanbieter-Cookies) trainiert wurde und auf die Kontrollgruppe angewendet wird, und ein Modell, das mit der Attribution Reporting API + Daten ohne Drittanbieter-Cookies trainiert wurde und auf die Testgruppe angewendet wird.
  • Das Modelltraining sollte auf so viel Traffic wie möglich basieren, um die Leistung zu maximieren. Das gilt auch dann, wenn die Testgruppe nur einen kleineren Teil des Traffics umfasst und es Überschneidungen zwischen den Trainingspopulationen gibt. Verwenden Sie beispielsweise das vorhandene Drittanbieter-Cookie-Modell, das für den gesamten Traffic trainiert wird, und trainieren Sie das ARA-Modell für den gesamten ARA-Traffic, der für Zielvorhaben 1 aktiviert ist.
    • Wenn Sie Ergebnisse an die CMA senden, geben Sie an, ob es einen erheblichen Unterschied zwischen den Traffic-Segmenten gibt, die zum Trainieren verschiedener Modelle verwendet werden. Das ist beispielsweise der Fall, wenn Modelle, die auf Drittanbieter-Cookies basieren, mit 100% des Traffics trainiert werden, ARA-basierte Modelle jedoch nur mit 1% des Traffics.
  • Wenn möglich, sollte das Training für die Gebotsmodelle für die Test- und Kontrollgruppe gleich lang dauern.
  • Überlegen Sie, ob Sie die Gebotsmodelle während des Tests kontinuierlich trainieren und aktualisieren sollten. Wenn ja, sollten Sie sie dann mit möglichst viel Traffic oder nur mit Traffic aus den Test- und Kontrollgruppen trainieren?
  • Die verschiedenen Modelle sollten in einem A/B-Test für disjunkte Traffic-Segmente verwendet werden. Für die zufällige Auswahl und Zuweisung von Nutzern für Test- und Kontrollgruppen empfehlen wir, mit Chrome erstellte Browsergruppen mit Labels (Modus A) zu verwenden oder einen eigenen Test mit zufälligen Browsergruppen durchzuführen. Wir raten davon ab, Modus B zu verwenden, da es aufgrund fehlender Drittanbieter-Cookies schwierig ist, Berichte zu conversionbasierten Messwerten zu erstellen.
    • Bei Chrome-gestützten Browsergruppen werden einige Chrome-Instanzen ausgeschlossen, z. B. Chrome Enterprise-Nutzer. Bei Ihren eigenen zufälligen Gruppen von Browsern werden diese Chrome-Instanzen möglicherweise nicht ausgeschlossen. Daher sollten Sie Ihren Test nur für Gruppen im Modus A oder nur für Gruppen ohne Modus A/Modus B ausführen, um zu vermeiden, dass Messwerte, die für Gruppen mit Chrome-Unterstützung erhoben wurden, mit Messwerten verglichen werden, die für Gruppen ohne Chrome-Unterstützung erhoben wurden.
    • Wenn Sie keine von Chrome unterstützten Browsergruppen mit Labels verwenden (z. B. wenn Sie einen Test für anderen Traffic ausführen):
      • Prüfen Sie, ob die Aufteilung der Nutzer in Test- und Kontrollgruppen randomisiert und unvoreingenommen ist. Unabhängig von der Einrichtung der Testgruppe sollten Sie die Merkmale der Test- und Kontrollgruppe auswerten, um zu prüfen, ob sie vergleichbar sind. (Siehe Abschnitt 15)
      • Prüfen Sie, ob die Nutzercharakteristika und Kampagnenkonfigurationen der Test- und Kontrollgruppen identisch sind. Verwenden Sie beispielsweise ähnliche geografische Einheiten in beiden Gruppen. (Siehe Abschnitt 28)
        • Konkrete Beispiele: Prüfen Sie, ob ähnliche Conversion-Typen mit demselben Attributionszeitraum und derselben Attributionslogik erfasst werden, ob die Kampagnen auf ähnliche Zielgruppen, Interessengruppen und geografische Einheiten ausgerichtet sind und ob ähnliche Anzeigentexte und Anzeigenformate verwendet werden.
      • √ Die ursprünglichen Populationsgrößen für Test- und Kontrollgruppen sind groß genug, um Flexibilität bei Geboten und Tests zu bieten.
    • Wenn Sie mit Chrome erstellte Browsergruppen mit Labels verwenden (Modus A), wird die Randomisierung von Chrome-Browserinstanzen in Gruppen von Chrome übernommen. Es wird empfohlen, wie bisher zu prüfen, ob die Randomisierung zu unverzerrten / vergleichbaren Gruppen für Ihre Zwecke führt.

Vorgeschlagene Analysepunkte

  • Wir empfehlen, Kontroll- und Testgruppen zu definieren und für jede Gruppe ein anderes Machine-Learning-Modell zur Gebotsoptimierung zu verwenden:
    • Kontrollgruppe 1: Gebotsoptimierungsmodell, das mit aktuellen Analysemethoden trainiert wurde (Drittanbieter-Cookies + Daten ohne Drittanbieter-Cookies)
    • (optional) Kontrollgruppe 2: Verwenden Sie das Gebotsoptimierungsmodell, das ohne Privacy Sandbox und ohne Drittanbieter-Cookies trainiert wurde, d. h. nur mit Daten, die nicht auf Drittanbieter-Cookies basieren.
      • Beachten Sie, dass einige Websites möglicherweise weiterhin auf Drittanbieter-Cookies zugreifen können. Um möglichst genaue Ergebnisse zu erhalten, sollten Sie diese Drittanbieter-Cookies nicht für die Analyse in den Methoden „Kontrollgruppe 2“ oder „Testgruppe“ verwenden.
    • Testgruppe: Verwenden Sie das Gebotsoptimierungsmodell, das mit Daten aus der Attribution Reporting API und ohne Drittanbieter-Cookies trainiert wurde.
      • Beachten Sie, dass einige Websites möglicherweise weiterhin auf Drittanbieter-Cookies zugreifen können. Um möglichst genaue Ergebnisse zu erhalten, sollten Sie diese Drittanbieter-Cookies nicht für die Analyse in den Methoden „Kontrollgruppe 2“ oder „Testgruppe“ verwenden.

Messwerte

  • Legen Sie fest, welche Messwerte für Ihr Unternehmen sinnvoll sind, um Ergebnisse zu messen, und fügen Sie eine Beschreibung hinzu, was der Messwert bedeutet und wie er gemessen wird.
    • Ein sinnvoller Messwert könnte beispielsweise der Umsatz (Publisher-Umsatz) sein, der mit den CMA-Richtlinien übereinstimmt, um die Auswirkungen der Abschaffung von Drittanbieter-Cookies auf den „Umsatz pro Impression“ zu verstehen. Weitere Informationen finden Sie in Abschnitt 19.
  • Wenn Sie Berichte zu conversionsbasierten Messwerten erstellen, sollten Sie für jede Gruppe dieselbe Analysemethode verwenden, um multivariate Tests zu vermeiden (bei denen die Auswirkungen auf Optimierung und Berichterstellung in einem Experiment getestet werden). In den vorgeschlagenen Vorlagentabellen finden Sie Informationen zur Formatierung von quantitativem Feedback.
  • Sie können auch andere Methoden verwenden, um Messwerte zu den Auswirkungen der Gebotsoptimierung zu erfassen, z. B. simulierte Gebote. Gibt es simulierte Messwerte, mit denen sich die Auswirkungen von Drittanbieter-Cookies und ARA auf Ihre Gebotsmodelle nachvollziehen lassen?
  • Geben Sie an, ob die Messwerte auf Berichten auf Ereignisebene, Zusammenfassungsberichten oder einer Kombination aus beiden Berichten basieren und ob Debug-Berichte verwendet wurden.

Analyse

  • Abdeckung:
    • Können Sie eine ähnliche Gruppe von Nutzern wie bei Drittanbieter-Cookies analysieren? Sehen Sie Änderungen bei der Abdeckung (z. B. bei App-zu-Web)?
    • Können Sie die Conversions (und Dimensionen/Messwerte) erfassen, die für Sie oder Ihre Werbetreibenden am wichtigsten sind?
  • Wie würden sich die Unterschiede zwischen den Gruppen auf Folgendes auswirken:
    • Berichte für Werbetreibende, z. B. welcher Prozentsatz der wichtigsten Conversions erfasst werden kann.
    • Beim Training und bei der Optimierung wird beispielsweise simuliert, wie sich unterschiedliche Conversion-Daten auf die Modellleistung auswirken.
  • Sonstiges qualitatives Feedback:
    • Wie wirkt sich ARA auf die Komplexität der Gebotsoptimierung für Werbetreibende aus?
    • Hilft oder behindert ARA Werbetreibende dabei, sich auf die für sie wichtigen Messwerte und Ziele zu konzentrieren?

Vorgeschlagene Vorlagentabellen für die Gebotsauswirkung

(Bidding) Tabelle 1:

Beispiel für eine Vorlagentabelle mit Testergebnissen, die Marktteilnehmer der CMA vorlegen sollten (entnommen von Seite 18, aber Tester sollten überlegen, welche Messwerte am aussagekräftigsten / realistischsten sind, und die Tabelle entsprechend anpassen).

Testgruppe 1 im Vergleich zur Kontrollgruppe
Vergleich des vorgeschlagenen Endzustands mit dem aktuellen Zustand 		Testgruppe im Vergleich zur Kontrollgruppe 2
Vergleicht den vorgeschlagenen Endzustand mit dem Fall, in dem überhaupt keine PS-APIs verwendet werden. 		Kontrollgruppe 2 im Vergleich zu Kontrollgruppe 1
Vergleich der Gebotsoptimierung mit und ohne Drittanbieter-Cookies, ohne PS-APIs.
Messmethodik Um multivariate Tests zu vermeiden, verwenden Sie Daten aus Drittanbieter-Cookies und Daten aus Nicht-Drittanbieter-Cookies, um conversionsbezogene Messwerte für beide Gruppen in jedem Test zu erfassen.
Umsatz pro Impression Effekt Effekt Effekt
Standardfehler Standardfehler Standardfehler
95 % Konfidenzintervall 95 % Konfidenzintervall 95 % Konfidenzintervall
Eigene Messwerte hinzufügen
(Bidding) Tabelle 2:

Beispieltabelle für die Berichterstellung deskriptiver Statistiken für Messwerte in der Test- und Kontrollgruppe (entnommen von Seite 20, aber Tester sollten überlegen, welche Messwerte am sinnvollsten / realistischsten sind, und die Tabelle entsprechend anpassen).

Testgruppe
Gebotsoptimierung mit ARA und allen Daten, die nicht auf Drittanbieter-Cookies basieren 		Kontrollgruppe 1
Gebotsoptimierung mit Drittanbieter-Cookies und allen anderen Daten, die Sie nicht über Drittanbieter-Cookies erheben 		Kontrollgruppe 2
Gebotsoptimierung nur mit Daten, die nicht auf Drittanbieter-Cookies basieren
Messmethodik Um multivariate Tests zu vermeiden, verwenden Sie Daten zu Drittanbieter-Cookies und Nicht-Drittanbieter-Cookies, um conversionsbezogene Messwerte für alle Testgruppen zu erfassen.
Umsatz pro Impression Durchschnitt Durchschnitt Durchschnitt
Standardabweichung Standardabweichung Standardabweichung
25. und 75. Perzentil 25. und 75. Perzentil 25. und 75. Perzentil
(eigene Messwerte hinzufügen)

Ziel 3: Lasttests für den Aggregationsdienst

Weitere Informationen finden Sie unter Framework für Lasttests des Aggregationsdienstes.