Сервис агрегации предоставляет специалистам по рекламным технологиям необходимую информацию об эффективности рекламных кампаний для повышения результативности работы с клиентами.
Данный документ охватывает следующие темы :
- Ключевые термины и понятия
- Как работает сервис агрегации данных , предоставляющий подробные данные о конверсиях и измерения охвата на основе необработанных агрегируемых отчетов.
- концептуальный обзор пакетной обработки агрегируемых отчетов
- Концептуальный обзор облачных компонентов
Для кого предназначен этот документ?
Эта страница поможет специалистам по рекламным технологиям и разработчикам понять, как наши API обеспечивают эффективное измерение эффективности рекламы с сохранением конфиденциальности.
В этом документе предполагается, что вы знакомы с API частной агрегации , API отчетности по атрибуции , API защищенной аудитории , общим хранилищем и доверенными средами выполнения .
Ключевые термины и понятия
Прежде чем продолжить, ознакомьтесь с ключевыми терминами:
Глоссарий
- Рекламные технологии
-
Рекламная платформа — это компания, которая предоставляет услуги по доставке рекламы.
- Агрегируемые отчеты
-
Агрегированные отчеты — это зашифрованные отчеты, отправляемые с отдельных пользовательских устройств. Эти отчеты содержат данные о поведении пользователей и конверсиях на разных сайтах. Конверсии (иногда называемые событиями-триггерами атрибуции) и связанные с ними показатели определяются рекламодателем или рекламным специалистом. Каждый отчет зашифрован, чтобы предотвратить доступ различных сторон к базовым данным.
- Сводная отчетность по бухгалтерскому учету
-
Распределенный реестр, расположенный в обоих координаторах, который отслеживает выделенный бюджет конфиденциальности и обеспечивает соблюдение правила «Нет дубликатов» . Это механизм сохранения конфиденциальности, расположенный и управляемый координаторами, который гарантирует, что никакие отчеты не пройдут через Службу агрегирования сверх выделенного бюджета конфиденциальности.
Узнайте больше о том, как стратегии пакетной обработки связаны с агрегируемыми отчетами .
- Сводный отчет по бухгалтерскому учету и бюджету
-
Ссылки на бюджет, обеспечивающий обработку отдельных отчетов не более одного раза.
- Сервис агрегации
-
Служба, управляемая рекламными технологиями, которая обрабатывает агрегированные отчеты для создания сводного отчета.
Подробнее о предыстории Службы агрегирования читайте в нашем пояснении и в полном списке терминов .
- Удостоверение
-
Механизм аутентификации идентичности программного обеспечения, обычно с помощью криптографических хешей или подписей. Для предложения услуги агрегации аттестация сопоставляет код, работающий в вашей службе агрегации, управляемой рекламными технологиями, с открытым исходным кодом.
- Взносы в виде гарантий
- Координатор
-
Субъекты, ответственные за управление ключами и учет агрегированной отчетности. Координатор ведет список хешей утвержденных конфигураций службы агрегации и настраивает доступ к ключам расшифровки.
- Шум и масштабирование
-
Статистический шум, который добавляется к сводным отчетам во время процесса агрегирования, чтобы сохранить конфиденциальность и гарантировать, что окончательные отчеты содержат анонимную информацию об измерениях.
Узнайте больше об аддитивном механизме шума , который основан на распределении Лапласа .
- Источник сообщения
-
Объект, который получает агрегированные отчеты — другими словами, вы или рекламная технология, которая называется API отчетов по атрибуции. Агрегированные отчеты отправляются с пользовательских устройств на известный URL-адрес, связанный с источником отчетов. Источник отчетности указывается во время регистрации.
- Общий идентификатор
-
Вычисляемое значение, состоящее
shared_info,reporting_origin,destination_site(только для API отчетов об атрибуции),source_registration-time(только для API отчетов об атрибуции),scheduled_report_timeи версии.Несколько отчетов с одинаковыми атрибутами в
shared_infoдолжны иметь один и тот же общий идентификатор. Общие идентификаторы играют важную роль в учете агрегированных отчетов. - Сводный отчет
-
Тип отчета API отчетов об атрибуции и API частного агрегирования. Сводный отчет включает в себя агрегированные данные о пользователях и может содержать подробные данные о конверсиях с добавлением шума. Сводные отчеты состоят из совокупных отчетов. Они обеспечивают большую гибкость и предоставляют более богатую модель данных, чем отчеты на уровне событий, особенно для некоторых вариантов использования, таких как значения конверсий.
- Доверенная среда выполнения ( TEE )
-
Безопасная конфигурация компьютерного оборудования и программного обеспечения, позволяющая внешним сторонам проверять точные версии программного обеспечения, работающего на компьютере, не опасаясь раскрытия информации. TEE позволяют внешним сторонам проверять, что программное обеспечение делает именно то, что заявляет производитель программного обеспечения, — ни больше, ни меньше.
Чтобы узнать больше о TEE, используемых в предложениях Privacy Sandbox, прочтите пояснение к службам API защищенной аудитории и объяснение службы агрегации .
Рабочий процесс сервиса агрегации
Сервис агрегации генерирует сводные отчеты, содержащие подробные данные о конверсии и охвате, на основе исходных агрегируемых отчетов. Процесс генерации отчетов состоит из следующих шагов:
- Браузер получает открытый ключ для генерации зашифрованных отчетов .
- Зашифрованные сводные отчеты отправляются на серверы рекламных технологий.
- Сервер рекламных технологий формирует пакеты отчетов (в формате Avro ) и отправляет их в службу агрегации.
- Обработчик агрегации извлекает сводные отчеты для расшифровки.
- Обработчик агрегации получает ключи расшифровки от координатора.
- Обработчик агрегации расшифровывает отчеты для агрегирования и удаления шума .
- Сервис учета агрегируемых отчетов проверяет наличие достаточного бюджета на обеспечение конфиденциальности для формирования сводного отчета по заданным агрегируемым отчетам.
- Служба агрегации предоставляет итоговый сводный отчет.
На следующей диаграмме показана работа службы агрегации данных, начиная с момента получения отчетов с веб- и мобильных устройств и заканчивая моментом создания сводного отчета службой агрегации.
Вкратце, API для формирования отчетов об атрибуции или API для частной агрегации генерируют отчеты из нескольких экземпляров браузера. Chrome получает открытый ключ, который обновляется каждые семь дней, от службы хранения ключей в координаторе, чтобы зашифровать отчеты перед отправкой их в источник отчетов по рекламным технологиям. Источник отчетов по рекламным технологиям собирает и преобразует входящие отчеты в формат Avro и отправляет их в службу агрегации. Когда затем отправляется пакетный запрос в службу агрегации, она получает ключи расшифровки от службы хранения ключей, расшифровывает отчеты, агрегирует и шумоподавляет их для создания сводного отчета, если для этого достаточно средств в рамках бюджета конфиденциальности.
Подробнее о том, как подготовить сводные отчеты, вы можете узнать в разделе внедрения.
Группировка агрегируемых отчетов
Процесс формирования отчетов был бы неполным без помощи назначенного сервера-источника отчетов, который вы указали в процессе регистрации . Сервер-источник отчетов отвечает за сбор, преобразование и пакетную обработку агрегируемых отчетов, а также за их подготовку к отправке в вашу службу агрегации в Google Cloud или Amazon Web Services. Подробнее о подготовке агрегируемых отчетов читайте здесь.
Облачные компоненты
Сервис агрегации состоит из нескольких компонентов облачного сервиса. Для развертывания и настройки всех необходимых компонентов облачного сервиса используются предоставленные скрипты Terraform .
Фронтенд-сервис
Управляемые облачные сервисы: Cloud Function (Google Cloud) / API Gateway (Amazon Web Services)
Фронтенд-сервис — это бессерверный шлюз, являющийся основной точкой входа для вызовов API агрегации для создания заданий и получения их состояния. Он отвечает за прием запросов от пользователей сервиса агрегации, проверку входных параметров и запуск процесса планирования заданий агрегации.
Фронтенд-сервис имеет два доступных API:
| Конечная точка | Описание |
|---|---|
createJob | Этот API запускает задание службы агрегации. Для запуска задания требуется такая информация, как идентификатор задания, сведения о хранилище входных данных, сведения о хранилище выходных данных и источник формирования отчетов. |
getJob | Этот API возвращает статус задания с указанным идентификатором. Он предоставляет информацию о состоянии задания, например, «Получено», «В процессе» или «Завершено». Если задание завершено, он также возвращает результат выполнения задания, включая любые сообщения об ошибках, возникшие во время выполнения задания. |
Ознакомьтесь с документацией по API сервиса агрегации .
Очередь заданий
Управляемые облачные сервисы: Pub/Sub (Google Cloud) / Amazon SQS (Amazon Web Services)
Очередь заданий — это очередь сообщений, содержащая запросы на выполнение заданий для сервиса агрегации. Фронтенд-сервис добавляет запросы на выполнение заданий в очередь, которые затем обрабатываются обработчиками агрегации.
Облачное хранилище
Управляемые облачные сервисы: Google Cloud Storage (Google Cloud) / Amazon S3 (Amazon Web Services)
Входные и выходные файлы, используемые службой агрегации, такие как зашифрованные файлы отчетов и сводные отчеты, хранятся в облачном хранилище.
База данных метаданных вакансий
Управляемые облачные сервисы: Spanner (Google Cloud) / DynamoDB (Amazon Web Services)
База данных метаданных заданий используется для хранения и отслеживания статуса заданий агрегации. Она записывает такие метаданные, как время создания, время запроса, время обновления и состояние, например, «Получено», «В процессе» или «Завершено». Работники агрегации обновляют базу данных метаданных заданий по мере их выполнения.
Работник по агрегации
Управляемый облачный сервис: Compute Engine с конфиденциальным пространством (Google Cloud) / Amazon Web Services EC2 с Nitro Enclave (Amazon Web Services).
Агрегационное устройство обрабатывает запросы на выполнение заданий в очереди заданий и расшифровывает зашифрованные входные данные, используя ключи, полученные из службы генерации и распределения ключей (KGDS) в координаторах. Для минимизации задержки обработки заданий агрегационные устройства кэшируют ключи расшифровки на восемь часов и используют их для обработки различных заданий.
Рабочие процессы агрегации работают в рамках экземпляра доверенной среды выполнения (TEE) . Рабочий процесс обрабатывает только одну задачу за раз. Вы можете настроить несколько рабочих процессов для параллельной обработки задач, задав конфигурацию автоматического масштабирования. При использовании автоматическое масштабирование динамически регулирует количество рабочих процессов в зависимости от количества сообщений в очереди задач . Вы можете настроить минимальное и максимальное количество рабочих процессов для автоматического масштабирования через файл среды Terraform. Дополнительную информацию об автоматическом масштабировании можно найти в следующих скриптах Terraform: Amazon Web Services или Google Cloud .
Для учета агрегируемых отчетов обрабатывающие процессы обращаются к службе учета агрегируемых отчетов. Эта служба проверяет, выполняются ли задания только в том случае, если не превышен лимит бюджета конфиденциальности (см. правило «Без дубликатов» ). Если бюджет доступен, генерируется сводный отчет с использованием агрегированных данных. Дополнительные сведения об учете агрегируемых отчетов см. в соответствующем разделе.
Рабочие процессы агрегации обновляют метаданные заданий в базе данных метаданных заданий. Эта информация включает коды возврата заданий и счетчики ошибок отчетов в случае частичного сбоя отчетов. Пользователи могут получить состояние задания с помощью API получения состояния задания getJob .
Более подробное описание сервиса агрегации см. в этом пояснении .
Следующие шаги
Теперь, когда вы знаете, как работает служба агрегации, следуйте руководству по началу работы , чтобы развернуть собственный экземпляр через Google Cloud или Amazon Web Services.