Эта страница переведена с помощью Cloud Translation API.

Диагностика и усиление; подтвердите свою инфраструктуру

Темы руководства:

Диагностируйте свою инфраструктуру

На этой странице приведены рекомендации по устранению неполадок и проверке инфраструктуры Aggregation Service. Следуйте инструкциям, чтобы определить и решить проблемы.

Устранение неполадок Terraform

Terraform, платформа инфраструктуры как кода (IaC), созданная HashiCorp, является основным драйвером для развертывания Aggregation Service в выбранном вами публичном облаке. Если у вас не установлен terraform, ознакомьтесь с документацией HashiCorp о том, как получить cli локально .

Вы также можете рассмотреть возможность установки tfenv , если ваши потребности требуют смены версии terraform.

Если вы не видите решения вашей проблемы со службой агрегации, сообщите нам об этом, опубликовав сообщение о проблеме на GitHub или отправив форму технической поддержки .

Если вы предпочитаете переключать терраформу вручную:

rm -rf $(which terraform)
wget https://releases.hashicorp.com/terraform/1.2.3/terraform_1.2.3_linux_amd64.zip
unzip terraform_1.2.3_linux_amd64.zip
mv terraform /usr/local/bin/terraform
terraform --version

Если ошибка Terraform неясна, выходные данные можно просмотреть, включив ведение журнала Terraform на уровне TRACE .

Google Облако

Поставщик Terraform для Google Cloud разработан совместно HashiCorp и Google. Для получения дополнительных вопросов и советов по устранению неполадок обратитесь в службу поддержки Cloud Terraform для получения дополнительной информации или перейдите в раздел Google на портале Hashicorp Discuss .

Веб-сервисы Amazon

Документацию по отладке можно найти на сайте AWS . Мы также рекомендуем вам ознакомиться с разделом AWS на портале HashiCorp Discuss .

Для получения дополнительных вопросов о Terraform посетите портал сообщества HashiCorp . Советы по устранению неполадок для Terraform общего характера см. в их отладочной документации .

Предупреждение: Terraform создает файл .tfstate , который отслеживает все ресурсы инфраструктуры, которые были предоставлены на данный момент в выбранном вами публичном облаке (Подробнее). Эта информация хранится в terraform/<public_cloud>/environments/adtech_setup/* и terraform/<public_cloud>/environments/dev/* . Это основной способ для terraform понять текущее состояние проекта и основной источник информации, когда terraform предоставляет (terraform apply), изменяет, замедляет и удаляет (terraform destroy) ваши ресурсы.

Будьте очень осторожны, когда изменяете эти каталоги, потому что их удаление приведет к тому, что terraform больше не будет распознавать состояние. Он попытается повторно предоставить все ресурсы и выдаст ошибку, когда у вас будет ресурс с точно таким же именем. Если это по-прежнему будет проблемой, свяжитесь с нами через форму технической поддержки .

Проверьте настройки вашего облака

Проверьте, правильно ли развернута ваша инфраструктура Aggregation Service Infrastructure в выбранном вами публичном облаке. Для этого мы воспользуемся примерами отчетов об отладке и запустим задание в режиме отладки. Если Aggregation Service может получить запрос API и ответить, мы знаем, что он запущен и работает. Если вы еще не настроили его, мы рекомендуем вам использовать Postman или cURL для настройки вызовов API к Aggregation Service. Обратите внимание, что режимы отладки должны быть отключены и установлены на false во время обычных операций агрегации.

В дополнение к следующим шагам для дальнейшей проверки инфраструктуры вашей службы агрегации изучите все облачные компоненты, которые предоставляются в вашем публичном облаке.

Шаги

Чтобы создать примеры отладочных отчетов и выходных файлов домена, выполните соответствующие шаги из кодовых практик:
- Google Cloud: выполните шаги 3.1.1–3.1.4 из практической работы по агрегации сервиса Google Cloud .
- Amazon Web Services: выполните шаги 4.1–4.4 из Aggregation Service AWS Codelab

Запустите запрос createJob с этим телом, заменив выделенные заполнители:

{
  "job_request_id": "<job_request_id>",
  "input_data_blob_prefix": "<report_folder>/<report_name>.avro",
  "input_data_bucket_name": "<input_bucket_name>",
  "output_data_blob_prefix": "<output_folder>/<summary_report_prefix>",
  "output_data_bucket_name": "<output_bucket_name>",
  "job_parameters": {
    "output_domain_blob_prefix": "<output_domain_folder>/<output_domain>.avro",
    "output_domain_bucket_name": "<output_domain_bucket_name>",
    "attribution_report_to": "<reporting_origin_domain>",
    "report_error_threshold_percentage": "10", // example value
    "debug_run": "true" // optional, but should be false by default
  }
}

Выполните запрос getJob , чтобы увидеть ответ. Если вы получаете следующий ответ, это означает, что ваша служба агрегации была развернута правильно.

{
    "job_status": "FINISHED",
    "request_received_at": <utc_timestamp>,
    "request_updated_at": <utc_timestamp>,
    "job_request_id": "<job_request_id>",
    "input_data_blob_prefix": "<report_folder>/<input_report_prefix>.avro",
    "input_data_bucket_name": "<input_bucket_name>",
    "output_data_blob_prefix": "<output_folder>/<summary_report_prefix>",
    "output_data_bucket_name": "<output_bucket_name>",
    "postback_url": "",
    "result_info": {
        "return_code": "<return_code_and_message>",
        "return_message": "Aggregation job successfully processed",
        "error_summary": {
            "error_counts": [],
            "error_messages": []
        },
        "finished_at": <utc_timestamp>
    },
    "job_parameters": {
        "debug_run": "true", // optional, but should be false by default
        "output_domain_bucket_name": "<output_domain_bucket_name>",
        "output_domain_blob_prefix": "<output_domain_folder>/<output_domain>.avro",
        "attribution_report_to": "<reporting_origin_domain>"
    },
    "request_processing_started_at": <utc_timestamp>
}

Если вы не получили ответ с job_status: FINISHED , соберите больше информации, перейдя к вычислительному движку или ресурсу EC2 выбранного вами публичного облака. Проверьте свой экземпляр Aggregation Service, проверьте журналы и запишите информацию, которую вы видите между TEE container launcher initiating и TEE container launcher exiting чтобы предоставить ее нашей команде технической поддержки.

Google Облако

Перейдите в Google Cloud: Compute Engine .
Нажмите Экземпляры виртуальной машины и выберите экземпляр службы агрегации.
Нажмите «Подробности» > «Журналы» > «Ведение журнала» (или выполните поиск по запросу «Обозреватель журналов»).

Веб-сервисы Amazon

Перейдите в раздел Amazon Web Services: EC2 Enclave .
Нажмите «Экземпляры EC2» и выберите экземпляр службы агрегации.
Нажмите Действия > Мониторинг и устранение неполадок > Получить системный журнал .

Проверьте и посмотрите, нет ли совпадений с уведомлениями об ошибках в нашем публичном руководстве на GitHub .

Примечание: Если вы только что обновили свою текущую версию Aggregation Service, полный процесс подготовки может занять до пары часов, чтобы правильный образ экземпляра отразился в вашем окончательном экземпляре compute service. Свяжитесь с нами, если это не ваш случай.

Диагностика и усиление; подтвердите свою инфраструктуру Оптимизируйте свои подборки Сохраняйте и классифицируйте контент в соответствии со своими настройками.