Диагностика и усиление; подтвердите свою инфраструктуру

Темы руководства:

Проведите диагностику вашей инфраструктуры.

На этой странице представлены рекомендации по устранению неполадок и проверке инфраструктуры вашей службы агрегации. Следуйте инструкциям, чтобы выявить и устранить проблемы.

Устранение неполадок Terraform

Terraform, платформа «инфраструктура как код» (IaC), созданная компанией HashiCorp, является основным инструментом для развертывания сервиса агрегации в выбранном вами публичном облаке. Если у вас не установлен Terraform, ознакомьтесь с документацией HashiCorp о том, как получить CLI локально .

Также, если для работы вам потребуется сменить версию Terraform, вы можете рассмотреть возможность установки tfenv .

Если вы не нашли решения проблемы с вашей службой агрегации, сообщите нам об этом, создав заявку на GitHub или заполнив форму технической поддержки .

Если вы предпочитаете переключать Terraform вручную:

rm -rf $(which terraform)
wget https://releases.hashicorp.com/terraform/1.2.3/terraform_1.2.3_linux_amd64.zip
unzip terraform_1.2.3_linux_amd64.zip
mv terraform /usr/local/bin/terraform
terraform --version

Если ошибка Terraform неясна, вывод можно просмотреть, включив логирование Terraform на уровне TRACE .

Google Облако

Провайдер Terraform для Google Cloud разработан совместно компаниями HashiCorp и Google. Для получения дополнительной информации и советов по устранению неполадок обратитесь в службу поддержки Cloud Terraform или перейдите в раздел Google на портале Hashicorp Discuss .

Amazon Web Services

Документацию по отладке можно найти на сайте AWS . Мы также рекомендуем вам ознакомиться с разделом AWS на портале HashiCorp Discuss .

Дополнительные вопросы о Terraform можно найти на портале сообщества HashiCorp . Советы по устранению неполадок Terraform см. в документации по отладке .

Внимание: Terraform создает файл .tfstate , который отслеживает все ресурсы инфраструктуры, выделенные на данный момент в выбранном вами публичном облаке (подробнее). Эта информация хранится в папках terraform/<public_cloud>/environments/adtech_setup/* и terraform/<public_cloud>/environments/dev/* . Это основной способ для Terraform понять текущее состояние проекта и главный источник информации при выделении (terraform apply), изменении, отключении и удалении (terraform destroy) ваших ресурсов.

Будьте предельно осторожны при изменении этих каталогов, поскольку их удаление приведет к тому, что Terraform перестанет распознавать состояние. Он попытается повторно выделить все ресурсы и выдаст ошибку, если у вас есть ресурс с точно таким же именем. Если проблема сохраняется, обратитесь к нам через форму технической поддержки .

Будьте предельно осторожны при изменении этих каталогов, поскольку их удаление приведет к тому, что Terraform перестанет распознавать состояние. Он попытается повторно выделить все ресурсы и выдаст ошибку, если ресурс будет иметь точно такое же имя. Если проблема сохраняется, обратитесь к нам через форму технической поддержки.

Проверьте правильность настройки облачного хранилища.

Проверьте, правильно ли развернута инфраструктура сервиса агрегации в выбранном вами публичном облаке. Для этого мы воспользуемся примерами отладочных отчетов и запустим задание в режиме отладки. Если сервис агрегации сможет получить запрос к API и ответить, значит, он работает. Если вы еще не настроили API-запрос к сервису агрегации, рекомендуем использовать Postman или cURL для настройки вызовов API. Обратите внимание, что режимы отладки следует отключать (устанавливать значение false) во время обычных операций агрегации.

В дополнение к описанным ниже шагам, для дальнейшей проверки инфраструктуры вашей службы агрегации данных, изучите все облачные компоненты, которые развертываются в вашем публичном облаке.

Шаги

Для создания примеров отладочных отчетов и выходных файлов домена выполните соответствующие шаги из практических заданий:
- Google Cloud: выполните шаги 3.1.1–3.1.4 из руководства Google Cloud Codelab по сервисам агрегации .
- Amazon Web Services: выполните шаги 4.1–4.4 из руководства AWS Codelab по сервисам агрегации.

Выполните запрос createJob с таким телом, заменив выделенные заполнители:

{
  "job_request_id": "<job_request_id>",
  "input_data_blob_prefix": "<report_folder>/<report_name>.avro",
  "input_data_bucket_name": "<input_bucket_name>",
  "output_data_blob_prefix": "<output_folder>/<summary_report_prefix>",
  "output_data_bucket_name": "<output_bucket_name>",
  "job_parameters": {
    "output_domain_blob_prefix": "<output_domain_folder>/<output_domain>.avro",
    "output_domain_bucket_name": "<output_domain_bucket_name>",
    "attribution_report_to": "<reporting_origin_domain>",
    "report_error_threshold_percentage": "10", // example value
    "debug_run": "true" // optional, but should be false by default
  }
}

Выполните запрос getJob , чтобы увидеть ответ. Если вы получаете следующий ответ, это означает, что ваша служба агрегации развернута правильно.

{
    "job_status": "FINISHED",
    "request_received_at": <utc_timestamp>,
    "request_updated_at": <utc_timestamp>,
    "job_request_id": "<job_request_id>",
    "input_data_blob_prefix": "<report_folder>/<input_report_prefix>.avro",
    "input_data_bucket_name": "<input_bucket_name>",
    "output_data_blob_prefix": "<output_folder>/<summary_report_prefix>",
    "output_data_bucket_name": "<output_bucket_name>",
    "postback_url": "",
    "result_info": {
        "return_code": "<return_code_and_message>",
        "return_message": "Aggregation job successfully processed",
        "error_summary": {
            "error_counts": [],
            "error_messages": []
        },
        "finished_at": <utc_timestamp>
    },
    "job_parameters": {
        "debug_run": "true", // optional, but should be false by default
        "output_domain_bucket_name": "<output_domain_bucket_name>",
        "output_domain_blob_prefix": "<output_domain_folder>/<output_domain>.avro",
        "attribution_report_to": "<reporting_origin_domain>"
    },
    "request_processing_started_at": <utc_timestamp>
}

Если вы не получили ответ с job_status: FINISHED , соберите дополнительную информацию, перейдя к ресурсу Compute Engine или EC2 выбранного вами публичного облака. Проверьте свой экземпляр Aggregation Service, изучите журналы и запишите информацию, которую вы увидите в TEE container launcher initiating и TEE container launcher exiting чтобы предоставить ее нашей службе технической поддержки.

Google Облако

Перейдите на страницу Google Cloud: Compute Engine .
Нажмите «Экземпляры виртуальных машин» и выберите свой экземпляр службы агрегации.
Нажмите «Подробности» > «Журналы» > «Ведение журналов » (или выполните поиск по запросу «Проводник журналов»).

Amazon Web Services

Перейдите в раздел Amazon Web Services: EC2 Enclave .
Нажмите на «Экземпляры EC2» и выберите свой экземпляр службы агрегации.
Нажмите Действия > Мониторинг и устранение неполадок > Получить системный журнал .

Проверьте и посмотрите, найдете ли вы какие-либо сообщения об ошибках, соответствующие уведомлениям в наших общедоступных рекомендациях на GitHub .

Примечание: Если вы только что обновили текущую версию службы агрегации, полный процесс развертывания может занять до нескольких часов, прежде чем правильный образ экземпляра отобразится в вашем конечном экземпляре вычислительной службы. Свяжитесь с нами, если это не так.

Диагностика и усиление; подтвердите свою инфраструктуру Оптимизируйте свои подборки Сохраняйте и классифицируйте контент в соответствии со своими настройками.