Что такое каталог .well-known/traffic-advice?

Последнее время я получаю много запросов от робота Google (гуглбота) в каталоге .well-known/traffic-advice на моем сервере. Из-за этого каждый день идут 404 ошибки вида: /.well-known/traffic-advice c ip адресов Google Proxy. Что это за «well-known/traffic-advice» и что гуглбот ищет? Что делать с запросами .well-known/traffic-advice?

Есть стандарт, позволяющий серверам просить посещающих их агентов (ботов) не выполнять обход и соответственно задействовать ресурсы сервера. Что записано в стандарте:

Агенты (боты), которые соблюдают рекомендации по трафику, должны получить общеизвестный путь /.well-known/traffic-advice. Если он возвращает ответ со статусом ok и application/trafficadvice+json типом MIME, тело ответа должно содержать действительный JSON в кодировке UTF-8, как показано ниже:

[
    {"user_agent": "prefetch-proxy", "disallow": true}

]

Если у вас нет этого каталога на сервере, то это никак не влияет на  работоспособность веб-сайт и на SEO-показатели в гугле.

Файл /.well-known/traffic-advice извлекается прокси-сервером, а не клиентом, и кэшируется на прокси-сервере в соответствии с обычной семантикой кэширования HTTP. Для большей гибкости — например, при внезапном пике интенсивного доступа — вы можете временно отклонить запросы на предварительную выборку ( Sec-Purpose: prefetch;anonymous-client-ip) с кодом состояния 503 и установить Cache-Control: no-storeзаголовок ответа. Вы также можете добавить Retry-After заголовок, чтобы указать Chrome, как долго ждать, прежде чем повторять запросы на предварительную выборку.

По сути что происходит? Робот Google с именем « Chrome Privacy Preserving Prefetch Proxy » пытается найти инструкции, может ли он предварительно загрузить ваш веб-сайт для пользователя, просматривающего ваш сайт через Chrome.

По сути, мы , веб-мастера, заинтересованы в том, чтобы избавиться от ошибок 404, вызванных этой функцией. Самый простой способ — создать файл traffic-advice (без расширения) в каталоге .well-knownс содержимым:

[{
  "user_agent": "prefetch-proxy",
  "google_prefetch_proxy_eap": {
    "fraction": 1.0
  }
}]

Проблема в том, что боту гугла требуется определенный тип MIME. В Apache вы можете добавить эти строки в основной .htaccess файл:

RewriteRule ^\.well-known/traffic-advice$ - [T=application/trafficadvice+json,END]

В Nginx вы можете изменить свою конфигурацию с помощью следующих строк:

# Private Prefetch Proxy
# https://developer.chrome.com/blog/private-prefetch-proxy/
location /.well-known/traffic-advice {
   types { } default_type "application/trafficadvice+json; charset=utf-8";
}

С другой стороны, нет ничего плохого в том, чтобы разрешить роботу Googlebot (или любому другому боту) запрашивать несуществующий файл и получать повторяющиеся ошибки 404 — «not found». Ничего критичного не произойдет. Можно просто не обращать внимание.