Comment définir globalement robots.txt dans nginx pour tous les hôtes virtuels

J'essaie de définir robots.txtpour tous les hôtes virtuels sous le serveur http nginx. J'ai pu le faire dans Apache en mettant les éléments suivants en principal httpd.conf:

<Location "/robots.txt">
    SetHandler None
</Location>
Alias /robots.txt /var/www/html/robots.txt

J'ai essayé de faire quelque chose de similaire avec nginx en ajoutant les lignes ci-dessous (a) dans nginx.conf et (b) comme include conf.d / robots.conf

location ^~ /robots.txt {
        alias /var/www/html/robots.txt;
}

J'ai essayé avec '=' et je l'ai même mis dans l'un des hôtes virtuels pour le tester. Rien ne semblait fonctionner.

Qu'est-ce que j'oublie ici? Existe-t-il un autre moyen d'y parvenir?

l'emplacement ne peut pas être utilisé à l'intérieur du httpbloc. nginx n'a pas d'alias globaux (c'est-à-dire des alias qui peuvent être définis pour tous les vhosts). Enregistrez vos définitions globales dans un dossier et incluez-les.

server {
  listen 80;
  root /var/www/html;
  include /etc/nginx/global.d/*.conf;
}

Vous pouvez définir le contenu du fichier robots.txt directement dans la configuration nginx:

    location = /robots.txt { return 200 "User-agent: *\nDisallow: /\n"; }

Il est également possible d'ajouter le bon type de contenu:

    location = /robots.txt {
       add_header Content-Type text/plain;
       return 200 "User-agent: *\nDisallow: /\n";
    }

Y a-t-il d'autres règles qui sont définies? Peut-être common.conf ou un autre fichier de conf inclus qui remplace votre configuration. L'un des éléments suivants devrait certainement fonctionner.

location /robots.txt { alias /home/www/html/robots.txt; }
location /robots.txt { root /home/www/html/;  }

1. Nginx exécute tous les emplacements "regexp" dans l'ordre de leur apparence. Si un emplacement "regexp" réussit, Nginx utilisera cette première correspondance. Si aucun emplacement "regexp" n'a réussi, Nginx utilise l'emplacement ordinaire trouvé à l'étape précédente.
2. Les emplacements "regexp" ont priorité sur les emplacements "prefix"

J'ai eu le même problème avec les défis d'acme, mais le même principe s'applique également à votre cas.

Ce que j'ai fait pour résoudre ce problème était de déplacer tous mes sites vers un port non standard, j'ai choisi 8081et créé un serveur virtuel à l'écoute sur le port 80. Il envoie toutes les demandes par proxy 127.0.0.1:8081, sauf celles à .well-known. Cela agit presque comme un alias global, avec un bond supplémentaire, mais cela ne devrait pas entraîner une baisse significative des performances en raison de la nature asynchrone de nginx.

upstream nonacme {
  server 127.0.0.1:8081;
}

server {
  listen 80;

  access_log  /var/log/nginx/acme-access.log;
  error_log   /var/log/nginx/acme-error.log;

  location /.well-known {
    root /var/www/acme;
  }

  location / {
    proxy_set_header    Host                $http_host;
    proxy_set_header    X-Real-IP           $remote_addr;
    proxy_set_header    X-Forwarded-For     $proxy_add_x_forwarded_for;
    proxy_set_header    X-Forwarded-Proto   $scheme;
    proxy_set_header    X-Frame-Options     SAMEORIGIN;

    # WebSocket support (nginx 1.4)
    proxy_http_version 1.1;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";

    proxy_pass http://nonacme;
  }
}