Je viens de mettre à jour mon fichier robots.txt sur un nouveau site; Google Webmaster Tools signale qu'il a lu mon fichier robots.txt 10 minutes avant ma dernière mise à jour. Existe-t-il un moyen d'encourager Google à relire mon robots.txt dès que possible? MISE À JOUR: Sous Configuration du site...
Afin de: Augmenter la sécurité de mon site Web Réduisez les besoins en bande passante Empêcher la collecte d'adresses e-mail
J'essaie de définir robots.txtpour tous les hôtes virtuels sous le serveur http nginx. J'ai pu le faire dans Apache en mettant les éléments suivants en principal httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt J'ai essayé de...
Nous avons une configuration de serveur Web de développement XAMPP Apache avec des hôtes virtuels et nous voulons empêcher les serps d'explorer tous nos sites. Cela se fait facilement avec un fichier robots.txt. Cependant, nous préférons ne pas inclure un fichier robots.txt non autorisé dans chaque...