Les agents utilisateurs peuvent-ils être répertoriés ensemble, suivis de leurs règles communes comme dans un fichier robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp...
J'ai un site Web que je ne veux surtout pas être indexé par les moteurs de recherche, mais je veux le conserver pour l'éternité sur archive.org. Donc, je robots.txtcommence par ceci: User-agent: * Disallow: / Aujourd'hui, selon archive.org, je dois ajouter ce qui suit dans mon robots.txtpour...
J'ai parcouru cet article dans mes actualités SEO aujourd'hui. Cela semble impliquer que vous pouvez utiliser des Noindex:directives en plus des Disallow:directives standard dans robots.txt . Disallow: /page-one.html Noindex: /page-two.html Il semble que cela empêcherait les moteurs de recherche...
J'utilise WordPress et des /sample-post/URL pour mes publications et /yyyy/mm/pour les archives. Google a entièrement indexé le site. Étant donné que les archives affichent actuellement des articles complets, j'ai pensé que je ne devrais pas laisser Google indexer les pages d'archives car elles...
J'ai des problèmes de bot EXTREME sur certains de mes sites Web dans mon compte d'hébergement. Les bots utilisent plus de 98% de mes ressources CPU et 99% de ma bande passante pour l'ensemble de mon compte d'hébergement. Ces bots génèrent plus de 1 Go de trafic par heure pour mes sites. Le trafic...
Ainsi, sur tous nos sites qui ne sont pas confrontés à la recherche, nous avons appliqué un fichier robots.txt (par Comment exclure un site Web des résultats de recherche Google en temps réel?, Ou toute autre question similaire). Cependant, si les termes de recherche sont suffisamment spécifiques,...
J'ai rencontré une annonce de Google: http://googlewebmastercentral.blogspot.in/2014/10/updating-our-technical-webmaster.html Il est dit: Pour un rendu et une indexation optimaux, notre nouvelle directive spécifie que vous devez autoriser Googlebot à accéder aux fichiers JavaScript, CSS et image...
Si je bloque le répertoire / foo dans robots.txt, mais que mon plan de site xml contient des URL avec / foo, les URL du plan de site seront-elles récupérées par Google et d'autres moteurs de recherche? En d'autres termes, le plan du site l'emporte-t-il sur robots.txt? Je pense que oui, mais je n'en...
J'exécute un robot d'indexation à grande échelle. Nous nous efforçons de faire fonctionner le robot dans les normes de la communauté acceptées, et cela inclut le respect de robots.txt. Nous recevons très peu de plaintes concernant le robot, mais lorsque nous le faisons, la majorité concerne notre...
Lorsque je tape site:example.com(en utilisant mon domaine évidemment), je reçois plusieurs erreurs de lien qui apparaissent dans la liste. Typiquement, ils ont la forme:/some/fixed/path/admin/unblockUser/11 Je pense ajouter la ligne suivante à mon robots.txtdossier: Disallow:
Un site sur lequel je travaille a déplacé un sous-domaine vers un autre sous-domaine via une redirection 301. Cependant, lors de la vérification du fichier robots.txt de l'ancien sous-domaine, il possède un fichier robots.txt qui interdit aux robots d'exploration des moteurs de recherche de...
Question simple: dois-je m'assurer d'utiliser les fins de ligne Unix pour mon robots.txt, ou cela n'a-t-il pas d'importance?