J'ai parcouru cet article dans mes actualités SEO aujourd'hui. Cela semble impliquer que vous pouvez utiliser des Noindex:
directives en plus des Disallow:
directives standard dans robots.txt .
Disallow: /page-one.html
Noindex: /page-two.html
Il semble que cela empêcherait les moteurs de recherche d'explorer la page un et les empêcherait d'indexer la page deux.
Cette directive robots.txt est-elle prise en charge par Google et d'autres moteurs de recherche? Est-ce que ça marche? Est-ce documenté?
web-crawlers
robots.txt
googlebot
noindex
Stephen Ostermiller
la source
la source
disallow
Google empêche de découvrir des liens sur les pages parent et enfant, le cas échéant. Bien qu'ilnoindex
arrête simplement la liste de la page, il n'interrompt pas la découverte tandis que l'interdiction le fait.nofollow
marche pour les balises META. Ce serait bien de savoir si c'est aussi le cas pour robots.txt .<a rel="no-follow">
aussi. Je ne vois aucune raison pour laquelle il serait traité différemment. Évidemment, ce n'est pas officiel et il est même recommandé par John Muller de ne pas l'utiliser dans le robots.txt mais à part son tweet, je n'ai pas réussi à trouver beaucoup d'informations à ce sujet.Noindex
directive dans lesrobots.txt
fichiers comme une erreur.Réponses:
Google soutenait officieusement une
Noindex
directive dans le fichier robots.txt, mais en 2019, ils ont annoncé que la directive ne fonctionnerait plus.Voici ce que John Mueller de
Noindex:
Google dit à propos de robots.txt :Avant que Google n'annonce la suppression de la fonctionnalité, deepcrawl.com a fait quelques tests de la fonctionnalité et a découvert que:
Étant donné que Google a abandonné la fonctionnalité, elle ne devrait plus être utilisée.
Utilisez plutôt des balises META de robots bien prises en charge et documentées pour empêcher l'indexation:
la source