Lorsque vous déplacez un site via une redirection 301, devez-vous configurer un robots.txt interdisant aux robots d'explorer l'ancienne adresse?

8

Un site sur lequel je travaille a déplacé un sous-domaine vers un autre sous-domaine via une redirection 301. Cependant, lors de la vérification du fichier robots.txt de l'ancien sous-domaine, il possède un fichier robots.txt qui interdit aux robots d'exploration des moteurs de recherche de l'explorer.

Est-ce la bonne décision? Je crois que non, car les robots d'exploration ne pourront pas explorer l'ancien site pour voir les codes d'état 301.

seo redirects robots.txt garçon mat
la source
3
Le refus était-il déjà en place avant le déménagement? Certains sites Web ne souhaitent pas figurer dans les moteurs de recherche. Il n'est pas clair de quelle manière la situation s'est déroulée.
user64742

Réponses:

11

Vos soupçons sont exacts, avec le raisonnement exact que vous avez mentionné. Si vous interdisez aux robots d'accéder à l'ancien site, ils ne pourront pas voir la redirection 301.

Theo van der Zee
la source
Cela signifierait-il également que le jus de lien qui pointait vers l'ancien domaine ne sera pas transféré vers le nouveau domaine car le robots.txt ne permet pas à Gbot d'explorer?
mat boy
1
Oui, c'est exactement ce qui se passerait si le fichier robots.txt bloquait l'accès aux bots.
Theo van der Zee
5

Je crois que non, car les robots d'exploration ne pourront pas explorer l'ancien site pour voir les codes d'état 301.

Oui, exactement - ce n'est pas la "bonne décision". Si vous implémentez une redirection 301, probablement pour préserver le référencement, le blocage des URL redirigées empêchera les moteurs de recherche de voir la redirection et d'indexer le nouveau contenu.

DocRoot
la source
Cela signifierait-il également que le jus de lien qui pointait vers l'ancien domaine ne sera pas transféré vers le nouveau domaine car le robots.txt ne permet pas à Gbot d'explorer?
mat boy
@mat boy, "link juice" est rarement mis à jour si jamais. Il est peu probable qu'il soit mis à jour vers le nouveau domaine avec ou sans le fichier robots.txt, mais le maintien du 301 en place indéfiniment garantit que les liens se retrouveront au bon endroit.
Octopus le
1
@Octopus Vous semblez décrire "PageRank", pas "link juice"? "jus de lien" est juste un terme courant / argot décrivant l'avantage SEO de la liaison d'une page à une autre.
DocRoot
1
@matboy Oui, c'est vrai, aucun "jus de lien" ne sera transféré vers la nouvelle URL. Étant donné que le bot est empêché de voir la redirection, le bot (moteur de recherche) ne sait pas que la page a été déplacée vers un emplacement différent. Les anciennes URL tomberont dans les SERP et finiront par disparaître, tandis que les nouvelles URL devront construire leur référencement à partir de zéro.
DocRoot
0

Je conserverais le fichier robots.txt tel quel, mais assurez-vous que les anciennes et les nouvelles pages ont la version appropriée des balises canoniques. Cela aidera le moteur de recherche à comprendre ce qui s'est passé.

Jason
la source
2
Comment les robots d'exploration pourraient-ils lire les balises canoniques sur la page Web si vous leur dites de ne pas explorer la page Web?
mat boy