J'ai deux sites sur lesquels je travaille actuellement: un panier et un autre client. Les deux sont sous le même nom de domaine donc par exemple
http://example.com/first_url
http://example.com/second_url
Ces deux URL ont des tonnes de pages en dessous
http://example.com/first_url/product1
http://example.com/first_url/product2
http://example.com/first_url/product3
http://example.com/second_url/product1
http://example.com/second_url/product2
http://example.com/second_url/product3
Comment puis-je interdire l'URL principale /first_url
ainsi /second_url
que toutes les sous-pages et sous-répertoires? Je pensais à quelque chose comme ça, mais je ne sais pas si cela fonctionne ou non et si c'était la bonne syntaxe
Disallow: /first_url/*/
Disallow: /second_url/*/
seo
robots.txt
Stephen Ostermiller
la source
la source
Réponses:
Vous n'avez pas besoin de la barre oblique de fin pour bloquer ces répertoires. Cela fonctionnera:
Cette page d'aide de Google couvre assez bien cela.
la source
Vous pouvez utiliser ceci par défaut
robots.txt
:L'étoile permettra de rejeter tout ce qui appartient à cette catégorie. Vous pouvez même interdire une chose spécifique dans cette catégorie en tapant cette URL spécifique.
la source