Comment interdire un répertoire entier avec robots.txt?

19

J'ai deux sites sur lesquels je travaille actuellement: un panier et un autre client. Les deux sont sous le même nom de domaine donc par exemple

http://example.com/first_url 
http://example.com/second_url 

Ces deux URL ont des tonnes de pages en dessous

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Comment puis-je interdire l'URL principale /first_urlainsi /second_urlque toutes les sous-pages et sous-répertoires? Je pensais à quelque chose comme ça, mais je ne sais pas si cela fonctionne ou non et si c'était la bonne syntaxe

Disallow: /first_url/*/
Disallow: /second_url/*/
Stephen Ostermiller
la source
1
Je pense que votre syntaxe est correcte mais je ne suis pas sûr de l'extra /

Réponses:

26

Vous n'avez pas besoin de la barre oblique de fin pour bloquer ces répertoires. Cela fonctionnera:

Disallow: /first_url/*
Disallow: /second_url/*

Cette page d'aide de Google couvre assez bien cela.

John Conde
la source
7
Vous pouvez simplement faire "Disallow: / first_url". Le caractère générique de fin est ignoré. Selon developers.google.com/webmasters/control-crawl-index/docs/…
Evgenii
Vous avez besoin de Disallow: / url / * pour faire correspondre des choses comme example.com/url/test?test=1
Gareth Daine
-1

Vous pouvez utiliser ceci par défaut robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

L'étoile permettra de rejeter tout ce qui appartient à cette catégorie. Vous pouvez même interdire une chose spécifique dans cette catégorie en tapant cette URL spécifique.

SAF
la source
4
Ce n'est pas différent de la réponse acceptée, sauf que vous n'avez pas la barre oblique de départ. Les règles interdites dans robots.txt devraient toutes commencer par une barre oblique. Voilà comment tous les exemples sont dans la documentation
Stephen Ostermiller