Où est stocké le fichier robots.txt pour une installation WordPress Multisite?

9

Les outils Google pour les webmasters peuvent le voir, mais je ne le trouve pas. Une idée sur la façon dont il est généré ou sur la structure du fichier? Je ne vois pas le fichier dans ma racine. Mon site Web est à http://mikewills.me et l'URL du fichier robots.txt est http://mikewills.me/robots.txt .

En fin de compte, Google n'indexe pas mon site et j'essaie de comprendre comment modifier le fichier robots.txt afin que l'indexation soit autorisée. J'ai modifié l'option de confidentialité pour autoriser l'indexation, mais cela n'a pas mis à jour le fichier robots.txt.

multisite Mike Wills
la source
Lien vers le site? robots.txt est peu susceptible d'avoir quelque chose à voir avec WP ...
Rarst

Réponses:

11

Il est généré dynamiquement par la fonction do_robots(), qui a à la fois une action ( do_robotstxt) et un filtre ( robots_txt). Si vous créez un robots.txtfichier dans votre racine WordPress, il sera (probablement) servi lorsque cela /robots.txtest demandé, sinon le traitement retombera sur WordPress.

Votre fichier actuel ressemble à ceci:

User-agent: *
Disallow:

Sitemap: http://mikewills.me/sitemaps/mikewills-me.xml.gz

Les deux premiers paramètres conviennent à un blog indexable. Donc, vous attendez peut-être simplement Google à ce stade. Vous devrez peut-être demander un réexamen de votre site .

Annika Backstrom
la source
Merci pour l'information. J'étais sous cette hypothèse. J'avais peur de voir le Disallow. Alors ça va alors?
Mike Wills
2
@Mike: Oui, c'est OK. Ce que vous dites maintenant, c'est: "Hé les robots dont la User-agentcorrespondance *(donc tous les robots), la liste des pages auxquelles vous ne pouvez pas accéder est [empty]." Ce qui signifie qu'ils peuvent accéder à toutes les pages.
Jan Fabry
L'ajout de robots.txt à la racine ne semble pas fonctionner, il sert toujours celui généré par WordPress. N'y a-t-il aucun moyen d'ajouter ou de modifier le fichier robots.txt sans installer un plug-in?
Nick
3

robots.txt est créé dynamiquement. Il n'y a pas de fichier robots.txt. Installer un plugin robot.txt résoudra votre problème. J'espère que cela t'aides

user1167
la source