Qu'est-ce qu'un fichier robots.txt minimum valide?

Je n'aime pas que je vois beaucoup d'erreurs 404 dans le fichier access.log de mon serveur Web. Je reçois ces erreurs parce que les robots tentent d'ouvrir un fichier robots.txt , mais n'en ont pas trouvé. Je veux donc placer un simple fichier robots.txt qui empêchera les erreurs 404 d'apparaître dans mon fichier journal.

Qu'est-ce qu'un fichier robots.txt valide minimum qui permettra d'explorer tout ce qui se trouve sur le site?

Comme indiqué ici , créez un fichier texte nommé robots.txt dans le répertoire de niveau supérieur de votre serveur Web. Vous pouvez le laisser vide ou ajouter:

User-agent: *
Disallow:

Si vous voulez que les robots explorent tout . Sinon, consultez le lien ci-dessus pour plus d'exemples.

Le meilleur minimal robots.txtest un fichier complètement vide.

Toutes les autres directives "nulles" telles que des instructions vides Disallowou Allow: *sont non seulement inutiles car elles sont sans opération, mais ajoutent une complexité inutile.

Si vous ne voulez pas que le fichier soit complètement vide - ou que vous le rendiez plus lisible par l'homme - ajoutez simplement un commentaire commençant par le #caractère, tel que # blank file allows all. Les robots ignorent les lignes commençant par #.

Je dirais ceci;

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Il permettra à Google de tout explorer, mais interdira à Google d'analyser votre panneau aadminn. Quelle est la situation idéale pour vous.