Robots.txt - CSS autorise ou interdit

12

Les CSS et les modèles sont-ils autorisés dans le fichier robots.txt ?

Cela devrait-il causer des problèmes?

Dans Joomla, CSS et les modèles sont interdits dans le fichier robots.txt . S'il vous plaît, aidez-moi à trouver une solution pour mettre ou non des robots dans CSS, des modèles, etc. pour mes sites Web à venir.

css robots.txt Manju George
la source
Je ne pense pas que Joomla bloque ces fichiers par défaut - si c'est ce que vous impliquez?
MrWhite

Réponses:

23

Google a récemment mis à jour ses directives pour déclarer officiellement que vous ne devez pas bloquer l'accès aux fichiers CSS ou JS dans le fichier robots.txt . Cela garantit que lorsque Google explore le site, il peut le rendre exactement comme le ferait un navigateur.

Si vous bloquez des fichiers CSS ou JS, cela pourrait nuire à la performance de votre site Web dans le classement.

Plus d'informations ici: Mise à jour de nos directives techniques pour les webmasters et ici: directives pour les webmasters

Comme il s'agit d'une recommandation récente, de nombreux sites Web et CMS (tels que Joomla) verront souvent ces fichiers bloqués dans robots.txt . Le raisonnement derrière cela était généralement que les moteurs de recherche n'avaient pas besoin d'analyser ou d'indexer ces fichiers, donc pour empêcher les fichiers et les répertoires inutiles d'être indexés et pour économiser le `` budget d'exploration '', ceux-ci étaient souvent bloqués dans robots.txt .

Max
la source
2
Google dit en fait depuis assez longtemps que vous ne devez pas bloquer JS et CSS (vidéo Matt Cutts de mars 2012) car cela pourrait nuire à la capacité de G à explorer votre site, c'est juste qu'ils l'ont rendu "plus officiel" récemment.
MrWhite
2
Il a été conseillé de ne pas bloquer CSS et JS pendant plus d'une décennie. Je sais que le rendu par les moteurs de recherche semble nouveau, mais ce n'est pas le cas et certaines formes de rendu, y compris le JS simple, existent depuis très longtemps.
closetnoc
1
Remarque supplémentaire (quelque peu liée car elle est souvent utilisée avec JS) - En ce qui concerne tous les contrôleurs rendant un itinéraire accessible via le thème / vue / JSON / URi - vous devez les bloquer ou vous pouvez faire face à des zones non thématiques indexées au lieu de la page utilisant ledit facette des données. Il s'agit d'une zone de "vue" qui est valide pour bloquer, en particulier les choses que JS utilise comme JSON. Souvent, G exécute le JS, voit le lien JSON et le visite. Provoque des erreurs ou, s'il thématise, un index à moitié construit. C'est un tout nouveau can-o-worms, mais sachez-le.
dhaupin
1
Je me suis senti obligé d'exprimer mon profond désaccord avec l'attitude culte du cargo que quoi que Google dise, nous devons faire. Google indique également que votre site se classera plus haut si vous lui permettez d'explorer des images, d'utiliser le HTTPS, etc. En fin de compte, est-ce que vous construisez votre site Web pour les humains ou les robots?
Débordement de questions du
1
Je suppose que cela dépend de combien vous comptez sur un bon classement dans Google? Bien que comme la plupart des choses, ce n'est qu'un petit indicateur dans un grand nombre de facteurs dont ils disposent. Comme vous l'avez mentionné, ils ont récemment déclaré que le HTTP était un petit facteur de classement, mais je n'ai changé aucun des 100 sites sur lesquels je travaille en HTTP, et leur classement est correct.
Max
3

La stratégie pour votre robots.txt doit toujours être répondue par la question: quelles sections de mon site Web ne doivent pas être explorées par un robot et quelles sections peuvent être explorées par un robot.

Les robots implémentent leur propre logique et ont plusieurs objectifs (non seulement Google a un robot ...) donc si vous supposez qu'un robot est en quelque sorte "distrait" par vos fichiers CSS et JS, vous ouvrez la boîte noire du robot et supposez ce que l' implémentation actuelle et l' intention actuelle du robot sont. Ce n'est pas une stratégie utile à long terme.

Au lieu de penser dans le domaine du robot, essayez de penser dans le domaine de contenu de votre site Web.

Je tiens à souligner qu'un fichier robots.txt n'est pas un mécanisme de sécurité.

saintedlama
la source
1

Les modèles sont utilisés par l'application de blog ou de logiciel de gestion de contenu (CMS) et ne doivent pas être accessibles en externe lorsque le CSS est lu par le navigateur et les moteurs de recherche et doit être lu. Cela dit, je ne bloquerais ni l'un ni l'autre mais je n'en changerais pas non plus par le CMS. Les moteurs de recherche et les robots ne se soucient pas de vos modèles. Il vous suffit de bloquer l'accès à votre site par URL / URI que vous ne souhaitez pas indexer ou lire mais ne pensez pas à robots.txt comme un outil de sécurité. Il n'est pas conçu pour ça.

placard
la source