Robots.txt est un fichier texte utilisé par les propriétaires de sites Web pour donner des instructions sur leur site aux robots Web. Fondamentalement, il indique aux robots quelles parties du site sont ouvertes et quelles parties sont fermées. C'est ce qu'on appelle le protocole d'exclusion des robots.
Je voudrais avoir une liste de fichiers qui devrait exister sur chaque site Web. L'idée est de plaire à la plupart des navigateurs et des bots et de réduire le nombre de messages dans les journaux. Jusqu'à présent, j'ai les fichiers suivants: /favicon.ico /robots.txt /sitemap.xml...
Si je ne veux pas définir de comportement spécial, est-ce correct si je n'ai pas la peine d'avoir un fichier robots.txt? Ou le manque d'un peut-il être
Sur un serveur Web, je dois maintenant admnistrer que j'ai remarqué que le fichier robots.txt est vide. Je me suis demandé s'il y avait une différence entre un fichier robots.txt vide et aucun fichier. Les robots se comportent-ils différemment dans ces deux cas? Alors, est-il sûr de supprimer...
J'ai quelques URL générées dynamiquement. Puis-je utiliser l'expression régulière pour bloquer ces URL dans un fichier
J'ai deux sites sur lesquels je travaille actuellement: un panier et un autre client. Les deux sont sous le même nom de domaine donc par exemple http://example.com/first_url http://example.com/second_url Ces deux URL ont des tonnes de pages en dessous http://example.com/first_url/product1...
J'ai des pages sur mon site dont je souhaite éloigner les moteurs de recherche, je les ai donc interdites dans mon robots.txtfichier comme ceci: User-Agent: * Disallow: /email Pourtant, j'ai récemment remarqué que Google renvoie toujours parfois des liens vers ces pages dans leurs résultats de...
J'ai ajouté un fichier robots.txt à l'un de mes sites il y a une semaine, ce qui aurait dû empêcher Googlebot de tenter de récupérer certaines URL. Cependant, ce week-end, je peux voir Googlebot charger ces URL exactes. Google cache-t-il le fichier robots.txt et, dans l'affirmative, le...
J'ai un sous-répertoire que je voudrais cacher aux robots d'indexation des moteurs de recherche. Une façon de le faire est d'utiliser un robots.txtdans le répertoire racine du serveur (la manière standard). Cependant, toute personne connaissant l'URL du site Web et possédant des connaissances de...
Pourriez-vous s'il vous plaît me faire savoir comment bloquer ces URL robots.txtpour que Googlebots arrête l'indexation? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q Mon site Web a été piraté, ce qui est maintenant récupéré, mais le pirate a indexé 5000 URL dans Google et maintenant...
Je n'aime pas que je vois beaucoup d'erreurs 404 dans le fichier access.log de mon serveur Web. Je reçois ces erreurs parce que les robots tentent d'ouvrir un fichier robots.txt , mais n'en ont pas trouvé. Je veux donc placer un simple fichier robots.txt qui empêchera les erreurs 404 d'apparaître...
Il y a des pages sur mon site Web que je souhaite que l'utilisateur puisse visiter uniquement si je lui donne l'URL. Si je n'autorise pas les pages individuelles robots.txt, elles seront visibles par quiconque les examinera. Ma question est la suivante: si je ne les relie pas de n'importe où, ou du...
Les CSS et les modèles sont-ils autorisés dans le fichier robots.txt ? Cela devrait-il causer des problèmes? Dans Joomla, CSS et les modèles sont interdits dans le fichier robots.txt . S'il vous plaît, aidez-moi à trouver une solution pour mettre ou non des robots dans CSS, des modèles, etc. pour...
J'ai un site Web bilingue avec un index de plan de site pour chaque langue qui renvoie à plusieurs plans de site différents (un pour les vidéos, un pour le contenu statique et un pour les articles). Je voudrais introduire un autre plan de site qui relie les index de plan de site, afin que je puisse...
Parce que ça ressemble à ça. Pour mes sites, nous interdisons le répertoire d'images et les aperçus sont toutes des images manquantes, ce qui donne au site un aspect bancal. Est-ce le cas et existe-t-il un moyen d'autoriser uniquement le bot de prévisualisation à accéder aux images à l'aide de...
J'ai lu les réponses à cette question, mais elles laissent toujours ma question ouverte: Google cache-t - il le fichier robots.txt? Je n'ai pas trouvé de moyen dans les outils Google pour les webmasters pour invoquer un nouveau téléchargement de mon robots.txt . Par une erreur, mon robots.txt a été...
Voici mon robots.txt : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Mais Google Webmaster Tools me dit que les robots bloquent l'accès au plan du site: Nous avons rencontré une erreur lors de l'accès à votre sitemap. Veuillez vous assurer...
J'ai un sous-domaine que je ne veux pas figurer dans les résultats des moteurs de recherche. Disons que j'ai: http://www.example.com http://child.example.com Comment puis-je masquer toutes les URL de child.example.comdomaine qui s'affichent actuellement dans les résultats du moteur de...
Après avoir écrit un certain nombre de bots et vu les quantités massives de bots aléatoires qui se trouvent sur un site, je me demande en tant que webmaster, quels bots valent vraiment la peine d'être loués sur un site? Ma première pensée est que le fait d'autoriser les bots sur le site peut...
J'ai parcouru cet article dans mes actualités SEO aujourd'hui. Cela semble impliquer que vous pouvez utiliser des Noindex:directives en plus des Disallow:directives standard dans robots.txt . Disallow: /page-one.html Noindex: /page-two.html Il semble que cela empêcherait les moteurs de recherche...
Les agents utilisateurs peuvent-ils être répertoriés ensemble, suivis de leurs règles communes comme dans un fichier robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp...