Un programme informatique qui accède à des pages Web à des fins diverses (pour récupérer du contenu, pour fournir aux moteurs de recherche des informations sur votre site, etc.)
Cette question a été migrée à partir de Server Fault car il est possible d'y répondre sur Webmasters Stack Exchange. Migré il y a 6 ans . Les journaux d'un site Web que je gère montrent une demande de fichier inexistant par Bingbot. Les détails de la demande sont Chemin:
Sur un serveur Web, je dois maintenant admnistrer que j'ai remarqué que le fichier robots.txt est vide. Je me suis demandé s'il y avait une différence entre un fichier robots.txt vide et aucun fichier. Les robots se comportent-ils différemment dans ces deux cas? Alors, est-il sûr de supprimer...
En tant que webmaster en charge d'un petit site disposant d'un forum, je reçois régulièrement des plaintes des utilisateurs selon lesquelles le moteur de recherche interne et les recherches externes (comme lors de l'utilisation de Google) sont totalement pollués par les signatures de mes...
Nous avons eu de graves problèmes avec l'araignée (incroyablement) mal écrite de Yahoo dans le passé , et en conséquence, nous les avons bloqués. Marco Arment de Tumblr a également partagé ses frustrations avec nous le 31/08/2009, ce qui nous a empêchés de les bloquer. [Yahoo's Spider] nous inonde...
Cette question a été migrée depuis Stack Overflow car il est possible d'y répondre sur Webmasters Stack Exchange. Migré il y a 9 ans . L'araignée Google sait-elle comment rendre JavaScript, ou seulement
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Vous souhaitez améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour les webmasters Stack Exchange. Fermé il y a 6 ans . J'ai un site hérité assez grand avec littéralement des...
On a beaucoup parlé de la fréquence d'exploration des araignées Baidu. C'est vrai: "Baiduspider rampe comme un fou." J'ai vécu ce phénomène sur des sites avec lesquels je travaille. Dans au moins un cas, j'ai constaté que Baiduspider rampe à peu près à la même fréquence que Googlebot, malgré le...
Il y a Ask bot, qui définit cet en-tête: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Compte tenu de cela, j'ai les questions suivantes: Si j'écris un robot d'exploration nommé Goofy, quel agent utilisateur dois-je utiliser? Quelle est la différence si je mets Mozilla/2.0ou Mozilla/5.0? Toutes autres...
J'ai un sous-répertoire que je voudrais cacher aux robots d'indexation des moteurs de recherche. Une façon de le faire est d'utiliser un robots.txtdans le répertoire racine du serveur (la manière standard). Cependant, toute personne connaissant l'URL du site Web et possédant des connaissances de...
Chaque fois que je crée un site Web réactif, je crée généralement 2 menus: 1 masqué et utilisé pour mobile et l'autre affiché comme menu principal, puis masqué pour afficher le menu mobile. Chaque fois qu'il s'agit de référencement et d'araignées naviguant sur le site Web, est-ce que je me fais...
La plupart de mes visites proviennent d'araignées baidu. Je ne pense pas que cela aide les moteurs de recherche, donc je pense à la façon de les bloquer. Cela pourrait-il être fait via iptables? J'utilise nginx comme serveur
Je me souviens d' un site fermé en raison d'une mauvaise utilisation et je me demande si les bots en ont une partie. Si le bot POSTE quelque chose sur mon site, comment puis-je le combattre? Je pensais créer des cookies et les faire changer via JavaScript + horodatage et signature (donc les cookies...
J'ai récemment enregistré un nouveau domaine, l'ai dirigé vers mon serveur existant et mis en place une page minimale disant simplement "test" et rien d'autre. Je viens de découvrir ce soir que la page est déjà indexée dans Google! Il n'y a pas de lien vers le site (je n'ai même parlé à personne du...
J'ai un site multilingue et multidomaine. Il fonctionne à travers une installation CMS unique (Drupal), j'ai donc un seul répertoire racine. Donc, si j'ai un fichier robots.txt statique, je ne peux y afficher que les fichiers d'un seul domaine, pour autant que je sache. Puis-je mettre une ligne...
Lorsque je vérifie mon journal Apache, je peux voir que baidu a exploré mon site Web 10 fois par jour au cours des 2 dernières semaines. Ce n'est pas que je m'en soucie beaucoup, mais je suis vraiment curieux de savoir pourquoi il fait ça. C'est un très petit site Web d'une seule page avec peu de...
Mes journaux sont pleins de visiteurs de robots, souvent d'Europe de l'Est et de Chine. Les bots sont identifiés comme Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou et ainsi de suite. Dois-je bloquer ces robots de mon site et pourquoi? Lesquels ont un objectif légitime d'augmenter le trafic vers...
J'ai vu que Google avait une belle proposition / norme pour rendre les applications Ajax explorables, via #! (coup de hachage). http://googlewebmastercentral.blogspot.com/2009/10/proposal-for-making-ajax-crawlable.html Mes questions sont: Utilisent-ils actuellement cette "proposition" dans le monde...
Mon site Web compte les vues des visiteurs sur certaines pages. J'ai remarqué que Google et d'autres robots "cliquaient" sur mon site comme un fou et certaines des pages avaient un nombre de vues irréaliste (par rapport à celles produites par les humains). Je demande les meilleures pratiques pour...
J'ai un site qui génère environ 7 000 à 10 000 pages vues par jour en ce moment. Commençant vers 1 h du matin le 7/1/12, j'ai remarqué que le CTR augmentait considérablement. Ces clics seraient crédités puis dé-crédités peu après. Il s'agissait donc manifestement de clics frauduleux. Le lendemain,...
Après avoir écrit un certain nombre de bots et vu les quantités massives de bots aléatoires qui se trouvent sur un site, je me demande en tant que webmaster, quels bots valent vraiment la peine d'être loués sur un site? Ma première pensée est que le fait d'autoriser les bots sur le site peut...