Dois-je bloquer les bots de mon site et pourquoi?

12

Mes journaux sont pleins de visiteurs de robots, souvent d'Europe de l'Est et de Chine. Les bots sont identifiés comme Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou et ainsi de suite. Dois-je bloquer ces robots de mon site et pourquoi?

Lesquels ont un objectif légitime d'augmenter le trafic vers mon site? Beaucoup d'entre eux sont SEO.

Je dois dire que je vois moins de trafic, car les robots sont arrivés en grand nombre.

Il ne serait pas trop difficile de les bloquer car ils admettent tous dans leur agent utilisateur qu'ils sont des robots.

seo web-crawlers user-agent Frank E
la source

Réponses:

7

Vous pouvez bloquer les bots, mais cela dépend de ce que vous voulez pour votre site Web.

Vous pouvez bloquer les robots des moteurs de recherche si vous ne souhaitez pas voir votre site Web indexé dans un moteur de recherche particulier.
Exemple: Yandex est un moteur de recherche russe. Vous pouvez bloquer son bot si votre entreprise ne cible pas la Russie.

Vous pouvez bloquer les robots de référencement si vous ne souhaitez pas utiliser leur solution d'analyse Web.
Exemple: Ahrefs est une solution d'analyse Web. Vous pouvez bloquer son bot si vous n'utilisez pas cette solution d'analyse Web.

Raison de bloquer les bots:

  • moins de robots accèdent à votre site Web et plus de bande passante est attribuée aux vrais visiteurs
  • être à l'abri des malwares bots
  • taille des journaux

Raison de ne pas bloquer les bots:

  • les robots comme les robots des moteurs de recherche peuvent augmenter votre trafic en indexant votre site Web.

Vous pouvez en savoir plus sur les bots en lisant la FAQ de robotstxt.org .

Si vous souhaitez déterminer plusieurs robots à bloquer, vous pouvez vous inspirer de ce site robots.txt .

Attention, certains bots peuvent ignorer robots.txt , plus d'informations ici .

Conclusion : Vous pouvez rechercher sur la fonction des robots Internet pour déterminer si leur blocage peut être utile.

Zistoloen
la source
Merci. Soit dit en passant, je reçois également des visites de Linode. L'UA dit que c'est un script Python. Dois-je me méfier?
Frank E
Si j'étais toi, je n'ai pas bloqué Linode. Je ne sais pas ce que c'est exactement sur l'hébergement.
Zistoloen
Et IPStrada? Je les vois apparaître de temps en temps. Ils ne s'inscrivent jamais à un compte.
Frank E
Comme Linode. Les robots scannent Internet même si vous ou ils ne vous connectent jamais à un compte. Mais ne vous inquiétez pas, ce n'est pas grave.
Zistoloen
4

Alors que tenter de bloquer les bots peut aider à libérer des ressources et à nettoyer vos journaux, il est important de noter que robots.txt et même en utilisant la balise meta sur les pages noindex n'empêche pas réellement les bots de visiter votre site. Ils peuvent toujours explorer votre site de temps en temps pour voir si le refus des robots a été supprimé. De nombreux robots n'utilisent même pas d'agent utilisateur et utiliseront un agent utilisateur standard. Les robots auxquels je fais référence sont généralement des robots de collecte de données SEO qui recherchent des backlinks et non les robots généraux que vous trouvez dans les moteurs de recherche.

Plutôt que de bloquer les bots, vous devez simplement prendre en compte ces bots lors du décompte de vos visiteurs, après un certain temps à surveiller activement votre site, vous établissez un chiffre approximatif qui sont des bots. La plupart des gens se soucient des visites uniques et cela exclut les robots car ils reviennent constamment. De nos jours, il y a beaucoup de serveurs, un hébergement partagé qui peut gérer ces bots, donc à part les pages que vous ne voulez pas indexer, je ne vois aucune raison de bloquer ces types de bots. Bien sûr, vous avez également des robots nuisibles, mais ceux-ci n'utiliseront certainement pas d'agent utilisateur;).

Personnellement, je pense que bloquer les robots est une perte de temps car ils n'utilisent pas beaucoup de ressources du tout, les robots SEO peuvent vous aider car ils répertorient votre site sur les pages PR0, ce qui augmente bien sûr votre PageRank et automatisé afin que vous ne soyez pas puni par eux.

Problème de journaux

Vous devez utiliser une visionneuse de journaux appropriée qui vous permet de filtrer certaines demandes, ce qui facilite la consultation de vos journaux. Les bons téléspectateurs peuvent filtrer beaucoup de choses comme les visites normales, les 404, etc.

Simon Hayter
la source
1
Pourquoi les robots SEO analysent-ils les backlinks? Est-ce simplement parce que c'est quelque chose que les consultants SEO utilisent? Ou y a-t-il un but plus sinistre?
Frank E
2
Salut Frank, ils recherchent les backlinks et les enregistrent pour que les webmasters puissent voir qui les relie. Il est très coûteux pour les sociétés de référencement de consigner des backlinks et de facturer des webmasters pour découvrir qui les relie à eux, lorsque le lien a été créé, s'il a été supprimé, si son suivi ou aucun suivi - quel texte d'ancrage qu'ils utilisent, etc. Google, Bing ne fournissent pas ces informations, c'est donc un service souhaité et précieux pour la plupart des webmasters qui souhaitent consulter leur réseau de liens.
Simon Hayter
Cela ne vaut rien non plus que de nombreuses vulnérabilités que les gens recherchent soient recueillies en utilisant des moteurs de recherche et en n'ayant pas de bot scan pour chaque site. Par exemple, si un module / plugin est obsolète et qu'il y a un exploit connu, les gens utiliseront Google pour localiser ces sites afin de les exploiter. Les robots bloqueurs ne sécuriseront pas votre serveur: P
Simon Hayter
@bybe Par «vulablites», voulez-vous dire «vulnérabilités»?
DaveP
@DaveP absolument;) thx - corrigé.
Simon Hayter