Comment contrôler la fréquence à laquelle les moteurs de recherche visitent mon site?

12

J'utilise la ligne suivante dans <head>mes sites depuis des années:

<meta name="revisit-after" content="3 days" />

J'ai récemment découvert que ce n'était pas l'une des balises META que Google comprenait, ce qui, à mon avis, signifiait qu'il était inutile de l'inclure et que cela ne faisait rien du tout depuis des années.

À quelle fréquence les moteurs de recherche explorent-ils un site Web par défaut et quels moyens fiables existe-t-il pour augmenter ou diminuer cette fréquence?

seo google search-engines pseudo
la source

Réponses:

10

Vous pouvez contrôler la vitesse à laquelle Google explore votre site dans les outils Google pour les webmasters .

Le taux d'exploration de votre site détermine le temps utilisé par Googlebot pour explorer votre site à chaque visite. Notre objectif est d'explorer en profondeur votre site (afin que vos pages puissent être indexées et renvoyées dans les résultats de recherche!) Sans créer un impact notable sur la bande passante de votre serveur. Alors que la plupart des webmasters utilisent bien le paramètre d'analyse par défaut (c'est-à-dire qu'aucune modification n'est nécessaire, plus d'informations ci-dessous), certains webmasters peuvent avoir des besoins plus spécifiques.

Googlebot utilise des algorithmes sophistiqués qui déterminent la quantité à explorer chaque site visité. Pour une grande majorité de sites, il est probablement préférable de choisir l'option "Laisser Google déterminer mon taux d'exploration", qui est la valeur par défaut. Cependant, si vous êtes un utilisateur avancé ou si vous rencontrez des problèmes de bande passante avec votre serveur, vous pouvez personnaliser votre taux d'exploration à la vitesse la plus optimale pour votre ou vos serveurs Web. L'option de taux d'exploration personnalisé vous permet de fournir à Googlebot un aperçu du nombre maximal de demandes par seconde et du nombre de secondes entre les demandes que vous jugez le mieux pour votre environnement.

Googlebot détermine la plage de valeurs de taux d'exploration disponible dans les outils pour les webmasters. Ceci est basé sur notre compréhension des capacités de votre serveur. Cette plage peut varier d'un site à l'autre et dans le temps en fonction de plusieurs facteurs. La définition d'un taux d'exploration inférieur à la valeur par défaut peut affecter la couverture et la fraîcheur de votre site dans les résultats de recherche Google. Cependant, le définir sur une valeur supérieure à la valeur par défaut n'améliorera pas votre couverture ou votre classement. Si vous définissez un taux d'exploration personnalisé, le nouveau taux sera en vigueur pendant 90 jours, après quoi il sera réinitialisé à la valeur recommandée par Google.

Vous ne pouvez utiliser ce paramètre que pour les sites de niveau racine et les sites non hébergés sur un grand domaine comme blogspot.com (nous avons des paramètres spéciaux qui leur sont attribués). Pour vérifier le paramètre de taux d'exploration, connectez-vous aux outils pour les webmasters et accédez à l'onglet Paramètres. Si vous avez des questions supplémentaires, consultez le Centre d'aide pour les webmasters pour en savoir plus sur la façon dont Google explore votre site ou postez vos questions dans le forum d'aide pour les webmasters.

À part cela, vous auriez probablement besoin de créer votre propre système de filtrage qui détecte leurs agents utilisateurs et autorise ou refuse les robots des moteurs de recherche basés sur leur agent utilisateur. Mais cela n'affecterait que la diminution de leur fréquence.

John Conde
la source
7

Pour répondre à la deuxième partie de votre question, vous pouvez indiquer à Google à l'aide des outils pour les webmasters

Pour modifier le taux d'exploration:

  1. Sur la page d'accueil des outils pour les webmasters, cliquez sur le site de votre choix.

  2. Sous Configuration du site, cliquez sur Paramètres.

  3. Dans la section Taux d'exploration, sélectionnez l'option souhaitée.

https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=en_GB

Sur la FAQ Bing, il fait référence à ce message qui recommande de définir Crawl-Delay: Xoù x est le nombre de secondes à attendre entre chaque demande.

Bien sûr, les plans de site indiquent à quelle fréquence les pages changent.

paulmorriss
la source