J'ai terminé mon site Web et l'ai lancé, je pense que j'ai eu un problème avec mon robots.txt
- alors je l'ai changé pour ressembler à ceci:
03/08/2012
# Allows all bots
Sitemap: http://www.mysite.co.za/sitemap.xml
User-agent: *
Disallow: /dashboard/
Quand je google mon domain.co.za
- je récupère ceci: Accueil
A description for this result is not available because of this site's robots.txt – learn more.
You've visited this page 3 times. Last visit: 2012/08/15
Maintenant que j'ai corrigé cela et ajouté une redirection 301 pour rediriger mysite.co.za
vers, www.mysite.co.za
j'adorerais que le robot Google vienne faire une visite.
Puis-je faire quelque chose pour résoudre ce problème?
Réponses:
Dave a raison sur l'argent (virtuel +1 car mon score est encore trop bas)
Veuillez faire ce qui suit
Cela accélérera les choses, mais ne vous attendez pas à des résultats instantanés.
la source
Vous pouvez désormais utiliser l'outil "Récupérer en tant que Googlebot" dans les outils pour les webmasters de Google comme moyen de persuader Google de ré-explorer (ou d'explorer pour la première fois) une page - http://googlewebmastercentral.blogspot.co.uk/2011/ 08 / submit-urls-to-google-with-fetch-as.html
la source
Vous devez également commenter (préfixer
#
) la première ligne.Google devrait récupérer votre fichier robots.txt assez rapidement (dans quelques jours, selon les en-têtes de cache de votre site), mais cela pourrait prendre un peu plus de temps pour que votre site soit réindexé. Malheureusement, vous devrez probablement être patient.
la source
Je voudrais ajouter qu'il n'est pas nécessaire d'ajouter un fichier robots.txt sur votre site Web pour le faire analyser. J'ai trouvé de nombreuses personnes ayant des idées fausses sur le fichier robots.txt. Les robots des moteurs de recherche exploreront votre site Web même s'ils n'ont pas le fichier robots.txt.
Cependant, si vous ne souhaitez pas afficher de contenu dans le moteur de recherche, le fichier robots.txt est requis.
Dans votre cas, les étapes suivantes entraîneront l'exploration rapide de votre site Web:
la source