Si je crée une page statique sur un domaine (http://www.domain.com/page.html), un robot peut-il toujours le voir s'il n'y a aucun lien vers celui-ci sur le site?
web-crawlers
divisé
la source
la source
Réponses:
Peuvent-ils le voir? Oui. Peuvent-ils le trouver? Pas sans aide.
Les robots d'indexation Web trouvent généralement les pages à explorer en suivant les liens vers ces pages sur d'autres pages. Certains robots (par exemple, les robots des moteurs de recherche) analysent également les pages répertoriées dans des fichiers XML spéciaux. Donc, s'il n'y a pas de lien vers une page sur votre site Web ou tout autre site Web, cette page ne sera pas explorée (les pages qui contiennent l'URL de cette page mais qui sont en texte brut seront trouvées par Google ).
Cependant, une fois qu'une page est trouvée et explorée, elle peut être analysée à nouveau même si tous les liens vers cette page sont supprimés de leurs sites Web respectifs. Cela est dû au fait que les pages qui sont analysées sont ensuite indexées (par exemple, ajoutées à la liste des pages des robots à analyser à nouveau), de sorte que le robot sait qu'il doit à nouveau l'explorer ultérieurement pour rechercher des modifications. Si vous souhaitez empêcher que cela se produise, vous pouvez effectuer l'une des opérations suivantes:
Le plus efficace
Moins efficace
la source
Une autre façon de découvrir la page est lorsque vous avez des liens vers d'autres sites sur cette page.
L'URL de votre page apparaîtra dans leurs journaux de référence, un bon passage de temps de nombreux webmasters consiste à parcourir brièvement ces journaux et à voir ce que les autres disent de leurs pages.
Certains sites semblent fournir un accès à ces journaux sans aucune restriction d'accès, donc les robots d'exploration peuvent également les atteindre ...
Pour garder la page vraiment secrète, ne la laissez pas renvoyer vers des sites externes.
la source