Masquer un sous-domaine du résultat SEO de Google / Search Engine?

11

J'ai un sous-domaine que je ne veux pas figurer dans les résultats des moteurs de recherche. Disons que j'ai:

  • http://www.example.com
  • http://child.example.com

Comment puis-je masquer toutes les URL de child.example.comdomaine qui s'affichent actuellement dans les résultats du moteur de recherche?

search-engines url robots.txt search noindex 夏 期 劇場
la source

Réponses:

14

À la racine du répertoire du site Web du sous-domaine, ajoutez un fichier appelé robots.txt contenant:

User-agent: *
Disallow: /

Cela indiquera aux robots d'indexation de ne pas indexer le site du tout. Ils n'ont pas à obéir, mais les principaux le feront.

Paul
la source
Salut, je crois que c'est la meilleure chose. Et encore une chose, faites-moi savoir, si je le fais, combien de temps cela prendra-t-il pour avoir un effet sur les résultats Web? (par exemple, Recherche Google) Ai-je besoin de temps ou cela prendra-t-il soudainement?
夏 期 劇場
2
Il sera reconnu la prochaine fois que les indexeurs exploreront le site. Cela peut aller de quelques minutes à quelques semaines, selon l'importance de votre site. Vous pouvez faire avancer les choses plus rapidement en ajoutant le site aux webmasters de Google et de Bing et en le faisant relire robots.txt - vous pouvez également y supprimer des pages de l'index.
Paul
1
Si vous souhaitez accélérer le processus, vous pouvez soumettre une demande de suppression sur google.com/webmasters/tools/removals pour Google et soumettre l'URL sur bing.com/toolbox/submit-site-url pour Bing (oui, c'est la recommandation méthode de suppression des pages).
Kat
Vous devez également ajouter noindexà l'index et aux autres pages du sous-domaine
Anagio
Comment faire lorsqu'il existe un dossier racine commun et que les noms de sous-domaine sont dynamiques? stackoverflow.com/questions/21229235/…
Gopi
6

L'utilisation d'un fichier robots.txt dans votre sous-domaine vous aidera (et Google obéira à cela), mais une autre étape que vous pouvez prendre consiste à spécifier avec un compte Google Webmasters que vous ne souhaitez pas que ce sous-domaine soit indexé. Vous pouvez également utiliser une balise META sur toutes les pages du sous-domaine:

    <meta name="robots" content="noindex">

Si cela se trouve être un site que vous utilisez uniquement pour des tests internes, limiter la visibilité à un ensemble spécifié d'adresses IP dans votre fichier d'hôtes virtuels masquerait davantage le site.

Kenzo
la source
Dans toutes les pages ????? oh non ..
夏 期 劇場
@ 4lvin C'est fait dynamiquement du côté serveur. Vous n'avez besoin de le coder qu'une seule fois. Veuillez ne pas me dire que vous codez des pages HTML individuelles.
Kenzo
LoL, en fait "oui". Parce que c'est un système de service Web très ancien / hérité. (c'est pourquoi il faut le faire tomber) Beaucoup de pages isolées à l'intérieur. : D
夏 期 劇場
@ 4lvin Ouch ... bonne chance avec ça!
Kenzo
1
Au lieu d'incorporer une metabalise noindex dans chaque page, vous pouvez à la place renvoyer un X-Robots-Tagen-tête de réponse HTTP à partir de votre serveur pour le sous-domaine spécifié - cela, vous ne devez le faire qu'une seule fois.
MrWhite
2

Les solutions de Kenzo et Paul sont bonnes, vous pouvez mettre des méta-balises noindex sur vos pages Web et ajouter robots.txt pour interdire les robots.

Mais à mon avis, la meilleure solution est d'utiliser l'authentification par mot de passe sur votre sous-domaine. C'est la seule solution dont vous êtes sûr que les robots peuvent accéder et indexer votre site Web. Si vous utilisez Apache, vous pouvez implémenter htpasswd .

Zistoloen
la source
2

... actuellement affiché dans les résultats SEO?

Les autres réponses concernent davantage la prévention proactive de l'indexation d'un (sous) domaine (qui est principalement ce que vous demandez dans la question) plutôt que la suppression active de vos pages des résultats de recherche, ce qui pourrait être davantage ce que vous recherchez, à en juger par votre autre question .

Vous devez toujours bloquer votre site dans robots.txt et servir une balise noindex meta (ou X-Robots-Tagen-tête de réponse HTTP), comme indiqué dans les autres réponses, mais vous devez également bloquer l'accès à vos pages, en renvoyant un code d'état 404 ou 410.

Pour en savoir plus, consultez la page d'aide des Outils pour les webmasters de Google:
Conditions requises pour la suppression de contenu

Une fois tous ces éléments en place, vous pouvez utiliser l' outil Supprimer les URL dans les outils Google pour les webmasters. Cependant, cela ne s'applique qu'à des URL individuelles, pas à un site entier, mais c'est un début. (Google déclare que l'utilisation de robots.txt, noindex et la diffusion d'un 404 sont les conditions requises pour utiliser l'outil de suppression GWT.)

Cependant, si vous voulez toujours que les utilisateurs réguliers puissent accéder au site en tapant l'URL, c'est un problème - car votre contenu n'est plus disponible. Vous pouvez le mot de passe, comme le suggère Zistoloen, mais cela retournera un 403 (interdit) par défaut que vous devrez remplacer pour retourner un 404/410. Vous pouvez masquer votre contenu, renvoyer un 410 au Googlebot et permettre à tous les autres d'entrer - mais qu'en est-il des personnes qui cliquent sur les résultats dans les SERPs?

Mais si vous souhaitez que Google supprime votre contenu dans les plus brefs délais, vous devez le supprimer d'Internet "Google".

MrWhite
la source