Mon site Web compte les vues des visiteurs sur certaines pages. J'ai remarqué que Google et d'autres robots "cliquaient" sur mon site comme un fou et certaines des pages avaient un nombre de vues irréaliste (par rapport à celles produites par les humains). Je demande les meilleures pratiques pour...
J'ai remarqué que Google Webmaster Tools signale un grand nombre de ressources bloquées sur mon site Web. À l'heure actuelle, toutes les «ressources bloquées» sont les .css, .js et les images (.jpg, .png) que je sers depuis Cloudfront CDN. J'ai passé beaucoup de temps à tester et à essayer de...
Nous avons une page de recherche de magasin sur le site de notre client. L'utilisateur final entre son code postal et un rayon de recherche et nous affichons les résultats sur une carte Google. Récemment, nous avions commencé à remarquer que le site atteignait la limite de recherche de carte...
J'ai exécuté un petit robot d'indexation Web et j'ai dû décider quel agent utilisateur utiliser pour cela. Les listes d'agents sur chenilles ainsi que Wikipedia suggèrent le format suivant: examplebot/1.2 (+http://www.example.com/bot.html) Cependant, certains robots omettent le signe plus devant...
Les agents utilisateurs peuvent-ils être répertoriés ensemble, suivis de leurs règles communes comme dans un fichier robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp...
J'ai un site Web que je ne veux surtout pas être indexé par les moteurs de recherche, mais je veux le conserver pour l'éternité sur archive.org. Donc, je robots.txtcommence par ceci: User-agent: * Disallow: / Aujourd'hui, selon archive.org, je dois ajouter ce qui suit dans mon robots.txtpour...
J'avais quelques fichiers privés dans un répertoire de mon dossier scolaire. Vous pouvez voir que les fichiers existaient en accédant à myschool.edu/myusername/myfolder, mais en essayant d'accéder aux fichiers eux-mêmes via myschool.edu/myusername/myfolder/myfile.html renvoie une erreur 403. Et...
J'utilise le fichier robots.txt suivant pour un site: l'objectif est de permettre à googlebot et bingbot d'accéder au site à l'exception de la page /bedven/bedrijf/*et d'empêcher tous les autres bots d'explorer le site. User-agent: googlebot Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent:...
J'ai parcouru cet article dans mes actualités SEO aujourd'hui. Cela semble impliquer que vous pouvez utiliser des Noindex:directives en plus des Disallow:directives standard dans robots.txt . Disallow: /page-one.html Noindex: /page-two.html Il semble que cela empêcherait les moteurs de recherche...
J'ai vu quelques erreurs 404 lorsque ads.txt est demandé sur certains des sites que je gère. Je suppose que la réponse peut être identique à la question concernant un fichier robots.txt vide ou pas de fichier du tout (il suffit d'éviter quelques erreurs 404). Cependant, j'ai du mal à comprendre les...
Alors maintenant, Google a déconseillé le schéma d'exploration AJAX . Ils disent de ne pas prendre la peine de l'implémenter dans de nouveaux sites Web, car il n'est plus nécessaire car Googlebot n'a plus de problème pour regarder le contenu dynamique. Faut-il immédiatement faire confiance à cette...
J'ai un site qui, pour des raisons réglementaires, peut ne pas être indexé ou recherché automatiquement. Cela signifie que nous devons éloigner tous les robots et les empêcher d'araignées sur le site. De toute évidence, nous avons eu un fichier robots.txt qui interdit tout de suite depuis le début....
J'utilise Ask.comcomme l'un des moteurs de recherche pour envoyer un ping à mon plan du site. Quand je suis allé cingler mon plan de site aujourd'hui pour faire réindexer mon plan de site, le site Web ( http://submissions.ask.com/ping ) dit qu'il n'existe plus? J'ai effectué une recherche DNS...
J'ai migré un site vers un nouveau domaine. Le site lui-même est assez simple (il utilise Jekyll), et tout s'est bien passé - sauf la migration des threads Disqus. J'ai eu un succès partiel - certains fils ont migré avec succès, mais pas tous. J'ai essayé l'assistant de migration de domaine (qui en...
Si je crée une page statique sur un domaine (http://www.domain.com/page.html), un robot peut-il toujours le voir s'il n'y a aucun lien vers celui-ci sur le
Je voudrais refuser archive.isd'avoir accès à mon site Web. (Je ne veux pas que ce site Web cache le mien sans mon consentement). Savez-vous si c'est
Ma femme travaille dans un lycée en Allemagne. J'ai récemment remarqué qu'il est extrêmement difficile de trouver la page d'accueil de cette école en utilisant Google. J'ai regardé le code source de la page et je crois avoir trouvé la raison: il y a deux <meta name="robots">balises; l'un est...