Un champ d'en-tête http qui identifie le navigateur et le système d'exploitation.
Nous avons eu de graves problèmes avec l'araignée (incroyablement) mal écrite de Yahoo dans le passé , et en conséquence, nous les avons bloqués. Marco Arment de Tumblr a également partagé ses frustrations avec nous le 31/08/2009, ce qui nous a empêchés de les bloquer. [Yahoo's Spider] nous inonde...
Il y a Ask bot, qui définit cet en-tête: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Compte tenu de cela, j'ai les questions suivantes: Si j'écris un robot d'exploration nommé Goofy, quel agent utilisateur dois-je utiliser? Quelle est la différence si je mets Mozilla/2.0ou Mozilla/5.0? Toutes autres...
Comment dois-je interpréter un User-agent vide? J'ai un code d'analyse personnalisé et ce code doit analyser uniquement le trafic humain. J'ai une liste de travail des agents utilisateurs indiquant le trafic humain et le trafic de robots, mais l'agent utilisateur vide s'avère problématique. Et je...
Mes journaux sont pleins de visiteurs de robots, souvent d'Europe de l'Est et de Chine. Les bots sont identifiés comme Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou et ainsi de suite. Dois-je bloquer ces robots de mon site et pourquoi? Lesquels ont un objectif légitime d'augmenter le trafic vers...
L'agent utilisateur dans un navigateur ordinaire contient-il «bot» ou «crawl»? Je vérifie l'agent utilisateur sur mon site pour voir s'il provient d'un bot ou non. Si c'est le cas, je peux faire quelques petites optimisations car ils ne se connectent pas. (Je ne change pas du tout le contenu) Après...
J'ai exécuté un petit robot d'indexation Web et j'ai dû décider quel agent utilisateur utiliser pour cela. Les listes d'agents sur chenilles ainsi que Wikipedia suggèrent le format suivant: examplebot/1.2 (+http://www.example.com/bot.html) Cependant, certains robots omettent le signe plus devant...
Les agents utilisateurs peuvent-ils être répertoriés ensemble, suivis de leurs règles communes comme dans un fichier robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp...
Les entrées du journal d'accès Apache sur mon site sont généralement les suivantes: 207.46.13.174 - - [31 / Oct / 2016: 10: 18: 55 +0100] "GET / contact HTTP / 1.1" 200 256 "-" "Mozilla / 5.0 (compatible; bingbot / 2.0; + http: // www .bing.com / bingbot.htm) "0,607 MISS 10.10.36.125:104 0.607 afin...
J'ai un site qui, pour des raisons réglementaires, peut ne pas être indexé ou recherché automatiquement. Cela signifie que nous devons éloigner tous les robots et les empêcher d'araignées sur le site. De toute évidence, nous avons eu un fichier robots.txt qui interdit tout de suite depuis le début....
J'ai un codage spécial qui ne fonctionne que pour les navigateurs HTML5 (simple truc de géolocalisation). Je souhaite rediriger les utilisateurs d'iPhone et d'Android vers la version m.example.com de mon site Web. Quelle est la meilleure façon de procéder?
Qu'utilisez-vous pour détecter le téléphone mobile du visiteur, si possible jusqu'au modèle? Actuellement, nous maintenons notre propre base de données, mais elle prend vraiment du retard en raison du manque de main-d'œuvre pour la maintenir, nous avons donc décidé d'essayer une solution tierce. Ce...
(Question de prime en bas) Je rencontre un problème avec un client accédant à notre site, et la cause principale est que le WAF (Web Application Firewall) n'aime pas sa chaîne User-Agent: User-Agent: Mozilla/5.0 (X11; Linux i686; rv:34.0; C7QcSBPWTsrpX5YLvVZMqiujEZLWPtOYk3tDZ9WhW18=) Gecko/20100101...