Comment dois-je interpréter un User-agent vide? J'ai un code d'analyse personnalisé et ce code doit analyser uniquement le trafic humain. J'ai une liste de travail des agents utilisateurs indiquant le trafic humain et le trafic de robots, mais l'agent utilisateur vide s'avère problématique. Et je reçois beaucoup de trafic avec l'agent utilisateur vide, environ 10%.
De plus, j'ai conçu la liste des agents utilisateurs du trafic humain par rapport au trafic bot en analysant mes journaux actuels. En tant que tel, je pourrais manquer beaucoup d'entrées là-dedans. Existe-t-il une liste bien tenue d'agents utilisateurs dénotant le trafic de robots ou, au contraire, une liste d'agents utilisateurs dénotant le trafic humain?
Réponses:
Si vous souhaitez analyser uniquement le "trafic humain", je ne compterais pas ceux dont la chaîne d'agent utilisateur est vide ou manquante. D'après mon expérience, presque tous les navigateurs en enverront toujours un. Même la plupart des plugins ou extensions de confidentialité sont plutôt faux (incluent un autre nom de système d'exploitation ou de client) ou "normalisent" (par exemple, aucun numéro de version) ou randomisent (par exemple parfois FF, parfois des chaînes IE) les chaînes UA, mais ne les suppriment pas complètement (car cela pourrait causer des problèmes avec certains sites qui en dépendent, même si ce n'est pas une bonne idée.)
Une simple demande sans UA peut se faire comme ceci:
Comme vous le voyez, vous pouvez ajouter tout ce que vous voulez. Les sites qui stockent et publient des UA trouvés "à l'état sauvage" ne sont pas d'une grande utilité car ils trouvent beaucoup de merde.
Peut-être que quelqu'un vient de récupérer récursivement votre contenu. Ou utilisé un outil de référencement pour analyser votre site (certains permettent aux utilisateurs de modifier manuellement l'en-tête, d'autres avec l'intention d'ignorer une ligne robots.txt). Des choses comme ça. Dans ces situations, l'en-tête UA est souvent truqué pour masquer le client et le but.
Si ces demandes restent constamment présentes, il pourrait être utile d'analyser plus en détail les en-têtes (Proxy?) Ou les IP (Un certain bloc? Société concernée par la confidentialité / Proxy?)
la source
Je travaille pour une entreprise de sécurité et, entre autres, nous surveillons le trafic de Bad Bot.
D'après mon expérience, les visites humaines avec des données vierges de l'agent utilisateur indiquent des tentatives de grattage / spamming (généralement grattage) effectuées par des robots "sans navigateur".
Ces visiteurs peuvent parfois exécuter JS, et ils apparaîtront donc dans GA - encore, cette dose ne les rend pas humains :)
Veuillez vous excuser pour le «plug», mais sachez que, si nécessaire, nous offrons des services de protection contre les bots gratuits - couplés à l'accélération CDN et à d'autres avantages.
Dans ce cas spécifique, notre système reconnaîtrait cette visite comme "suspecte", la vérifiait par rapport aux vecteurs d'attaque connus et - si elle n'était toujours pas sûre - effectuait d'autres tests et défis. Ces défis sont exécutés de manière transparente, sans retarder la session.
la source
Chaque bit de logiciel qui accède à Internet n'est pas comme par magie doté d'un agent utilisateur. Les développeurs de logiciels doivent programmer cette fonctionnalité dans leur logiciel. Votre agent utilisateur vide signifie simplement qu'un développeur de logiciel a oublié d'ajouter un agent utilisateur à son logiciel.
la source
Je vois quelques commentaires dans les réponses à cette question comparant l'agent utilisateur à cacher votre identité ou à être humain. C'est une comparaison absurde. User-Agent n'a rien à voir avec l'identité ou l'être humain.
Pensez-y comme des chaussures. Vous demandez à vos visiteurs quel type de chaussures ils portent avant de les laisser entrer. Les utilisations les plus courantes sont de savoir quel type de tapis vous devez dérouler, le joli tapis rouge pour des chaussures habillées propres, le paillasson laid pour boueux des bottes et pas de tapis pour les visiteurs allergiques aux tapis.
Lorsque les visiteurs ne veulent pas dire quelles chaussures ils ont (aka. User-Agent vide), vous les ignorez.
Oui, il existe de nombreuses bonnes pratiques qui essaient de supposer des choses sur la demande Web en fonction de l'agent utilisateur et d'autres informations d'en-tête de demande. Ils peuvent fonctionner très bien 99% du temps, mais comme avec tant d'autres pratiques similaires, ils sont sujets à de faux positifs et nuisent ainsi aux utilisateurs ignorants normaux.
Ayant moi-même rencontré le problème d'utiliser accidentellement un User-Agent vide, je peux certainement dire que ce n'est pas amusant lorsqu'un service Web vous traite différemment simplement parce que vous n'avez pas pensé à lui parler de vos chaussures.
la source