Pourquoi devrais-je utiliser Wget au lieu d'un navigateur? [fermé]

Dans quel cas devrais-je préférer utiliser Wget plutôt qu'un navigateur?

J'ai entendu dire que Richard Stallman l' utilisait au lieu d'un navigateur pour des raisons d'anonymat. Et que voit le serveur lorsque vous obtenez ses fichiers en utilisant Wget?

En règle générale, vous ne l'utiliseriez jamais "au lieu d'un navigateur". Les navigateurs rendent le HTML, rendent les liens cliquables (au lieu d'avoir à copier l'URL manuellement dans une autre commande wget), etc. Il n'y a littéralement aucun avantage à utiliser wget en tant qu'être humain. Si vous êtes préoccupé par la confidentialité, il existe un million de façons de nettoyer un navigateur (ou vous pouvez utiliser un navigateur moins fonctionnel, comme Lynx si vous voulez vraiment obtenir des barebones sans détruire tout semblant d'interface utilisateur humaine).

Wget est principalement utilisé lorsque vous voulez un moyen rapide, bon marché, scriptable / en ligne de commande de télécharger des fichiers. Ainsi, par exemple, vous pouvez mettre wget dans un script pour télécharger une page Web fréquemment mise à jour avec de nouvelles données, ce pour quoi un navigateur ne peut pas vraiment être utilisé. Vous pouvez utiliser les différentes options de wget pour explorer et enregistrer automatiquement un site Web, ce que la plupart des navigateurs ne peuvent pas faire, du moins pas sans extensions.

En bref, les navigateurs sont des applications pour les humains qui regardent Internet, wget est un outil pour les machines et les utilisateurs expérimentés qui déplacent des données via HTTP. Très similaire dans ce qu'ils font (extraire des fichiers de sites Web) mais complètement différent dans leur utilisation.

Concernant ce que les serveurs "voient" quand vous obtenez des choses avec wget: tous les clients HTTP (navigateurs, wget, curl, autres applications similaires) transmettent ce qu'on appelle un "agent utilisateur", qui est juste une chaîne qui décrit le navigateur (ou de nos jours, décrit les fonctionnalités du navigateur dont il dispose). Cela peut être utilisé pour afficher un contenu différent en fonction du navigateur de l'utilisateur (c'est-à-dire que Google essaie de ne pas annoncer Chrome aux personnes qui utilisent déjà Chrome). Certains imbéciles essaient de bloquer les manigances des utilisateurs avancés en bloquant la chaîne d'agent utilisateur de wget, mais vous pouvez simplement simuler une chaîne d'agent utilisateur Chrome pour contourner cela. Le plus souvent, il est simplement utilisé pour les statistiques afin que vous sachiez à quel point les différents navigateurs sont populaires afin que vous sachiez avec quels tests les plus approfondis.

Si vous utilisez les fonctions d'exploration de wget, le serveur verra de nombreuses requêtes rapides dans un ordre principalement alphabétique. C'est un cadeau mort que vous grattez leur site. Cela ressemble complètement à la navigation d'un utilisateur. Avec un utilisateur humain faisant des demandes dans un navigateur, chaque demande de page est suivie par toutes les images de cette page, puis il y a un certain retard, puis il y a une demande pour une autre page aléatoire (ou éventuellement une chaîne de pages avec un objectif clair) .

Comme d'autres l'ont mentionné, wgeta l'avantage de ne pas être fourni avec des modules complémentaires, des cookies et du cache, ce qui le rend potentiellement plus stable et sécurisé. Mais les navigateurs wgetont en fait des utilisations normales très différentes .

wgetest un utilitaire de ligne de commande destiné à récupérer du contenu, pas à le présenter. Il peut être utilisé pour récupérer et télécharger n'importe quoi via FTP, HTTP et HTTPS, y compris tous les types de fichiers (HTML, images, binaires, etc.).

Pour le serveur, la seule différence qu'il verra est différente, user agentsauf si vous utilisez son --user-agentargument pour spécifier un navigateur. Si vous le faites, le serveur ne verra aucune différence.

1) téléchargements initiés par un script plutôt que par un être humain

2) télécharger des sites entiers (ou des fragments de sites) plutôt que des pages séparées. (Wget peut suivre automatiquement les liens.)

Wget a quelques options de ligne de commande pour contrôler ce que le serveur voit et peut penser, y compris des retards arbitraires entre les demandes de téléchargement de pages. Mais si le serveur de site a une politique anti-bot, vous perdez souvent beaucoup de temps et de trafic avant d'obtenir un résultat acceptable.

Lorsque vous utilisez un navigateur, tout ce qui s'y trouve est actif, y compris les compléments indésirables et même les logiciels malveillants, tandis que wget est une simple commande qui télécharge des éléments et ne fait absolument rien d'autre.

Le navigateur n'est pas nécessairement moins sécurisé mais potentiellement aussi.

Les serveurs "voient" une demande de téléchargement, comme d'habitude.

Le navigateur peut enregistrer vos activités dans l'historique et les fichiers de cache.

wget n'a aucune rétention de mémoire.

Cela dit, un navigateur est plus pratique et je me fiche que la NSA se rende compte que j'ai téléchargé 4.7.2-040702-genericla semaine dernière. J'utilise mon navigateur pour les opérations bancaires en ligne et paypal, ce qui est sans doute plus crucial que la majorité des fichiers que je peux télécharger avec wget.

En tant que développeur qui utilise des installations Ubuntu à distance, il est souvent très inutile d'installer l'interface graphique du système d'exploitation. Dans cet environnement de «ligne de commande», wget est un outil essentiel pour télécharger des fichiers depuis le Web.

Je ne sais même pas quels navigateurs, le cas échéant, peuvent être exécutés à partir du terminal.