J'ai une URL de page html et je veux la grep. Comment puis-je le faire wget someArgs | grep keyword? Ma première idée était wget -q -O - url | grep keyword, mais la sortie de wget contourne grep et se pose sur le terminal dans sa forme
Comment puis-je écrire un script bash qui va faire ce qui suit: URL = "example.com/imageID=" while (1..100) wget URL + $i #it will wget example.com/imageID=1, then 2, then 3, etc done J'ai donc un certain nombre de boucles à effectuer, une URL qui se termine par un numéro de la boucle. J'ai besoin...
Plus précisément, j'aimerais pouvoir télécharger certaines pages de mon profil utilisateur sur les différents sites Stack Exchange. Je voudrais cependant le faire automatiquement (à l'aide d'un crontravail), à partir de la ligne de commande et dans un format analysable. Je préfère de loin utiliser...
Je veux faire la requête POST suivante à mon serveur en utilisant wget: [email protected]&file1=@FILE_HERE&file2=@FILE_HERE Dans la demande ci-dessus, il y a trois paramètres POST appelés email, file1et file2où emailcontient l'e-mail de l'utilisateur et file1, file2contiennent un fichier....
Je suis un utilisateur de Linux Mint (Lisa) et Tor Bundle essayant d'utiliser wget sur Tor. Après avoir suivi les instructions que j'ai trouvées ici , tout ce que j'obtiens lors de l'exécution de wget est un fichier de sortie disant "514 Authentification requise". Voici ce que j'ai fait: j'ai...
Je veux télécharger un fichier avec Wget , mais selon la philosophie UNIX habituelle, je ne veux pas qu'il génère quoi que ce soit si le téléchargement réussit. Cependant, si le téléchargement échoue, je veux un message d'erreur. L' -qoption supprime toutes les sorties, y compris les messages...
Comment télécharger une liste de fichiers depuis un serveur de fichiers comme celui-ci http://www.apache.org/dist/httpd/binaries/ ? Je suppose que je pourrais utiliser wget mais ensuite il essaie d'obtenir tous les liens et le fichier html également. Existe-t-il un meilleur outil pour y...
J'ai accidentellement fermé le terminal lors de l'exécution d'un wgetprocessus de téléchargement d'un site Web. Cela fait 2 jours que j'ai commencé le processus wget, donc je ne connais pas l'état du processus. Hier, le trafic était élevé et aujourd'hui, le trafic est faible. Il semble que le...
J'essaie de refléter un blog, par exemple www.example.comavec wget. J'utilise wget avec les options suivantes (les variables shell sont remplacées correctement): wget -m -p -H -k -E -np \ -w 1 \ --random-wait \ --restrict-file-names=windows \ -P $folder \ -Q${quota}m \ -t 3 \ --referer=$url \ -U...
Ce que je veux faire, c'est télécharger l'archive du référentiel privé à partir de GitHub, l'extraire, supprimer le fichier d'archive et copier certains répertoires qui se trouvent dans le projet téléchargé. J'ai essayé d'utiliser wgetmais je ne peux pas m'autoriser: wget --header='Authorization:...
Je souhaite accéder à un site de journal, puis télécharger leurs copies électroniques (en PDF). Le site nécessite que je me connecte en utilisant mon adresse e-mail et mon mot de passe, puis il me permet d'accéder à ces URL PDF. J'ai du mal à "configurer ma session" dans Wget . Lorsque je me...
En aidant un ami avec sa connexion Internet car «certaines pages ne se chargent pas», j'ai remarqué que le problème était que les images des publications d'images de certains blogs n'étaient pas chargées sur le navigateur. Je l'ai trouvé bizarre pour les raisons suivantes: Seules les images faisant...
Exécution d'un script avec Cygwin sur Windows XP avec double cœur et 4 Go de RAM cat url_list.txt | xargs -P50 wget -i J'essaie de parcourir 4 Go d' URL à télécharger (environ 43 millions) Fonctionne bien pendant environ la première heure, puis le shell Bash et les téléchargements s'arrêtent même...
J'essaie d'utiliser Wget pour télécharger mes pages privées GitHub, mais je ne peux pas dépasser l'écran de connexion. Comment envoyer les login/passworddonnées de publication sur la page de connexion, puis télécharger la page en tant qu'utilisateur authentifié? Voici la commande que j'essaye...
Je veux télécharger tous les *.giffichiers d'un emplacement particulier. Par exemple, supposons que l'emplacement est http://asdf.com/file/images/*.gif. Quand j'utilise: wget -m http://asdf.com/file/images/ J'ai une 403 (permission denied)erreur. Mais quand j'utilise: wget -m
Cette question a déjà une réponse ici: Assurez-vous que wget convertisse les liens HTML en fichiers relatifs après téléchargement si l'option -k n'a pas été spécifiée 1 réponse Je sais que l' wgeton peut récupérer une page distante et ses dépendances et réécrire le code HTML afin que les...
J'ai besoin de télécharger environ 100 paquets alors j'utilise wget-list pour le rendre plus facile. Ma question cependant, est une fois que j'ai fait la liste (je suppose que c'est au format .txt), est-ce qu'il y a un moyen de pouvoir y insérer des commentaires que wget ignorera? Quelque chose...
Pour vérifier l’en-tête de réponse HTTP pour un ensemble d’URL, j’envoie avec curl les en-têtes de requête suivants foreach ( $urls as $url ) { // Setup headers - I used the same headers from Firefox version 2.0.0.6 $header[ ] = "Accept: text/xml,application/xml,application/xhtml+xml,"; $header[ ]...
J'essaie d'utiliser un wget pour récupérer une page Web qui affiche les résultats d'une chaîne recherchée. Cependant, la page récupérée n'affiche que les résultats d'une chaîne vide. De par son apparence, les termes de recherche sont placés dans une sorte de tableau. Comment utiliser wget pour...