J'ai un fichier txt avec plusieurs liens. J'ai besoin d'accéder à chaque lien dans ce txt et de télécharger / sauvegarder chaque page. Pour accéder à chaque page, un identifiant et un mot de passe sont requis. Comment puis-je faire cela par terminal linux / shell script / python? Le lynx peut-il aider?
python
shell-script
html
lynx
Rafael
la source
la source
1
man wget Vous voudrez peut-être aussi Google pour passer l'authengication
nnovich-OK
Voulez-vous que les noms d'utilisateur et les mots de passe vous soient demandés ou souhaitez-vous les stocker dans un autre fichier qui sera lu par le script qui télécharge les pages? Chaque page nécessite-t-elle un nom d'utilisateur et un mot de passe distincts ou le même nom d'utilisateur et le même mot de passe sont-ils utilisés pour toutes les pages? Chaque ligne du fichier texte contient-elle uniquement un lien sans autre texte ou devez-vous rechercher un document contenant des liens entrecoupés d'autres textes?
pointe de lune
Cher @ Moonpoint, merci. Je veux les stocker dans un autre fichier qui lira le script qui télécharge les pages et chaque ligne du fichier texte ne contient qu'un lien avec un autre texte. ||| Le site ne vous permet pas de télécharger le lien. , mais quand je suis sur la page et donnez un Ctrl + S ou Ctrl + P pour télécharger ou imprimer (pdf) la page. J'ai donc pensé que j'utiliserais Lynx pour me connecter à la page et enregistrer chaque lien dans le fichier txt. Pensez-vous que c'est possible? Avez-vous de meilleures idées?
Rafael
Cher @ nnovich-OK, merci, mais je l'ai déjà essayé. Le site ne permet pas le téléchargement de wget avec "--user et --password" ou "--user --password --auth-no-challenge"
Rafael le