J'ai un site Web et je souhaite télécharger toutes les pages / liens de ce site Web. Je veux faire un wget -r
sur cette URL. Aucun des liens ne va "en dehors" de ce répertoire spécifique, donc je ne suis pas inquiet de télécharger l'intégralité d'Internet.
En fait, les pages que je veux se trouvent derrière la section protégée par mot de passe du site Web. Bien que je puisse utiliser wget pour faire manuellement cette négociation de cookies, il serait beaucoup plus facile pour moi de simplement "me connecter" à partir du navigateur et d'utiliser un plugin firefox pour tout télécharger récursivement.
Y a-t-il une extension ou quelque chose qui me permettra de le faire? De nombreuses extensions se concentrent sur l'obtention de médias / images à partir de la page (heh. Heh.) Mais je suis intéressé par tout le contenu - HTML et tout.
Suggestions?
Merci!
Éditer
DownThemAll semble être une suggestion intéressante. Peut-il effectuer un téléchargement récursif ? Comme dans, téléchargez tous les liens sur la page, puis téléchargez tous les liens contenus dans chacune de ces pages, etc.? Alors que je reflète essentiellement l'arborescence de répertoires en suivant les liens? Un peu comme l' -r
option de wget
?
la source
Vous pouvez utiliser
wget -r
des cookies du navigateur, extraits après autorisation.Firefox a l'option "Copier en tant que cURL" dans le menu contextuel de la demande de page dans l'onglet Réseau des outils de développement Web, raccourci clavier Ctrl + Maj + Q (vous devrez peut-être recharger la page après avoir ouvert les outils):
Remplacez l'indicateur d'en-tête de curl
-H
par wget--header
, et vous avez tous les en-têtes nécessaires, y compris les cookies, pour continuer la session du navigateur avec wget.la source