Télécharger une copie locale d'une page Web [fermée]

211

Je souhaite télécharger une copie locale d'une page Web et obtenir tous les css, images, javascript, etc.

Dans les discussions précédentes (par exemple ici et ici , qui ont toutes deux plus de deux ans), deux suggestions sont généralement avancées: wget -pet httrack . Cependant, ces suggestions échouent toutes les deux. J'apprécierais beaucoup l'aide à utiliser l'un ou l'autre de ces outils pour accomplir la tâche; les alternatives sont également belles.


Option 1: wget -p

wget -ptélécharge avec succès tous les prérequis de la page Web (css, images, js). Cependant, lorsque je charge la copie locale dans un navigateur Web, la page ne peut pas charger les conditions préalables car les chemins d'accès à ces conditions préalables n'ont pas été modifiés à partir de la version sur le Web.

Par exemple:

  • Dans le code HTML de la page, <link rel="stylesheet href="https://stackoverflow.com/stylesheets/foo.css" />devra être corrigé pour pointer vers le nouveau chemin relatif defoo.css
  • Dans le fichier css, background-image: url(/images/bar.png)devra également être ajusté.

Existe-t-il un moyen de modifier wget -ppour que les chemins soient corrects?


Option 2: httrack

httracksemble être un excellent outil pour mettre en miroir des sites Web entiers, mais je ne sais pas comment l'utiliser pour créer une copie locale d'une seule page. Il y a beaucoup de discussions dans les forums httrack sur ce sujet (par exemple ici ) mais personne ne semble avoir une solution pare-balles.


Option 3: un autre outil?

Certaines personnes ont suggéré des outils payants, mais je n'arrive pas à croire qu'il n'y ait pas de solution gratuite.

brahn
la source
19
Si la réponse ne fonctionne pas, essayez: wget -E -H -k -K -p http://example.com- seulement cela a fonctionné pour moi. Crédit: superuser.com/a/136335/94039
its_me
Il existe également un logiciel pour le faire, Teleport Pro .
pbies
3
wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com
davidcondrey

Réponses:

262

wget est capable de faire ce que vous demandez. Essayez simplement ce qui suit:

wget -p -k http://www.example.com/

Le -pvous obtiendra tous les éléments nécessaires pour visualiser correctement le site (css, images, etc.). Le -kva changer tous les liens (pour inclure ceux pour CSS et les images) pour vous permettre de visualiser la page hors ligne telle qu'elle est apparue en ligne.

Depuis les documents Wget:

‘-k’
‘--convert-links’
After the download is complete, convert the links in the document to make them
suitable for local viewing. This affects not only the visible hyperlinks, but
any part of the document that links to external content, such as embedded images,
links to style sheets, hyperlinks to non-html content, etc.

Each link will be changed in one of the two ways:

    The links to files that have been downloaded by Wget will be changed to refer
    to the file they point to as a relative link.

    Example: if the downloaded file /foo/doc.html links to /bar/img.gif, also
    downloaded, then the link in doc.html will be modified to point to
    ‘../bar/img.gif’. This kind of transformation works reliably for arbitrary
    combinations of directories.

    The links to files that have not been downloaded by Wget will be changed to
    include host name and absolute path of the location they point to.

    Example: if the downloaded file /foo/doc.html links to /bar/img.gif (or to
    ../bar/img.gif), then the link in doc.html will be modified to point to
    http://hostname/bar/img.gif. 

Because of this, local browsing works reliably: if a linked file was downloaded,
the link will refer to its local name; if it was not downloaded, the link will
refer to its full Internet address rather than presenting a broken link. The fact
that the former links are converted to relative links ensures that you can move
the downloaded hierarchy to another directory.

Note that only at the end of the download can Wget know which links have been
downloaded. Because of that, the work done by ‘-k’ will be performed at the end
of all the downloads. 
serk
la source
2
J'ai essayé cela, mais en quelque sorte des liens internes tels que index.html#link-to-element-on-same-pagecessé de fonctionner.
rhand
12
Certains serveurs répondent avec un code 403 si vous utilisez wget sans agent utilisateur, vous pouvez ajouter -U 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.6) Gecko/20070802 SeaMonkey/1.1.4'
nikoskip
45
Si vous trouvez qu'il vous manque encore des images, etc. alors essayez d'ajouter ceci: -e robots = off ..... wget lit et respecte réellement robots.txt - cela m'a vraiment rendu difficile de comprendre pourquoi rien travaillé!
John Hunt
24
utiliser des hôtes étrangers pour obtenir des ressources-H, --span-hosts
davidhq