Comment utiliser wget pour télécharger à partir de sites d'hébergement?

wget est un outil très utile pour télécharger des trucs sur Internet rapidement, mais puis-je l'utiliser pour télécharger à partir de sites d'hébergement, comme FreakShare, IFile.it Depositfiles, Uploaded, Rapidshare? Si oui, comment faire?

Ce type de site essaie de rendre difficile de ne pas utiliser un navigateur Web graphique, car si vous utilisez wget, vous manquerez toutes ces annonces qui paient pour la bande passante.

Certains sites n'effectuent pas de vérifications avancées et peuvent être trompés facilement: dites à wget de prétendre qu'il s'agit bien de Mozilla et qu'il provient du site de téléchargement .

wget --user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1' \
     --referer=http://downloadsite.example.com/download-page-url
     http://downloadsite.example.com/download-page-url/filename.ext`

La plupart des sites qui vérifient vous permettent de vous en sortir --user-agent=Mozillaet de --refererdéfinir l'URL du fichier que vous téléchargez.

Avec certains sites, vous devrez peut-être exporter les cookies du navigateur Web et passer --load-cookiesà wget; à ce stade, l'utilisation de wget commence à être plus de travail qu'un téléchargement manuel. La méthode ultime, qui peut fonctionner tout le temps mais nécessite un certain codage pour chaque site, consiste à utiliser un cadre d'automatisation de navigateur tel que Selenium ou Watir .

Voir aussi Automatisation des requêtes Web à l'aide de curl?

Pour Zippyshare:

Cette méthode s'appuie sur la réponse de Gilles . Comme il l'a dit, l'astuce consiste à faire croire au serveur que la demande provient d'un navigateur et pour y arriver, vous avez besoin de deux choses:

• Le lien de téléchargement (le lien réel vers le fichier)
• Link Referrer (La page Web avec le bouton de téléchargement)
• ID de session Zippyshare (trouvé dans les cookies)

Voici une capture d'écran expliquant où vous pouvez obtenir chaque élément:

Ouvrez maintenant votre terminal et utilisez la commande suivante (en remplaçant les éléments nécessaires):

wget <download_link> \
--referer='<referrer>' \
--cookies=off --header "Cookie: JSESSIONID=<session_id>" \
--user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1'

Exemple:

wget http://www16.zippyshare.com/d/29887835/8895183/hello.txt \
--referer='http://www16.zippyshare.com/v/29887835/file.html' \
--cookies=off --header "Cookie: JSESSIONID=26458C0893BF69F88EB5743D74FE0F8C" \
--user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1'

Remarque: Dans la commande, ce n'est en fait refererpasreferrer

Je voudrais également des réponses parfaites ci-dessus, j'ai utilisé l'astuce suivante pour télécharger un film enfant pour mon fils de Turbobit:

Au lieu de SESSION_ID de la réponse ci-dessus, vous devez trouver "compid" dans l'onglet cookie de FIREBUG:

Après cela, la commande de mon système embarqué Debian était tellement simple:

wget --referer='http://http://turbobit.net/download/free/yilmacr4e351' --cookies=off --header "Cookie: compid=c9255510c34624435292d8a0e7e405be66aa01f9%7ED01343F87AB53A2C38D957A564DA1D55" --user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1' http://turbobit.net/download/redirect/B3EDACDA9B899937A149D5AAB6662327/yilmacr4e351/Ters.Yuz.2015.1080P.WEBDL.TR.EN.mkv &

Je peux arrêter mon ordinateur maintenant :)