Comment envoyer une requête HTTP HEAD en Python 2?

Ce que j'essaie de faire ici, c'est d'obtenir les en-têtes d'une URL donnée afin que je puisse déterminer le type MIME. Je veux pouvoir voir si http://somedomain/foo/retournera un document HTML ou une image JPEG par exemple. Ainsi, je dois comprendre comment envoyer une requête HEAD afin de pouvoir lire le type MIME sans avoir à télécharger le contenu. Quelqu'un connaît-il un moyen facile de faire cela?

edit : Cette réponse fonctionne, mais de nos jours, vous devez simplement utiliser la bibliothèque de requêtes comme mentionné par d'autres réponses ci-dessous.

Utilisez httplib .

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

Il y a aussi un getheader(name)pour obtenir un en-tête spécifique.

urllib2 peut être utilisé pour exécuter une requête HEAD. C'est un peu plus agréable que d'utiliser httplib car urllib2 analyse l'URL pour vous au lieu de vous obliger à diviser l'URL en nom d'hôte et chemin.

>>> import urllib2
>>> class HeadRequest(urllib2.Request):
...     def get_method(self):
...         return "HEAD"
... 
>>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html"))

Les en-têtes sont disponibles via response.info () comme auparavant. Fait intéressant, vous pouvez trouver l'URL vers laquelle vous avez été redirigé:

>>> print response.geturl()
http://www.google.com.au/index.html

RequestsManière obligatoire :

import requests

resp = requests.head("http://www.google.com")
print resp.status_code, resp.text, resp.headers

Je pense que la bibliothèque Requests devrait également être mentionnée.

Juste:

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'

response = urllib2.urlopen(request)
response.info().gettype()

Edit: je viens de réaliser qu'il y a httplib2: D

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert resp[0]['status'] == 200
assert resp[0]['content-type'] == 'text/html'
...

texte du lien

Pour être complet, avoir une réponse Python3 équivalente à la réponse acceptée en utilisant httplib .

Il est fondamentalement le même code juste que la bibliothèque est pas appelée httplib plus mais http.client

from http.client import HTTPConnection

conn = HTTPConnection('www.google.com')
conn.request('HEAD', '/index.html')
res = conn.getresponse()

print(res.status, res.reason)

import httplib
import urlparse

def unshorten_url(url):
    parsed = urlparse.urlparse(url)
    h = httplib.HTTPConnection(parsed.netloc)
    h.request('HEAD', parsed.path)
    response = h.getresponse()
    if response.status/100 == 3 and response.getheader('Location'):
        return response.getheader('Location')
    else:
        return url

En passant, lors de l'utilisation de httplib (au moins sur 2.5.2), essayer de lire la réponse d'une requête HEAD bloquera (sur readline) et échouera par la suite. Si vous n'émettez pas de lecture sur la réponse, vous ne parvenez pas à envoyer une autre demande sur la connexion, vous devrez en ouvrir une nouvelle. Ou acceptez un long délai entre les demandes.

J'ai trouvé que httplib est légèrement plus rapide que urllib2. J'ai chronométré deux programmes - l'un utilisant httplib et l'autre utilisant urllib2 - envoyant des requêtes HEAD à 10000 URL. Celui de httplib était plus rapide de plusieurs minutes. Les statistiques totales de httplib étaient: utilisateur réel 6m21.334s 0m2.124s sys 0m16.372s

Et les statistiques totales de urllib2 étaient les suivantes: utilisateur réel de 9m1.380s 0m16.666s sys 0m28.565s

Quelqu'un d'autre a-t-il des commentaires à ce sujet?

Et encore une autre approche (similaire à la réponse de Pawel):

import urllib2
import types

request = urllib2.Request('http://localhost:8080')
request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__)

Juste pour éviter d'avoir des méthodes illimitées au niveau de l'instance.

Probablement plus simple: utilisez urllib ou urllib2.

>>> import urllib
>>> f = urllib.urlopen('http://google.com')
>>> f.info().gettype()
'text/html'

f.info () est un objet de type dictionnaire, vous pouvez donc faire f.info () ['content-type'], etc.

http://docs.python.org/library/urllib.html
http://docs.python.org/library/urllib2.html
http://docs.python.org/library/httplib.html

La documentation note que httplib n'est normalement pas utilisé directement.