Est-ce que curl a un timeout?

251

Jusqu'ici, je n'ai rien trouvé vraiment, mais est-il vrai que le temps curlne s'est pas arrêté?

 user@host:~# curl http://localhost/testdir/image.jpg

Je pose la question car je redirige toute demande d'images testdirvers un module Apache distinct qui génère ces images à la volée. Cela peut prendre jusqu'à 15 minutes avant que l'image soit prête et livrée au client demandeur.

Attendra-t-il curltoujours (ou cela dépend-il de la configuration) ou existe-t-il un délai d'attente quelconque?

Preexo
la source
3
J'attendre boucle d'avoir un délai d' attente de connexion (si rien d' autre, le système d' exploitation et sa pile TCP / IP presque certainement fait), mais il pourrait ne pas avoir un délai d' attente de lecture une fois que la connexion a été établie.
un CVn

Réponses:

340

Oui.

Paramètres de délai d'attente

curla deux options: --connect-timeoutet --max-time.

Citant la page de manuel:

--connect-timeout <seconds>
    Maximum  time  in  seconds  that you allow the connection to the
    server to take.  This only limits  the  connection  phase,  once
    curl has connected this option is of no more use.  Since 7.32.0,
    this option accepts decimal values, but the actual timeout  will
    decrease in accuracy as the specified timeout increases in deci‐
    mal precision. See also the -m, --max-time option.

    If this option is used several times, the last one will be used.

et:

-m, --max-time <seconds>
    Maximum  time  in  seconds that you allow the whole operation to
    take.  This is useful for preventing your batch jobs from  hang‐
    ing  for  hours due to slow networks or links going down.  Since
    7.32.0, this option accepts decimal values, but the actual time‐
    out will decrease in accuracy as the specified timeout increases
    in decimal precision.  See also the --connect-timeout option.

    If this option is used several times, the last one will be used.

Défauts

Ici (sur Debian), il cesse d’essayer de se connecter après 2 minutes, quel que soit le temps spécifié avec --connect-timeoutet bien que le délai de connexion par défaut semble être de 5 minutes selon la DEFAULT_CONNECT_TIMEOUTmacro dans lib / connect.h .

Une valeur par défaut pour --max-timene semble pas exister, ce qui curloblige à attendre pour une réponse si la connexion initiale aboutit.

Quoi utiliser?

Vous êtes probablement intéressé par cette dernière option, --max-time. Pour votre cas, réglez-le sur 900(15 minutes).

Spécifier une option --connect-timeoutcomme quelque chose comme 60(une minute) pourrait également être une bonne idée. Sinon, nous curlallons essayer de nous connecter encore et encore, en utilisant apparemment un algorithme de backoff.

scai
la source
2
Merci pour ça! --max-time ne dit rien sur les valeurs par défaut, donc je suppose qu'il n'a pas et donc n'a pas de délai d'expiration sauf le délai de connexion par défaut ...?
Preexo
4
Oui, si la connexion réussit, curl semble attendre une réponse pour toujours.
Scai
Notez que les deux maxtime sont un problème si la réponse est un gros téléchargement qui prend plus de temps que «maxtime».
user92979
1
Le délai d'attente de 2 minutes sent également pour moi comme un délai d'attente du serveur. Je viens d'avoir le même problème avec le serveur http d'une application Node.js qui a un délai d'expiration par défaut de 2 minutes. Pour l'augmenter, voir HTTP.server.setTimeout () .
Thalis K.
17

Il y a timelimit: / usr / bin / timelimit - limite efficacement le temps d'exécution absolu d'un processus

 Options:

 -p      If the child process is terminated by a signal, timelimit
         propagates this condition, i.e. sends the same signal to itself. 
         This allows the program executing timelimit to determine 
         whether the child process was terminated by a signal or 
         actually exited with an exit code larger than 128.
 -q      Quiet operation - timelimit does not output diagnostic 
         messages about signals sent to the child process.
 -S killsig
         Specify the number of the signal to be sent to the 
         process killtime seconds after warntime has expired.  
         Defaults to 9 (SIGKILL).
 -s warnsig
         Specify the number of the signal to be sent to the 
         process warntime seconds after it has been started.  
         Defaults to 15 (SIGTERM).
 -T killtime
         Specify the maximum execution time of the process before 
         sending killsig after warnsig has been sent.  Defaults to 120 seconds.
 -t warntime
         Specify the maximum execution time of the process in 
         seconds before sending warnsig.  Defaults to 3600 seconds.

 On systems that support the setitimer(2) system call, the 
 warntime and killtime values may be specified in fractional 
 seconds with microsecond precision.
perpétuité
la source
1
Non disponible par défaut sur macOS 10.13.4 au moins.
Thorbjørn Ravn Andersen
14

Mieux que --max-timeles options --speed-limitet --speed-time. En bref, --speed-limitspécifie la vitesse moyenne minimale que vous êtes prêt à accepter et --speed-timela durée pendant laquelle la vitesse de transfert peut rester inférieure à cette limite avant l'expiration du transfert et son abandon.

Alex D
la source
9
Je pense que ni l’un ni l’autre n’est meilleur, mais dans mon cas d’utilisation - max-time est en fait plus approprié car tout dépassement de 10 secondes rendrait mon programme inutile.
Jorge Bucaran
J'utilise curl en tant que bibliothèque dans une application de bureau (je ne l'appelle pas uniquement à partir de la CLI) et, pour moi, votre option était la meilleure solution. Mon application doit pouvoir prendre en charge les longs téléchargements. Ainsi, un simple - max-time ne permet pas de détecter les "téléchargements bloqués" (ce qui est le cas si, par exemple, l'utilisateur se déconnecte alors qu'un téléchargement est en cours. progrès), alors je suis allé avec une limite de vitesse de 1024 et un temps de vitesse de 30 pour les détecter.
André Morujão
1
Utile? Certainement. Mieux? Je pense que cela dépend beaucoup de vos besoins
Brian Agnew
Les délais d'attente sont un problème si la réponse peut être un téléchargement volumineux de taille inconnue (ou même connue!). maxtime expirera si le téléchargement volumineux prend plus de 15 minutes, par exemple. Et les limitations de vitesse peuvent être déclenchées par des mandataires qui mettent en cache la réponse complète avant de transmettre quoi que ce soit. Ils semblent parfois transmettre 1 octet par minute, mais comment savoir s'il s'agit d'un proxy de mise en cache sur un réseau rapide ou d'une connexion très lente qui doit être essayée à nouveau? Donc, au final, j'ai abandonné et désactivé les délais d'attente pour les requêtes de téléchargement. Pas sûr s'il y a un meilleur moyen.
user92979
3

Si vous avez coreutils installé sur MacOS, vous pouvez utiliser la commande GNU timeout fournie avec ce paquet. Les outils GNU ont tous comme préfixe un gCLI gtimeout.

gtimeout --help
Usage: gtimeout [OPTION] DURATION COMMAND [ARG]...
 or:  gtimeout [OPTION]
Start COMMAND, and kill it if still running after DURATION.

Exemple

$ gtimeout 1s curl -I http://www.google.com/
HTTP/1.1 200 OK
Date: Wed, 31 Oct 2018 03:36:08 GMT
Expires: -1
Cache-Control: private, max-age=0
Content-Type: text/html; charset=ISO-8859-1
P3P: CP="This is not a P3P policy! See g.co/p3phelp for more info."
Server: gws
X-XSS-Protection: 1; mode=block
X-Frame-Options: SAMEORIGIN
Set-Cookie: 1P_JAR=2018-10-31-03; expires=Fri, 30-Nov-2018 03:36:08 GMT; path=/; domain=.google.com
HttpOnly
Transfer-Encoding: chunked
Accept-Ranges: none
Vary: Accept-Encoding
slm
la source
0

Couple de solutions dans BASH4 +

# -- server available to check via port xxx ?  --
function isServerAvailableNC() {
    max_secs_run="${3}"
    if timeout $max_secs_run nc -z ${1} ${2} 2>/dev/null >/dev/null; then
        #echo "${1} ✓"
        true
   else
        #echo "${1} ✗"
        return
   fi
}


# -- server available to check via port xxx ?  --
# -- supported protocols (HTTP, HTTPS, FTP, FTPS, SCP, SFTP, TFTP, DICT, TELNET, LDAP or FILE) --
#/usr/bin/curl -sSf --max-time 3 https://ifwewanted.to.confirm.https.com/ --insecure

function isServerAvailableCURL() {

    max_secs_run="${3}"

    proto="http://"
    if [ ! -z ${2} ] || [ ${2} -gt 80 ] ;then
        proto="https://"
    fi

    if /usr/bin/curl -sSf --max-time "${max_secs_run}" "${1}" --insecure 2>/dev/null >/dev/null; then
        #echo "${1} ✓"
        true
    else
        #echo "${1} ✗"
        false
    fi
}

Exemple d'utilisation:

RECOMMANDE QUE NC soit utilisé si nous avons besoin d’un port spécifique

host="1.2.3.4"
if isServerAvailableCURL "$host" "80" "3";then
    check_remote_domain_cert "$host"
fi


host="1.2.3.4"
if isServerAvailableNC "$host" "80" "3";then
    check_remote_domain_cert "$host"
fi
Mike Q
la source