Qu'est-ce que la latence P99?

Que représente la latence P99? J'entends souvent parler de cela dans les discussions sur les performances d'une application, mais je n'ai pas trouvé de ressource en ligne qui en parlerait.

C'est le 99e centile . Cela signifie que 99% des demandes devraient être plus rapides que la latence donnée. En d'autres termes, seulement 1% des demandes peuvent être plus lentes.

Nous pouvons l'expliquer par une analogie, si 100 étudiants courent une course alors 99 étudiants devraient terminer la course en temps de «latence».

Imaginez que vous collectez des données de performance de votre service et que le tableau ci-dessous est la collection de résultats (les valeurs de latence sont fictives pour illustrer l'idée).

Latency    Number of requests
1s         5
2s         5
3s         10
4s         40
5s         20
6s         15
7s         4
8s         1

La latence P99 de votre service est de 7s. Seulement 1% des demandes prennent plus de temps que cela. Ainsi, si vous pouvez diminuer la latence P99 de votre service, vous augmentez ses performances.

Prenons un exemple d' ici

Request latency:
    min: 0.1
    max: 7.2
    median: 0.2
    p95: 0.5
    p99: 1.3

Nous pouvons donc dire que 99% des requêtes Web, la latence trouvée était de 1,3 ms (ms / microsecondes dépend des mesures de latence de votre système configurées) ou moins. Comme @tranmq l'a dit, si on diminue la latence P99 du service, on peut augmenter ses performances.

Et il est également intéressant de noter le p95, car peu de requêtes peuvent rendre p99 plus coûteuse que p95 par exemple) les requêtes initiales qui construisent le cache, les objets de classe réchauffent, les threads init ...

Finalement; nous pouvons avoir environ 1% de bruit dans nos mesures (comme les congestions du réseau, les pannes, les dégradations de service), de sorte que la latence p99 est un bon représentant pratiquement du pire des cas. Et, presque toujours, notre objectif est de réduire la latence p99.