Qu'est-ce qui peut provoquer la panne de TOUS les services d'un serveur tout en répondant au ping? et comment comprendre

Il m'est déjà arrivé deux fois en quelques jours que mon serveur tombe complètement en panne, ce qui signifie http, ssh, ftp, dns, smtp, en gros TOUS les services cessent de répondre, comme si le serveur avait été éteint, sauf qu'il répond toujours au ping , ce qui me choque le plus.

J'ai quelques scripts php qui provoquent une énorme charge (CPU et mémoire) sur le serveur en courtes rafales, utilisés par un petit groupe d'utilisateurs, mais généralement le serveur "survit" parfaitement bien à ces rafales, et quand il descend, il ne coïncident jamais avec de tels pics d'utilisation (je ne dis pas que cela ne peut pas être lié, mais cela ne se produit pas juste après ceux-ci).

Je ne vous demande pas par magie de pouvoir me dire la cause ultime de ces plantages, ma question est: y a-t-il un seul processus dont la mort pourrait faire baisser simultanément tous ces services? Le plus drôle, c'est que tous les services réseau tombent en panne, sauf le ping. Si le serveur avait absorbé 100% du processeur par un processus, il ne répondrait pas non plus au ping. Si apache plantait à cause (par exemple) d'un script php cassé, cela n'affecterait que http, pas ssh et dns .... etc.

Mon OS est Cent OS 5.6

Plus important encore, après un redémarrage dur du serveur, quels journaux système dois-je consulter? / var / log / messages ne révèle rien de suspect.

( tl; dr répondant toujours au ping est un comportement attendu, vérifiez votre utilisation de la mémoire)

Les demandes d'écho ICMP (c.-à-d. Ping) sont gérées par la pile de mise en réseau dans le noyau, sans autre dépendance.

Le noyau est connu pour être "résident en mémoire", ce qui signifie qu'il sera toujours conservé dans la RAM et ne peut pas être échangé sur le disque comme une application ordinaire le peut.

Cela signifie que dans les situations où vous manquez de mémoire physique, les applications sont échangées sur le disque, mais le noyau reste où il est. Lorsque la mémoire physique et la mémoire d'échange sont pleines (et que le système ne peut plus gérer vos programmes), la machine basculera. Cependant parce que a) le noyau est toujours en mémoire et b) il peut répondre aux requêtes ping sans l'aide d'autre chose, le système continuera de répondre au ping malgré tout étant mort.

En ce qui concerne votre problème, je soupçonne fortement des problèmes de mémoire. Installez "sysstat" et utilisez la commande "sar" pour voir un journal de la mémoire / cpu / load / io load etc. Je m'attendrais à des moments de crash vous verriez à la fois 100% physique et swap utilisé.

J'envisagerais également de regarder dmesg ou / var / log / messages pour tout signe de l'appel OOM-killer (out-of-memory-killer). Il s'agit du système d'urgence du noyau qui commencera à tuer les processus en cas d'épuisement de la mémoire. Son efficacité dépend en grande partie des processus tués. Un seul processus consommant de la mémoire sera efficacement tué et libéré de la mémoire, mais un site Web basé sur Apache engendrera des processus de remplacement dès qu'un processus enfant sera tué.

Il s'agit généralement d'un problème d'E / S ou de sous-système de disque. Souvent, cela sera associé à une moyenne de charge système extrêmement élevée. Par exemple, le système détaillé dans le graphique ci-dessous ne répondait pas (mais était pingable) lorsqu'un script fonctionnait mal, verrouillé un tas de fichiers et la charge passait à 36 ... sur un système à 4 CPU.

Les services qui s'exécutent en RAM et ne nécessitent pas d'accès au disque continuent de s'exécuter ... Ainsi, la pile réseau (ping) est en place, mais les autres services se bloquent lorsqu'un accès au disque est requis ... SSH lorsqu'une clé est référencée ou recherche de mot de passe nécessaire. SMTP a tendance à s'arrêter lorsque la moyenne de charge atteint environ 30 ...

Lorsque le système est dans cet état, essayez une télécommande par nmaprapport à l'IP du serveur pour voir ce qui se passe.

Votre journalisation ne fonctionne probablement pas s'il s'agit d'un problème de disque ou de stockage ...

Pouvez-vous décrire la configuration matérielle? S'agit-il d'une machine virtuelle? Quelle est la disposition du stockage?

Plus que la journalisation, vous voulez voir si vous pouvez représenter graphiquement les performances du système et comprendre quand cela se produit. Vérifiez si cela correspond à une activité spécifique.