Pods coincés dans le statut Terminating

J'ai essayé de supprimer un ReplicationControlleravec 12 pods et j'ai pu voir que certains pods étaient bloqués Terminating.

Mon cluster Kubernetes se compose d'un nœud de plan de contrôle et de trois nœuds de travail installés sur les machines virtuelles Ubuntu.

Quelle pourrait être la raison de ce problème?

NAME        READY     STATUS        RESTARTS   AGE
pod-186o2   1/1       Terminating   0          2h
pod-4b6qc   1/1       Terminating   0          2h
pod-8xl86   1/1       Terminating   0          1h
pod-d6htc   1/1       Terminating   0          1h
pod-vlzov   1/1       Terminating   0          1h

Vous pouvez utiliser la commande suivante pour supprimer le POD avec force.

kubectl delete pod <PODNAME> --grace-period=0 --force --namespace <NAMESPACE>

Forcer la suppression du pod:

kubectl delete pod --grace-period=0 --force --namespace <NAMESPACE> <PODNAME>

Le --forcedrapeau est obligatoire.

Supprimez le bloc des finaliseurs de la ressource (pod, déploiement, ds etc ...) yaml:

"finalizers": [
  "foregroundDeletion"
]

Réponse pratique - vous pouvez toujours supprimer un module de terminaison en exécutant:

kubectl delete pod NAME --grace-period=0

Réponse historique - Il y avait un problème dans la version 1.1 où parfois les pods étaient bloqués dans l'état Terminating si leurs nœuds étaient mal nettoyés du cluster.

J'ai trouvé cette commande plus simple:

for p in $(kubectl get pods | grep Terminating | awk '{print $1}'); do kubectl delete pod $p --grace-period=0 --force;done

Il supprimera tous les pods en état de terminaison dans l'espace de noms par défaut.

Dans mon cas, l' --forceoption n'a pas vraiment fonctionné. Je pouvais toujours voir le pod! Il était bloqué en mode Terminaison / Inconnu. Donc, après avoir couru

kubectl delete pods <pod> -n redis --grace-period=0 --force

L'Iran

kubectl patch pod <pod> -p '{"metadata":{"finalizers":null}}'

Si cela --grace-period=0ne fonctionne pas, vous pouvez faire:

kubectl delete pods <pod> --grace-period=0 --force

Je suis tombé sur cela récemment lors de la suppression de l'espace de noms Rook Ceph - il est resté bloqué dans l'état Terminating.

La seule chose qui a aidé était de supprimer le finaliseur kubernetes en appelant directement l'api k8s avec curl comme suggéré ici .

• kubectl get namespace rook-ceph -o json > tmp.json
• supprimer le finaliseur kubernetes dans tmp.json(laisser un tableau vide "finalizers": [])
• s'exécuter kubectl proxydans un autre terminal à des fins d'authentification et s'exécuter après la demande de boucle vers le port renvoyé
• curl -k -H "Content-Type: application/json" -X PUT --data-binary @tmp.json 127.0.0.1:8001/k8s/clusters/c-mzplp/api/v1/namespaces/rook-ceph/finalize
• l'espace de noms a disparu

Détection détaillée de la tour de ceph ici .

La question d'origine est « Quelle pourrait être la raison de ce problème? » Et la réponse est discutée sur https://github.com/kubernetes/kubernetes/issues/51835 & https://github.com/kubernetes/kubernetes/issues / 65569 & voir https://www.bountysource.com/issues/33241128-unable-to-remove-a-stopped-container-device-or-resource-busy

Son causé par le montage de docker qui fuit dans un autre espace de noms.

Vous pouvez vous connecter à l'hôte pod pour enquêter.

minikube ssh
docker container ps | grep <id>
docker container stop <id> 

Je suis tombé dessus récemment pour libérer des ressources dans mon cluster. voici la commande pour les supprimer tous.

kubectl get pods --all-namespaces | grep Terminating | while read line; do 
pod_name=$(echo $line | awk '{print $2}' ) name_space=$(echo $line | awk 
'{print $1}' ); kubectl delete pods $pod_name -n $name_space --grace-period=0 --force; 
done

j'espère que cela aide quelqu'un qui a lu ceci