Kubrnetes work NotReady ResourceExhausted work 노드 자원 부족

1088 단어 kubernetes
rpc error: code = ResourceExhausted desc = grpc: received message larger than max (4196772 vs. 4194304)
현상:kubernetes 그룹을 사용할 수 없습니다. 모든work 노드가 오프라인입니다
문제 포지셔닝:
  • kubectl get node를 실행하면 work 노드가 모두 NotReady 상태
  • 입니다.
  • work 노드에 로그인하여 로그 발견
  • Nov  1 10:32:34 izwz9a75ak59utsbrrj9crz kubelet: E1101 10:32:34.119157    1669 kuberuntime_container.go:323] getKubeletContainers failed: rpc error: code = ResourceExhausted desc = grpc: received message larger than max (4196772 vs. 4194304)
    Nov  1 10:32:34 izwz9a75ak59utsbrrj9crz kubelet: E1101 10:32:34.119174    1669 generic.go:197] GenericPLEG: Unable to retrieve pods: rpc error: code = ResourceExhausted desc = grpc: received message larger than max (4196772 vs. 4194304)
    
  • 발견/var/lib/docker/containers 아래 수만 개의 용기 파일이 있음
  • 이 문제는 k8s의 버그가 있습니다https://github.com/kubernetes/kubernetes/issues/63858
    해결 방법:
  • work 노드에 로그인하여 사용하지 않는 용기 잔류 제거docker system prune
  • docker와kubeletservice docker restart && service kubelet restart
  • 다시 시작

    좋은 웹페이지 즐겨찾기