K8s Pod 调度疑难杂症：原因分析与解决方案全景指南

在 Kubernetes 集群的日常运维中，Pod 调度失败是开发者和运维人员经常遇到的问题。一个新建的 Pod 迟迟无法运行，查看状态总是 Pending，events 中出现诸如 FailedScheduling 的错误信息。本文将深入探讨 Kubernetes Pod 调度失败的各种原因，并提供相应的排查思路和解决方案，帮助你快速定位并解决问题。

常见 Pod 调度失败原因

资源不足 (Insufficient Resources)

这是最常见的 Pod 调度失败原因之一。当 Kubernetes 集群的节点上没有足够的 CPU、内存或者其他资源来满足 Pod 的需求时，调度器就无法将 Pod 调度到任何节点上。例如，Pod 定义中请求了 4 核 CPU 和 8GB 内存，但集群中所有节点的可用资源都低于这个值，那么 Pod 就会一直处于 Pending 状态。

排查方法：

• 查看 Pod 的 events： 使用 kubectl describe pod <pod-name> 命令查看 Pod 的 events，通常会包含 Insufficient cpu 或 Insufficient memory 等错误信息。
• 查看节点资源使用情况： 使用 kubectl top node 命令查看节点的 CPU 和内存使用情况，确认是否有节点资源严重不足。
• 查看 Pod 的资源请求： 使用 kubectl get pod <pod-name> -o yaml 命令查看 Pod 的 YAML 定义，确认资源请求是否合理。

解决方案：

• 调整 Pod 的资源请求： 降低 Pod 的 CPU 和内存请求，使其能够在现有节点上运行。
• 增加节点数量： 向 Kubernetes 集群添加新的节点，以提供更多的资源。
• 优化资源使用： 优化应用程序，减少其资源消耗。例如，使用更高效的数据结构和算法，或者采用缓存机制。
• 使用资源配额 (Resource Quotas)： 如果是多租户环境，可以使用资源配额来限制每个 namespace 的资源使用，防止某个 namespace 占用过多的资源。

# Example ResourceQuota
apiVersion: v1
kind: ResourceQuota
metadata:
  name: compute-resources
  namespace: my-namespace
spec:
  hard:
    cpu: "4"
    memory: "8Gi"
    pods: "10"

节点选择器 (Node Selectors) 或节点亲和性 (Node Affinity) 不匹配

Pod 可以通过节点选择器或节点亲和性指定调度到特定的节点上。如果 Pod 的节点选择器或节点亲和性与集群中任何节点的标签都不匹配，那么 Pod 就无法被调度。

排查方法：

• 查看 Pod 的 YAML 定义： 使用 kubectl get pod <pod-name> -o yaml 命令查看 Pod 的 YAML 定义，确认是否定义了节点选择器或节点亲和性。
• 查看节点的标签： 使用 kubectl get node <node-name> --show-labels 命令查看节点的标签，确认标签是否与 Pod 的节点选择器或节点亲和性匹配。

解决方案：

• 修改 Pod 的节点选择器或节点亲和性： 修改 Pod 的 YAML 定义，使其能够匹配到集群中的节点。
• 修改节点的标签： 修改节点的标签，使其能够匹配 Pod 的节点选择器或节点亲和性。注意，修改节点标签需要谨慎，可能会影响其他 Pod 的调度。

污点 (Taints) 和容忍度 (Tolerations) 配置错误

污点用于防止 Pod 被调度到某些节点上，除非 Pod 具有相应的容忍度。如果 Pod 没有容忍节点上的污点，那么 Pod 就无法被调度到该节点上。

排查方法：

• 查看节点的污点： 使用 kubectl describe node <node-name> 命令查看节点的污点。
• 查看 Pod 的 YAML 定义： 使用 kubectl get pod <pod-name> -o yaml 命令查看 Pod 的 YAML 定义，确认是否定义了容忍度。

解决方案：

• 为 Pod 添加容忍度： 修改 Pod 的 YAML 定义，添加相应的容忍度，使其能够容忍节点上的污点。
• 移除节点的污点： 如果不需要节点上的污点，可以使用 kubectl taint nodes <node-name> <taint-key>- 命令移除污点。注意，移除节点污点需要谨慎，可能会影响其他 Pod 的调度。

# Example Toleration
apiVersion: v1
kind: Pod
metadata:
  name: my-pod
spec:
  containers:
  - name: my-container
    image: nginx
  tolerations:
  - key: "node.kubernetes.io/unreachable"
    operator: "Exists"
    effect: "NoExecute"
  - key: "node.kubernetes.io/not-ready"
    operator: "Exists"
    effect: "NoExecute"

Pod 优先级 (Pod Priority) 和抢占 (Preemption)

如果启用了 Pod 优先级和抢占功能，低优先级的 Pod 可能会被高优先级的 Pod 抢占资源。如果集群资源紧张，高优先级的 Pod 可能会导致低优先级的 Pod 无法被调度。

排查方法：

• 查看 Pod 的优先级： 使用 kubectl get pod <pod-name> -o yaml 命令查看 Pod 的 YAML 定义，确认是否定义了优先级。
• 查看集群资源使用情况： 使用 kubectl top node 命令查看节点的 CPU 和内存使用情况，确认是否有节点资源严重不足。
• 查看是否有高优先级的 Pod 正在抢占资源： 观察集群中是否有高优先级的 Pod 正在被调度，并导致其他 Pod 被驱逐。

解决方案：

• 调整 Pod 的优先级： 调整 Pod 的优先级，使其能够更容易被调度。
• 增加节点数量： 向 Kubernetes 集群添加新的节点，以提供更多的资源。
• 优化资源使用： 优化应用程序，减少其资源消耗。

其他原因

• 网络配置问题： Pod 无法访问网络，导致调度失败。
• 存储卷挂载问题： Pod 无法挂载存储卷，导致调度失败。
• 调度器故障： Kubernetes 调度器组件出现故障，导致无法进行调度。

实战避坑经验总结

1. 监控集群资源使用情况： 建立完善的监控体系，实时监控集群的 CPU、内存、磁盘等资源使用情况，及时发现资源瓶颈。
2. 合理设置资源请求和限制： 为 Pod 设置合理的资源请求和限制，避免资源浪费和资源竞争。
3. 使用标签和选择器： 使用标签和选择器对节点进行分类，并根据应用程序的需求将 Pod 调度到特定的节点上。
4. 启用 Pod 优先级和抢占功能： 根据应用程序的重要性，启用 Pod 优先级和抢占功能，确保关键应用程序能够优先获得资源。
5. 定期检查集群配置： 定期检查集群的配置，例如节点选择器、节点亲和性、污点和容忍度等，确保配置的正确性。
6. 关注 Kubernetes 官方文档和社区： Kubernetes 是一个快速发展的项目，官方文档和社区是获取最新信息和最佳实践的重要来源。

在排查 Kubernetes Pod 调度失败问题时，需要结合具体的错误信息和集群的实际情况进行分析。希望本文提供的排查思路和解决方案能够帮助你快速定位并解决问题，保障应用程序的稳定运行。