容器中的状态检测：核心检测项目与实践指南

一、容器生命周期状态

• 检测目标：确认容器是否按预期运行。
• 关键指标：
  • 运行状态：Running、Exited、Restarting（通过 docker ps 或 kubectl get pods 查看）。
  • 重启次数：频繁重启可能表明应用崩溃（如 Kubernetes Pod 的 RestartCount）。
  • 存活时间：异常短寿可能由资源不足或健康检查失败导致。
• 工具示例：
  • Docker CLI：docker inspect --format='{{.State.Status}}' <容器ID>。
  • Kubernetes：kubectl describe pod <pod名称> 查看事件日志。

二、资源使用监控

• 检测目标：避免资源耗尽导致容器故障。
• 核心指标：
  • CPU 使用率：超过限制会触发限流（如 Kubernetes 的 throttled 状态）。
  • 内存占用：逼近限制时可能触发 OOM Killer 杀死进程。
  • 磁盘 I/O 和空间：日志或临时文件占满磁盘会导致服务异常。
  • 网络带宽：高流量可能引发丢包或延迟。
• 检测工具：
  • Prometheus + Grafana：通过 Node Exporter 和 cAdvisor 收集指标。
  • 命令：docker stats 或 kubectl top pod。

三、应用健康状态

• 检测目标：确保容器内应用服务正常。
• 检测方法：
  • HTTP/TCP 探针：检测端口响应（如 curl http://localhost:8080/healthz）。
  • 自定义命令检查：执行容器内脚本验证服务状态（如数据库连接测试）。
  • 就绪（Readiness）与存活（Liveness）探针（Kubernetes）：
    • 存活探针：失败时重启容器。
    • 就绪探针：失败时从服务端点移除容器。
• 配置示例（Kubernetes YAML）：Yaml
  livenessProbe: httpGet: path: /healthz port: 8080 initialDelaySeconds: 15 periodSeconds: 10

四、网络状态检测

• 检测目标：保障容器内外部通信正常。
• 关键项：
  • 端口监听：确认服务绑定到正确端口（netstat -tuln）。
  • 跨容器通信：DNS 解析、服务发现（如 Kubernetes Service 是否正常）。
  • 外部连通性：访问第三方 API 或依赖服务的延迟与丢包率。
• 工具建议：
  • telnet 或 nc 测试端口可达性。
  • Istio 或 Linkerd 实现服务网格层监控。

五、安全状态检测

• 检测目标：预防漏洞与配置错误。
• 检测项目：
  • 镜像漏洞扫描：使用 Clair、Trivy 扫描镜像已知 CVE。
  • 运行时安全：检测异常进程、文件篡改（如 Falco）。
  • 合规性检查：核对 Dockerfile 最佳实践（如非 root 用户运行）。
• 工具链：
  • 镜像扫描：集成到 CI/CD 管道（如 Jenkins 调用 Trivy）。
  • 运行时防护：Falco 监控系统调用并告警。

六、日志与事件监控

• 检测目标：快速定位故障根源。
• 策略：
  • 日志聚合：使用 ELK（Elasticsearch、Logstash、Kibana）或 Loki 集中管理。
  • 关键字告警：设置规则捕捉 ERROR、Exception 等日志。
  • Kubernetes 事件：监控 kubectl get events 中的调度失败、镜像拉取错误等。

七、存储状态检测

• 检测目标：确保持久化数据可靠。
• 检测项：
  • 存储卷使用率：监控挂载目录的磁盘空间（如 df -h）。
  • 持久卷（PV）状态：在 Kubernetes 中检查 PV 的 Bound 或 Failed 状态。
  • 数据一致性：分布式存储系统的副本健康度（如 Ceph、MinIO）。

八、编排层状态（Kubernetes 场景）

• 检测目标：保障集群调度与预期的状态一致。
• 关键指标：
  • Pod 状态：Pending、CrashLoopBackOff 表明镜像或资源问题。
  • 副本数：Deployment 的 Ready 副本是否匹配预期。
  • 滚动更新状态：是否因新版本故障导致回滚。
• 诊断命令：
  • kubectl get deployments 查看副本可用性。
  • kubectl rollout status deployment/<名称> 跟踪更新进度。

实施建议：构建容器监控体系

1. 分层监控：从基础设施（节点资源）、容器运行时（Docker）、编排层（Kubernetes）到应用层逐级覆盖。
2. 自动化告警：通过 Prometheus Alertmanager 或 Datadog 设置阈值告警。
3. 黄金指标（RED/Golden Signals）：
   • Rate（请求速率）、Errors（错误率）、Duration（延迟）。
   • 适用于微服务监控，快速定位性能瓶颈。