从Docker迁到containerd:我们踩过的坑和省下的15%资源
01架构差异决定稳定性边界
Docker 是一个“全家桶”平台,包含 CLI、守护进程(dockerd)、镜像构建、网络编排等完整功能;而 containerd 只做一件事:高效、可靠地管理容器生命周期。这种专注性使其在 Kubernetes 场景中天然适配——Kubelet 通过 CRI gRPC 直接调用 containerd,绕过了 dockerd 这一中间层,调用链从四跳缩短为两跳(Kubelet → containerd → runc),显著降低延迟与故障面。
更重要的是,containerd 采用 shim 架构:每个容器由独立的 containerd-shim 进程托管,即使 containerd 主进程崩溃或升级,正在运行的容器也不会中断。相比之下,Docker 所有容器都依赖单一 dockerd 守护进程,一旦其异常,整机服务雪崩风险极高。我们在一次压测中模拟 dockerd OOM,结果所有容器立即停止响应;而 containerd 在同等条件下仅新调度失败,存量容器持续服务。78910
更重要的是,containerd 采用 shim 架构:每个容器由独立的 containerd-shim 进程托管,即使 containerd 主进程崩溃或升级,正在运行的容器也不会中断。相比之下,Docker 所有容器都依赖单一 dockerd 守护进程,一旦其异常,整机服务雪崩风险极高。我们在一次压测中模拟 dockerd OOM,结果所有容器立即停止响应;而 containerd 在同等条件下仅新调度失败,存量容器持续服务。78910
但这不意味着 containerd 天然安全。其套接字(/run/containerd/containerd.sock)若权限配置不当(如全局可写),普通用户可通过 ctr 命令直接挂载宿主机根目录,实现容器逃逸。我们在安全审计中复现了该攻击链:仅需三行命令即可读取 /etc/shadow。因此,生产环境必须严格限制 config.toml 和 socket 文件权限,并启用日志审计与 SIEM 联动。11
02资源控制能力实测对比
| 维度 | Docker | Containerd |
|---|---|---|
| 空载内存占用 | 约320MB | 约110MB |
| 100并发容器启动时间 | 4.2秒 | 3.8秒 |
| CPU限制精度 | 基于CFS带宽控制,支持--cpus=0.5 | 同样基于CFS,通过cpu.max写入quota/period |
| 内存限制可靠性 | 需同时设置--memory与--memory-swap防止Swap抖动 | 需显式设置memory.swap.max=0以禁用Swap |
| cgroup驱动默认值 | systemd(自1.12起) | cgroupfs(需手动改为systemd) |
两者底层均依赖 Linux Cgroups,资源限制能力理论上等效。但在 Kubernetes 环境中,containerd 若未将 SystemdCgroup 设为 true,会导致 kubelet 无法正确统计容器资源使用,进而使 Pod 驱逐、HPA、metrics-server 全部失效。我们曾因忽略此配置,导致节点内存打满却未触发 Eviction,最终引发大面积服务不可用。而 Docker 因默认使用 systemd 驱动,反而较少出现此类“玄学问题”。
内存限制方面,两者都需显式禁用 Swap 才能确保 OOM 行为可预期。Docker 通过 --memory-swap=512m 实现,containerd 则需在 Cgroups v2 下写入 memory.swap.max=0。若遗漏此步,Java 应用在内存超限时可能进入 Swap 抖动而非被 Kill,造成性能断崖。12135
内存限制方面,两者都需显式禁用 Swap 才能确保 OOM 行为可预期。Docker 通过 --memory-swap=512m 实现,containerd 则需在 Cgroups v2 下写入 memory.swap.max=0。若遗漏此步,Java 应用在内存超限时可能进入 Swap 抖动而非被 Kill,造成性能断崖。12135
03运维体验与迁移成本
Docker 的最大优势是开发者体验:命令直观、日志驱动丰富、Compose 编排成熟。但这些在 Kubernetes 生产环境中多数冗余。containerd 虽无内置日志轮转,却将日志交由 kubelet 或 systemd 统一管理,反而更易集成 Fluentd、Loki 等外部系统。
迁移的核心障碍不在功能缺失,而在操作习惯转变。例如,Docker 镜像导入后全局可见,而 containerd 必须指定 -n k8s.io 命名空间,否则 K8s 无法调度。我们初期多次因 ctr images ls 看不到镜像而误判拉取失败,实则是命名空间错误。建议生产节点统一使用 crictl,它自动适配 K8s 上下文,避免此类低级错误。144156
迁移的核心障碍不在功能缺失,而在操作习惯转变。例如,Docker 镜像导入后全局可见,而 containerd 必须指定 -n k8s.io 命名空间,否则 K8s 无法调度。我们初期多次因 ctr images ls 看不到镜像而误判拉取失败,实则是命名空间错误。建议生产节点统一使用 crictl,它自动适配 K8s 上下文,避免此类低级错误。144156
当前文章无评论,是时候发表评论了