云原生动态:CNCF探讨LLMOps与平台工程融合、Dragonfly无数据库轻量部署、EKS将数GB镜像拉取压缩至秒级

8月13日,云原生社区围绕”AI工作负载的工程化”展开新一轮讨论。CNCF博客同日发布两篇标志性文章:Syntasso的Daniel Bryant从平台工程视角剖析”AI流水线究竟该归谁管”,Dragonfly维护者Wenbo Qi(Gaius)展示去掉Manager与MySQL/Redis后的轻量部署方案;此前一天,AWS EKS创始工程师团队在The New Stack上复盘了将30GB级ML镜像拉取从数分钟优化到数十秒的实践,并把核心改动回馈给containerd与SOCI snapshotter上游。三篇内容共同指向同一趋势:AI推理负载正在迫使容器与平台基础设施重构其运行路径。

主要新闻

LLMOps与平台工程:AI流水线究竟该归谁管?

CNCF博客8月13日发表Syntasso的Daniel Bryant撰写的《LLMOps and platform engineering: Who should own the AI pipeline?》。文章开篇指出,大型语言模型打破了传统”训练-测试-上线-看面板”的运作模式:如今被”运维”的对象是一个串联提示词、调用向量数据库、并产生开放式文本的系统,评估维度从”准确率”扩展到”安全与可信”。LLMOps由此落在MLOps与DevOps之上,三套体系都在争夺平台工程本该统一管辖的同一段流水线。作者回溯了软件交付已经分裂为DevOps、平台工程与MLOps三派的历史——MLOps团队因DevOps工具从未预料到数据版本化与漂移监控,而另起炉灶构建了MLflow、Kubeflow、Weights & Biases等平行工具栈;若再引入LLMOps,风险是出现第三个平行栈(prompt、向量库、RAG管线),形成监管视野之外的”影子LLMOps”(shadow AI)。文章借用CNCF TAG App Delivery Platforms白皮书的三层划分(Products / Platforms / Capability Providers)指出,模型微调任务、向量数据库、prompt注册表与推理端点在功能上只是又一类”平台能力”,与任何其他工作负载一样需要API、版本化与清晰归属。文中列举了生态工具:Backstage在Product层呈现golden path,Crossplane在底层编排基础设施,Kratix、KusionStack与KubeVela居于中间层,可将LLM流水线以与一切其他资源相同的自助服务接口暴露出来。落地建议归结为四条:以治理化API取代临时脚本;在请求时执行策略(成本上限、数据驻留、模型访问控制);对爆炸半径较大的变更(触碰客户PII或做出自主决策的模型)保留人工审批;建立能回答”什么变了、为什么、谁批准的”审计线索。作者总结道:”LLMOps不需要自己的王国,它需要一个愿意接纳它的运行良好的平台。”

Source: LLMOps and platform engineering: Who should own the AI pipeline?

Dragonfly轻量部署:去掉Manager的P2P分发

完整版Dragonfly除负责数据传输的Scheduler、Seed Client与Client外,还需要Manager承担控制面职责,并在其背后部署MySQL(存储)与Redis(缓存、异步任务)。对一个运行多集群的平台团队而言这是合理的资源占用,但对”只有一个集群、唯一痛点是镜像拉取过载”的用户来说过于沉重。Dragonfly维护者Wenbo Qi撰文介绍的新方案移除了Manager(连带MySQL与Redis),协调组件只剩Scheduler,用一条Helm命令安装三个组件即可落地。其机制是用Kubernetes自带的两类原语替代Manager:一是动态配置改由ConfigMap承载——当manager.addr未设置时,Scheduler与Client从本地dynconfig.yaml加载调度参数(如seed peer并发上传上限、候选父节点数量),文件默认每分钟刷新一次,编辑ConfigMap无需重启Pod即生效,且同一组旋钮以Helm values暴露,天然适配GitOps;二是Scheduler发现改由headless Service完成——Client的dfdaemon通过DNS解析headless Service得到全部Scheduler Pod IP并过滤不健康实例,Scheduler扩缩容后Client自动感知,静态地址场景也可用scheduler.addrs直接列出。功能矩阵显示,轻量模式下blocklist、task、以及经dfctl触发的预热(preheat)依然可用,只是失去Web console、Open API、持久化任务与多集群管理;若需要Redis即可启用持久化任务与持久化缓存任务。dragonfly-injector(mutating admission webhook,需cert-manager)也可配合轻量部署,在应用Pod准入时注入dfget等CLI工具与dfdaemon套接字,使模型、数据集等文件下载同样走P2P网络。作者在kind多节点集群上给出了完整验证流程,并建议”先轻量起步、需要平台级能力时再以Helm values一行启用Manager”的演进路径。

Source: Lightweight Dragonfly deployment on Kubernetes

EKS数GB镜像秒级拉取:瓶颈不在网络而在拉取流水线

The New Stack于8月10日刊发AWS EKS创始工程师Sri Saran Balaji Vellore Rajakumar与Neelendra Bhandari的实践复盘。现代ML推理镜像携带深度学习框架、CUDA栈甚至模型权重,体量普遍达20至30GB;在具备100至400Gbps网络带宽的GPU/加速实例上,拉取这样一个镜像仍需数分钟——期间已就绪的加速器空转、自动扩缩容滞后于需求、请求队列堆积。作者所在的团队在一个生产ML平台(Amazon EKS)上系统性地profile了镜像拉取路径,结论出人意料:瓶颈既不在网络也不在registry,而在containerd串行化的拉取流水线。对每个layer,containerd按顺序执行六步操作:单连接下载压缩字节、SHA-256校验、压缩块落盘、解压、解压结果校验、挂载——由于layer大小不均,最大的那个layer成为整个镜像拉取的”长尾”,总耗时被单一大层主导。优化聚焦下载与解压两个耗时最高的阶段:用分块并行下载(chunked parallel download)替代单连接串行拉取,将layer完整落盘后再并行执行完整性校验与解压;overlay snapshotter(EKS与多数集群默认)因每个layer独立目录、运行时才统一挂载,天然支持并发解压。实测效果:原本需一分钟以上的大层降至个位数秒,整条流水线在本地NVMe实例上从数分钟压缩到一分钟以内。该优化已在EKS Auto Mode的G/P/Trn实例上默认启用;AL2023与Bottlerocket AMI(随附containerd 2.2)可显式配置,SOCI snapshotter也被打包进优化AMI,通过FastImagePull feature gate切换到并行拉取解压模式。作者将核心改动贡献给containerd与SOCI snapshotter上游,并强调:”镜像拉取问题从来不在registry,也不在需要更快的硬件——网络、存储与CPU一直都在,是拉取流水线没有用好它们。”

Source: Pulling multi-gigabyte container images in seconds on Amazon EKS

分析

三篇内容看似分散,实则共享同一条主线:AI推理负载正在把云原生基础设施的”默认路径”逼向极限。LLMOps之争问的是”谁拥有AI流水线”,答案落在平台工程层——文章给出的不是新的编排框架,而是把prompt、向量库、推理端点当作普通平台能力纳入golden path,用API、版本化与策略执行完成治理。这与KubeCon北美2026新设”AI推理与Agentic”专场的信号一致:AI负载的讨论重心已从”能不能跑”转向”谁来运营、如何治理”。

Dragonfly轻量部署则代表了另一类思考:不是把AI能力塞进平台,而是让基础设施本身变得更易用。移除Manager意味着小集群、边缘与CI场景获得了一条”一条Helm命令即用”的P2P分发路径,同时保留dfctl预热等高频能力。它的深层含义是,容器与模型分发的运维复杂度正从”多组件控制面”向”Kubernetes原生原语(ConfigMap + headless Service)”迁移——当平台自身的基础能力足够强时,分布式系统不再需要专属的数据库栈来支撑”一页YAML”式的配置。

EKS镜像拉取优化则是工程实证:当镜像从数百MB膨胀到30GB,containerd沿用多年的串行六步流水线成为新的长尾。分块并行下载与并发解压直击”单连接带宽利用率不足”与”串行解压等待”两个结构性低效点,并且把成果沉淀到containerd与SOCI上游——这意味着EKS Auto Mode默认开启的优化最终会惠及整个Kubernetes生态,而非AWS独享。它与Dragonfly恰好形成互补:P2P解决的是”多节点重复拉取”,并行流水线解决的是”单节点冷启动”,两者叠加才能让数GB镜像的部署真正逼近秒级。

对实践者而言,值得跟踪三件事:其一,LLMOps与平台工程的归属讨论能否在TAG App Delivery的Platforms工作组沉淀为可落地的golden path规范;其二,Dragonfly轻量部署与injector组合能否降低边缘与CI场景的采纳门槛,进而扩大P2P分发的覆盖面;其三,containerd 2.2与SOCI的并行拉取能力是否会在下一轮Kubernetes/EKS版本中进一步默认化,成为新一代镜像分发的基线。

结论

8月13日的云原生新闻共同指向”AI负载工程化”的深化:治理层面,平台工程应把LLM流水线纳入golden path并以内建策略取代事后审计;架构层面,P2P分发正在通过移除控制面组件实现轻量化;性能层面,容器镜像拉取流水线的重构把数分钟级冷启动压到秒级。对平台团队的建议是:尽快验证containerd 2.2/SOCI并行拉取在自身集群的收益,评估Dragonfly轻量部署在边缘与CI场景的适用性,并把LLM工作负载的归属与治理纳入平台工程路线图。

微信分享

扫码关注公众号分享文章