DeepSeek在知乎发长文,详解V4.1 Agent训练沙盒DSec

DeepSeek在知乎独家发布技术长文,首次系统阐释了支撑DeepSeek-V4全部训练、评测与数据预处理流程的沙盒基础设施——DeepSeek弹性计算(DeepSeek Elastic Compute,DSec)。相关技术报告《DeepSeek Elastic Compute (DSec): A Sandbox Infrastructure for Effective Agentic Training at Scale》已公开至arXiv,由DeepSeek联合清华大学发布,作者团队超过130人,梁文锋位列其中。

以下为DeepSeek知乎原文:https://zhuanlan.zhihu.com/p/2088265189233779592
DeepSeek 弹性计算 (DSec):面向大规模 Agent 训练的沙盒基础设施
DeepSeek 弹性计算 (DeepSeek Elastic Compute, DSec) 是支撑 DeepSeek-V4 全部训练、评测与数据预处理流程的沙盒基础设施。要训练一个可靠的 Agent 大模型,需要其能在真实环境里反复地试错:阅读代码、修改文件、安装依赖、执行测试、运行服务。这些操作会不断改变环境,沙盒必须在多轮交互中持续保留状态。
这类负载有几个鲜明的特点:沙盒创建请求是脉冲式、突发的;启动后 CPU 大部分时间闲置,内存却需要持续驻留;Agent 执行环境种类多,基础镜像复用率低;任务执行时间长,训练还可能因资源抢占而中断。这些特点直接决定了 DSec 的设计。
不同的 Agent 任务对隔离强度、操作系统功能和执行开销的要求各不相同。DSec 支持 FnCall、Container、MicroVM 和 Full VM 四种执行后端,并通过统一的 Python SDK(libdsec)接入,根据任务类型按需选择。
其中,FnCall 会复用预先创建的容器,处理在线评测等短任务;Container 以较快的启动速度和较高的部署密度,服务最通用的软件工程和工具调用;MicroVM 提供更强的隔离边界,适用于安全任务等场景;Full VM 提供完整的操作系统环境,支持图形界面、图形渲染和 Android 等应用。

DSec 架构:统一管理沙盒创建与运行,多种执行后端适配不同任务。
Agent 训练需要大量的环境,首先要解决的问题就是如何大批量地构建和更新环境。以 2026 年某一周的生产数据为例,容器后端使用了 11,266 个基础镜像、102,171 个工作区以及数百个工具包。按照传统方式,上述任意一部分更新或替换,都会导致大量镜像的重建。
为此,DSec 将沙盒的环境拆分为三部分:基础镜像(base image),包含操作系统与基础软件;工作区(workspace),包含任务所需的代码仓库与依赖;工具包(toolkit),例如 DeepSeek Harness。三者的更新节奏不同,版本管理各自进行,运行时再进行组合。
具体的,DSec 使用 EROFS 格式存储镜像、工作区和工具包,同时该格式还支持元数据与数据分离,以及跨镜像去重。创建沙盒时,通过 OverlayFS 按需将各 EROFS 镜像层组合起来。当基础软件、任务代码和工具包需要更新时,只需重建发生变化的 EROFS 镜像,减少无关内容的重复构建。

单体镜像(左):更新工具包 T1 时,所有内嵌该工具包的镜像都需要重建。可组合的环境层(右):只需更新工具包 T1 所在的层,再与已有的基础镜像和工作区组合。
我们对生产环境使用的镜像数据进行了分析,发现沙盒运行时实际访问的数据量仅占镜像总大小的 4.2% 至 13.3%。这意味着,如果提前拉取完整镜像到本地,其中绝大部分数据都不会用到。
因此,DSec 选择将全部镜像数据存储在 3FS 分布式文件系统上,只把所需镜像的元数据拉取到本地(EROFS 格式特性),而占大头的数据则在访问时按需读取,让 I/O 开销随实际使用的数据量缩减。
在一次集中创建 8,192 个容器的实验中,与完整镜像拉取方案相比,按需加载将任务完成时间从 60 多分钟缩短至约 35 分钟,加速比约为 1.71,磁盘写入量减少约 57%。在另一项工作区供给实验中,将逐个沙盒解压 tar.gz 文件改为直接挂载 EROFS 层后,任务完成时间从 79 分钟缩短至 45 分钟。

工作区存储方式对比:从解压 tar.gz 文件改为直接挂载 EROFS 层后,任务完成时间从 79 分钟缩短至 45 分钟,磁盘写入总量降至原来的约 1/5.5。

集中创建 8,192 个容器时的三种镜像提供方式:与完整镜像拉取方案相比,按需 EROFS 加载将任务完成时间从 60 多分钟缩短至约 35 分钟,加速比约为 1.71,磁盘写入量减少约 57%。
Agent 训练的特点是,沙盒大部分时间都在等待模型生成下一步动作。如图,约 90% 沙盒的平均 CPU 用量,不会超过其申请量的 5%,CPU 会长时间闲置;但为了保留文件、进程等状态,内存需要持续驻留。这为极高的超卖率留足了空间,而我们生产环境的超卖率也超过了 50 倍。
本文图片来自互联网,仅供学习交流使用,版权归原作者或原平台所有。如认为图片侵犯了您的权益,请联系我们删除。

