智东西

编译 | 陈骏达

裁剪 | 云鹏

DeepSeek 又找到冲突大模子理瓶颈的新法了！

智东西 2 月 27 日报说念，昨天，DeepSeek 发布了项名为 DualPath 的全新理系统案，直指现时大言语模子在智能体应用场景下遇到的短板—— KV 缓存存储 I/O 瓶颈。该案通过引入双旅途加载机制，权贵擢升系统糊涂量，基本捣毁了 KV 缓存的 I/O 支拨。

DualPath 的中枢鼎新在于开辟了条从存储纵贯解码引擎的新通说念。KV 缓存不再仅由预填充引擎加载，而是不错加载至解码引擎，再通过狡计采聚积的 RDMA 传输至预填充端。这联想不仅缓解了存储端的压力，还避了汇聚拥塞，确保延长敏锐型任务不受干涉。

与全局休养器协同后，DualPath 终明晰动态平衡两头负载，突出擢升资源讹诈率。在果然智能体责任负载测试中，DualPath 将离线理糊涂量擢升达 1.87 倍，在线作事糊涂量平均擢升 1.96 倍。

在大鸿沟可推广面，DualPath 系统在多 1152 张 GPU 上进行了考据。离线理从 2P4D（2K 智能体）推广到 48P96D（48K 智能体）终了近线推广，任务完成时分基本保执致。

值得提的是，与之前 DeepSeek 发表的好多缱绻论文类似，这篇论文的作家吴永彤相同是 DeepSeek 的实习生。吴永彤现在在北京大学攻读博士学位，师从金鑫发挥注解，主要缱绻大模子基础依次相干课题，自 2025 年 8 月以来便在 DeepSeek 系统组责任，曾参与 DeepSeek-V3.2 的缱绻。

论文纠合：

https://arxiv.org/pdf/2602.21548

、智能体 I/O 瓶颈突显，传统联想资本昂

跟着智能体应用普及，多轮理已成常态。智能体通过器具与外部环境进行数十以致数百轮交互，险阻文跨轮积蓄到长长度。由于多轮、短追加的特，KV 缓存射中率达 95 以上，加载率取代狡计成为能主身分。

现存系统摄取分层预填充、预填充 - 解码分离（PD 分离）和外部 KV 缓存存储架构。但问题在于：预填充引擎存储网卡带宽执续富裕，而解码引擎存储网卡带宽宽敞闲置。这种对抗衡泄露了根底低——存储汇聚带宽讹诈不均，而单纯加多预填充端带宽资本昂。

现存瓶颈（左）与 DualPath（右）

DualPath 的建议恰是为了贬责上述问题，其中枢洞悉在于破" KV 缓存加载须以预填充为中心"的传统联想。

现存系统仅通过存储到预填充引擎的单旅途加载，致预填充端带宽富裕而解码端带宽闲置。DualPath 则加多了存储到解码旅途，将 KV 缓存先加载至称心的解码引擎，再通过 RDMA 传输给预填充引擎。

这款式聚了通盘存储网卡带宽，从头分派汇聚负载，从根底上缓解预填充端的 I/O 瓶颈。

不外，该联想仍然濒临两大挑战：先，引入特地的加载旅途会产生复杂的流量款式拉萨设备保温厂家，并可能与模子实施中的集体通讯原语产生潜在干涉，若经管失当会镌汰举座能。

其次，系统须在动态和异构的责任负载下在线决定使用哪条加载旅途，并同期确保 GPU 和网卡之间的负载平衡。

二、三大中枢组件造 DualPath，新组件并未引入瓶颈

那么，DeepSeek 究竟是怎样贬责这些挑战的呢？DualPath 使用了两项平凡使用的时期：

（1）PD 分离，将教导词妥协码处理分开以提率。

（1）分层预填充，避了预填充引擎上的 HBM 瓶颈，并提了 GPU 讹诈率。

而 DualPath 主要由三大中枢组件组成。理引擎是基础实施单位，每个引擎经管个 GPU，并明确分辩为司预填充狡计的预填充引擎和精采解码生成的解码引擎。

流量经管器内嵌于每个引擎，统筹所罕有据挪动：包括主机与开拓间的内存拷贝、预填充与解码引擎之间的 KV 缓存传输，以及通过存储网卡进行的 KV 缓存执久化读写。其摄取以狡计网卡为中心的流量经管战略，确保 KV 缓存流量不会干涉延长敏锐的模子集体通讯。

肯求休养器四肢中央决议单位，摄取客户端肯求并智能分发给各引擎，同期动态决议每条肯求摄取传统存储到预填充旅途一经新式存储到解码旅途，终了双旅途间的流量平衡与全局负载化。

在具体终了上，DualPath 在每个预填充引擎妥协码引擎上预留少许 DRAM 四肢缓冲区。关于预填充端读旅途，射中 token 的 KV 缓存先从存储读入预填充引擎缓冲区，然后按层流式传入预填充引擎的 HBM，与未射中 token 的 KV 狡计进程类似实施。随后，好意思满的教导词 KV 会被传输至解码引擎缓冲区，供解码阶段使用。

关于解码端读旅途，射中 KV 先加载到解码引擎缓冲区，在预填充引擎实施预填充时逐层通过 RDMA 读取，同期与狡计类似。未射中 KV 狡计完成后回传至解码引擎，与射中 KV 并酿成好意思满教导词缓存。

论哪条旅途，数据传输齐摄取分层流式式，以缓解 HBM 容量压力并终了狡计与通讯的类似。解码阶段运行前，解码引擎将好意思满 KV 从缓冲区传入 HBM，完成主机到开拓拷贝后开释 CPU 内存；在生成进程中，每当积蓄满个固定大小的 token 块，就立即执久化到存储。

为了考据该架构不会引入新的瓶颈，论文对狡计网卡带宽和 DRAM 带宽进行了系统分析。通过确立每对预填充引擎—解码引擎之间的流量模子，并假定负载平衡与汇聚拥塞，作家出在定的 P/D（预填充节点与解码节点数目之比）范围内，狡计网卡、PCIe 以及 DRAM 均不会成为瓶颈。

在典型确立（举例每节点 8 个 GPU、存储带宽远小于狡计带宽）下，可行的 P/D 区间掩盖大多数骨子部署比例，发挥系统能够在充分讹诈通盘存储网卡带宽的同期，保执狡计与内存资源的剖析运行。

三、系统落地仍濒临三大挑战，摄取狡计网卡为中心的流量经管

但是，铁皮保温施工在果然系统中落地双旅途架构仍濒临三项中枢挑战。先是细粒度数据传输。分层实施缓解了 HBM 容量压力，但也将 KV 拆分为宽敞小块，需要在存储、主机 DRAM 和 GPUHBM 之间搬运，同期死心软件与硬件支拨。

其次是流量扯后腿。新增的 KV 传输可颖悟扰模子实施中的延长敏锐型集体通讯（如 AllToAll、ReduceScatter/AllGather），若缺少扯后腿机制，将径直端到端理延长。

后是动态负载平衡。由于系统存在两条读取旅途，休养器须结磁盘队伍长度、GPU 负载和肯求特征动态决议，不然容易再次酿成局部瓶颈。

为避 KV 传输干涉模子通讯，系统摄取以狡计网卡为中心的流量经管机制。通盘出入 GPU 的流量，包括 H2D/D2H 拷贝，统经由与 GPU 配对的狡计网卡，并通过 GPUDirectRDMA 完成传输，使沿路数据流汇聚到狡计汇聚，从而讹诈硬件 QoS 智商进行先扯后腿。

在基于 InfiniBand 的部署中，模子理通讯被映射到先假造通说念，KV 传输映射到低先通说念，并通过加权轮询保险前者带宽。这么既保护了延长敏锐通讯，又允许 KV 流量讹诈称心带宽。现实还标明，在宽敞小块场景下，其适细粒度传输。

在休养层面，系统摄取两自符合机制。引擎间休养为肯求采选预填充引擎—解码引擎对并详情读取旅途，通过 token 数目与磁盘队伍长度终了负载平衡；解码引擎疗营养为跨组与组内两阶段，在平衡总 token 数的同期辩论 HBM 容量无间，避资源过载。

引擎内休养主要作用于预填充引擎，通过算计介怀力层狡计量设定"狡计配额"，以 FIFO 式组批，要时对肯求分块，使各 GPU 狡计时分趋于致，减少同步恭候。

总体而言，双旅途加载聚存储带宽，表面分析保证系统新增瓶颈，狡计网卡中心化联想终了严格流量扯后腿，自符合休养则保管负载平衡与低延长，共同组成个糊涂、可推广的理架构。

四、实考据明 KV 缓存 I/O 支拨已基本捣毁，在千卡集群上终了线推广

为考据 DualPath 带来的能擢升，DeepSeek 在个由 InfiniBand 互连的 GPU 作事器集群上进行现实，评估了三个模子的发扬：DeepSeek V3.2 660B（记为 DS 660B）、DS 660B 的 27B 平缓版块（记为 DS 27B）以及四肢蕃昌模子代表的 Qwen2.5-32B（记为 Qwen 32B）。

现实遵守夸耀，DualPath 在大的批次鸿沟和长的大有险阻文长度下获益加权贵。在 DS 660B 上，DualPath 相较于 DeepSeek 里面的基线理框架终了 1.87 倍加快，且能接近假定 I/O 支拨的表面能上限，发挥 KV 缓存 I/O 支拨已基本被捣毁。

在 DS 27B 上，DualPath 相较于 DeepSeek 里面的基线理框架擢升 1.78 倍。

在转变追加长度和生成长度时，DualPath 在短 token 场景下势显着。跟着追加长度加多，GPU 狡计压力增大，而生成长度加多则因预填充辩认变长，镌汰了 KV 缓存加载压力。

图 9 夸耀，跟着追加长度增长，未摄取 DualPath 的理引擎发扬和 DualPath 的能越发接近，标明系统瓶颈逐渐转向 GPU 狡计。在不同追加鸿沟下，DualPath 相较于基线终了 1.82 至 1.99 倍加快，生成长度推广趋势类似。

在不同预填充 - 解码比例下，DualPath 均权贵于基线，平均终了 1.64 倍加快，达 2.46 倍。基线理引擎只可使用预填充节点的存储带宽，而 DualPath 能够讹诈通盘节点的带宽，考据了在智能体场景下存储带宽是主要瓶颈。

在在线作事评估中，DualPath 在智能体肯求到达速度上权贵于基线，在 DS27B 和 DS660B 上分别达到 1.67 倍和 2.25 倍擢升。

在负载平衡面，DualPath 权贵了存储网卡和介怀力层实施时分的平衡。相较于轮询休养，休养算法将存储网卡负载平衡目标从 1.53 化至 1.18。同期，在职务前 5 实施阶段，将介怀力层大 / 平均实施时分比死心在 1.06 以内，减少了 GPU 称心气泡。

在大鸿沟可推广面，DualPath 系统在多 1152 张 GPU 上进行了考据。离线理从 2P4D（2K 智能体）推广到 48P96D（48K 智能体）终了近线推广，任务完成时分基本保执致。

在线作事中，44P88D 确立在保执相似延长的同期，将糊涂量擢升 22 倍。通盘现实中休养器 CPU 占用低于 10 核，标明其不是能瓶颈。

大鸿沟部署不仅减少资源碎屑化，还为并行度和 P/D 比例调提供大无邪，同期在突发在线肯求场景下提供多休养空间以缓解列队延长。

结语：智能体理迎来提利器，明天或引入自符合机制

跟着 DualPath 论文的发布，它有望为业界在处理大鸿沟智能体理任务时提供个新的想路。关于正苦于 KV 缓存 I/O 压力的开发者与缱绻者而言，这约略是个值得心思的向。

不外，DeepSeek 的缱绻团队也坦言拉萨设备保温厂家，离线理的责任负载度动态，下步需要缱绻自符合和无邪的并行度和 P/D 比例确立法，举例模拟器或在线调整机制