打开APP

重磅!DeepSeek宣布开源原生推理框架

2026-10-20 19:52:17

DeepSeek又一次开源了自己最重要的商业机密之一。

10月20日,深度求索公司宣布,将内部推理框架“DeepInfer”全面开源,并同步开放生产级Token编解码组件deepseek-recipe。

这意味着,云厂商可以使用DeepSeek原生推理框架部署DeepSeek模型,实现接近DeepSeek官方调用的性能和成本——并且在负载调度合理的情况下,大规模云厂商部署非原生DeepSeek的调用成本甚至存在低于官方原生的可能性。

有报道称,相关代码已在GitHub等开发者社区发布。

据记者了解,在全球头部大模型企业中,DeepSeek是首个开放原生实际运行推理框架的企业。

公开信息显示,DeepInfer集成高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力,并兼容英伟达与华为昇腾算力平台。配套开源的deepseek-recipe,功能是与DeepSeek官方API的Token处理逻辑对齐,使社区部署获得与官方线上服务一致的编解码体验。

DeepSeek方面表示,基于DeepInfer,其已实现DeepSeek V4.1 Flash的高吞吐、低延迟大规模推理服务,后续新模型的推理代码及优化也将在该框架内持续更新。

“大模型的能力边界由模型本身划定,但如何以合理成本提供超大规模的模型服务,还取决于一个长期未被公众了解的中间层:推理框架……面对如今海量的用户调用,推理框架负责统筹调度庞大的算力集群,其效率直接决定了 AI 服务的算力成本与电力消耗。”DeepSeek在公告中表示。

值得注意的是,在此之前,官方推理框架和编码组件被认为是导致原生部署与社区部署(即非原生部署)成本差异最大的系统层原因。从商业模式的角度,MaaS企业开放模型权重,但不开放推理框架在一定程度上维系了官方Token API的收入水平。

“我们希望通过分享内部的部署经验,帮助开发者与企业组织优化大规模推理的吞吐与延迟,从而高效构建私有化及公有云部署,降低算力成本、减少能源消耗,让智能以更低的价格触达更广泛的人群,实现真正的大模型普惠。”公告还指出。


评论区

暂无评论

    免责声明:本文观点仅代表作者本人,供参考、交流,不构成任何建议。