寒武纪成功适配 DeepSeek-V4，推动 AI 模型高效运行

寒武纪公司宣布，他们已成功完成对深度求索公司最新开源 AI 模型 DeepSeek-V4 的 Day 0 适配。此举意味着该模型在发布当天即可实现稳定运行，为用户带来了更高效的人工智能体验。寒武纪利用其自主研发的高性能融合算子库 Torch-MLU-Ops，对模型中的 Compressor、mHC 等模块进行了针对性加速。这项技术的引入大幅提升了推理效率。

在推理框架方面，寒武纪采用了 vLLM（Variable Length Language Model）技术，全面支持多种并行计算方式，包括 TP、PP、SP、DP 和 EP 等。同时，寒武纪还实现了通信计算并行、低精度量化和 PD 分离部署等优化。这些措施使得模型在满足延时约束的情况下，显著提高了处理速度。

寒武纪还深入挖掘了硬件特性，通过优化 MLU 访存与排序，加速了稀疏 Attention 和 Indexer 等结构的运行。高互联带宽和低通信延迟的特性将不同工作负载场景下的通信占比降至最低，有效提高了分布式推理的利用率。

值得一提的是，DeepSeek-V4 模型拥有百万字超长上下文，在 Agent 能力、世界知识和推理性能上，达到了国内外开源领域的领先水平。用户可以通过访问官网或官方 App，与最新的 DeepSeek-V4 进行互动，享受超长上下文记忆带来的全新体验。同时，API 服务也已更新，开发者可以轻松调用新模型。

这一系列优化和适配工作不仅提升了模型性能，也为后续的 AI 技术应用提供了坚实基础，展现了寒武纪在人工智能领域的强大实力。

划重点：

免责声明：本文内容来源于第三方或整理自互联网，本站仅提供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容， 请及时联系我们进行处理。