
IT之家 4 月 24 日音书开云kaiyun,今天上昼,DeepSeek-V4 模子预览版风雅上线并同步开源。

华为官方随后告示,通过两边芯模技巧精粹协同,收场昇腾超节点全系列家具援助 DeepSeek V4 系列模子。
官方暗意,昇腾 950 通过和会 kernel 和多流并行技巧镌汰 Attention 野心和访存支出,大幅擢升推感性能,延续多种量化算法,收场了高隐隐、低时延的 DeepSeek V4 模子推理部署。昇腾 A3 超节点系列家具也全面适配,同期为便于用户快速微调,提供了基于昇腾 A3 超节点的锤真金不怕火参考收场。
IT之家获悉,基于 DeepSeek V4-Pro 模子,在 8K 输入场景,昇腾 950 超节点可收场 TPOT 约 20ms 时单卡 Decode 隐隐 4700TPS。DeepSeek V4-Flash 模子,8K 长序列输入场景下可收场 TPOT 约 10ms 时单卡 Decode 隐隐 1600TPS(上述 Benchmark 数据均基于 Offine 推理样式网罗,不包含 Serving 调遣和框架负载平衡影响)。
基于昇腾 A3 64 卡超节点延续大 EP 样式部署,DeepSeek V4-Flash 模子,8K/1K 输入输出场景,基于 vLLM 推理引擎可收场 2000+TPS 的单卡 Decode 隐隐,单卡隐隐抓续擢升。官方暗意,针对 DeepSeek V4-Pro 模子开云kaiyun,昇腾 A3 同步援助推理部署,性能抓续优化中。
声明:新浪网独家稿件,未经授权回绝转载。 -->