华为昇腾适配支持 DeepSeek-R1 复现项目 Open R1

IT之家 2 月 11 日消息,华为技术有限公司今日宣布,MindSpeed 支持 DeepSeek V3 预训练、微调,同时昇腾还适配支持 DeepSeek-R1 复现项目...

IT之家 2 月 11 日消息,华为技术有限公司今日宣布,MindSpeed 支持 DeepSeek V3 预训练、微调,同时昇腾还适配支持 DeepSeek-R1 复现项目 Open R1。

据介绍,MindSpeed 现已支持 DeepSeek V3 模型预训练与微调。所使用的并行配置与模型参数如下:

华为昇腾适配支持 DeepSeek-R1 复现项目 Open R1

DeepSeek 团队通过知识蒸馏,实现了较小的模型也能具备较强的推理能力。华为称已基于昇腾完成蒸馏流程验证,并表示经过蒸馏后的 Qwen 模型在对应领域上的评分获得显著提升,开发者可基于此参考,完成自定义蒸馏模型训练。

另外,华为昇腾还适配完成 Open R1 项目的重要步骤:打通 Open R1-Zero 的 GRPO 流程,同时支持通过 vLLM 等生态库实现训练过程中的数据生成。

据介绍,Open R1 项目是 Hugging Face 官方开源的对 DeepSeek-R1 模型流程进行完全开放式复现的项目,是当前主流复现项目之一,当前已有 18K+ star 数,其目标是构建 DeekSeek-R1 训练流程的缺失部分。

本文来自作者[admin]投稿,不代表百科商品立场,如若转载,请注明出处:http://xn--g2xx48ccpa940a.com/bm/202502_4630.html

(14)

文章推荐

发表回复

本站作者后才能评论

评论列表(4条)

  • admin
    admin 2025年02月11日

    我是百科商品的签约作者“admin”!

  • admin
    admin 2025年02月11日

    希望本篇文章《华为昇腾适配支持 DeepSeek-R1 复现项目 Open R1》能对你有所帮助!

  • admin
    admin 2025年02月11日

    本站[百科商品]内容主要涵盖:国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育

  • admin
    admin 2025年02月11日

    本文概览:IT之家 2 月 11 日消息,华为技术有限公司今日宣布,MindSpeed 支持 DeepSeek V3 预训练、微调,同时昇腾还适配支持 DeepSeek-R1 复现项目...

    联系我们

    邮件:百科商品@sina.com

    工作时间:周一至周五,9:30-18:30,节假日休息

    关注我们