LLMs之MoE之DeepSeek-V3：DeepSeek-V3的简介、安装和使用方法、案例应用之详细攻略
目录
相关文章
2024年1月5日，LLMs之DeepSeek-V1：《DeepSeek LLM: Scaling Open-Source Language Models with Longtermism》翻译与解读
2024年1月11日，LLMs之DeepSeek-V1之MoE：《DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models》翻译与解
2024年1月25日，LLMs之DeepSeek-V1：《DeepSeek-Coder: When the Large Language Model Meets Programming -- The Rise of Code Intelligence》翻译与解读
2024年2月5日，LLMs之DeepSeek-V1：《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》翻译与解读
2024年5月7日，LLMs之DeepSeek-V2：《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》翻译与解读
2024年12月26日，LLMs之MoE之DeepSeek-V3：DeepSeek-V3的简介、安装和使用方法、案例应用之详细攻略
2024年12月27日，LLMs之MoE之DeepSeek-V3：《DeepSeek-V3 Technical Report》翻译与解读(DeepSeek-V3的最详细解读)
2025年1月20日，LLMs之DeepSeek-V3：DeepSeek-R1的简介、安装和使用方法、案例应用之详细攻略
2025年1月22日，LLMs之DeepSeek-R1：《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》翻译与解读
DeepSeek-V3的简介
0、日志更新
2024年12月26日，官网正式公布DeepSeek-V3！
1、DeepSeek-V3 特点
2、模型性能
base Model
Standard Benchmarks
Context Window上下文窗口
Chat Model
标准基准（大于 670 亿参数的模型）
Open Ended Generation evaluation
DeepSeek-V3的安装和使用方法
1、安装
克隆仓库并安装依赖
下载模型权重
模型权重转换 (DeepSeek-Infer Demo 示例)
2、模型推理
运行推理 (DeepSeek-Infer Demo 示例，交互式)：
运行推理 (DeepSeek-Infer Demo 示例，批量)：
3、使用方法
T1、在DeepSeek的官方网站上与DeepSeek-V3聊天
T2、在 DeepSeek 平台上提供与 OpenAI 兼容的 API
DeepSeek-V3的案例应用
ntenteditable="false" tabindex="-1">LLMs之DeepSeek-V1：《DeepSeek LLM: Scaling Open-Source Language Models with Longtermism》翻译与解读-CSDN博客
2024年1月11日，LLMs之DeepSeek-V1之MoE：《DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models》翻译与解
ntenteditable="false" tabindex="-1">LLMs之DeepSeek-V1之MoE：《DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Lang-CSDN博客
2024年1月25日，LLMs之DeepSeek-V1：《DeepSeek-Coder: When the Large Language Model Meets Programming -- The Rise of Code Intelligence》翻译与解读
ntenteditable="false" tabindex="-1">LLMs之DeepSeek-V1：《DeepSeek-Coder: When the Large Language Model Meets Programming -- The Rise of Cod-CSDN博客
2024年2月5日，LLMs之DeepSeek-V1：《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models》翻译与解读
ntenteditable="false" tabindex="-1">LLMs之DeepSeek-V1：《DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models-CSDN博客
ntenteditable="false" tabindex="-1">LLMs之DeepSeek-V2：《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model-CSDN博客
ntenteditable="false" tabindex="-1">LLMs之MoE之DeepSeek-V3：DeepSeek-V3的简介、安装和使用方法、案例应用之详细攻略-CSDN博客
2024年12月27日，LLMs之MoE之DeepSeek-V3：《DeepSeek-V3 Technical Report》翻译与解读(DeepSeek-V3的最详细解读)
ntenteditable="false" tabindex="-1">LLMs之MoE之DeepSeek-V3：《DeepSeek-V3 Technical Report》翻译与解读(DeepSeek-V3的最详细解读)_in order to achieve efficient training, we support-CSDN博客
ntenteditable="false" tabindex="-1">LLMs之DeepSeek-V3：DeepSeek-R1的简介、安装和使用方法、案例应用之详细攻略_怎样使用deepseek r1-CSDN博客
2025年1月22日，LLMs之DeepSeek-R1：《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》翻译与解读
ntenteditable="false" tabindex="-1">LLMs之DeepSeek-R1：《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning-CSDN博客
2024年12月26日，DeepSeek-V3 是一个拥有 671B 个总参数，每个 token 激活 37B 参数的强大混合专家 (MoE) 语言模型。为了实现高效的推理和经济高效的训练，DeepSeek-V3 采用了在 DeepSeek-V2 中经过充分验证的多头潜在注意力 (MLA) 和 DeepSeekMoE 架构。 它在 14.8 万亿个多样化且高质量的 tokens 上进行预训练，随后进行监督微调和强化学习，以充分发挥其能力。 DeepSeek-V3 的训练过程非常稳定，没有出现任何不可恢复的损失峰值或回滚。其全部训练仅需 2.788M H800 GPU 小时。
总而言之，DeepSeek-V3 是一个高性能、高效训练且易于部署的开源大型语言模型，其在多个领域展现出强大的能力，并支持多种硬件平台和推理框架。
GitHub地址：GitHub - deepseek-ai/DeepSeek-V3
2024年12月26日，官网正式公布DeepSeek-V3！
>> 高效的 MoE 架构：使用多头潜在注意力 (MLA) 和 DeepSeekMoE 架构，实现高效推理和经济高效的训练。
>> 创新的负载均衡策略：采用无辅助损失的负载均衡策略，最大限度地减少了由于鼓励负载均衡而导致的性能下降。
>> 多标记预测 (MTP) 目标：采用多标记预测目标，提高模型性能，并可用于推测解码以加速推理。
>> FP8 混合精度训练：首次验证了 FP8 训练在大规模模型上的可行性和有效性，显著提高训练效率并降低训练成本。
>> 推理优化：支持 FP8 和 BF16 推理，并与多个开源推理框架集成，例如 DeepSeek-Infer Demo、SGLang、LMDeploy 和 TensorRT-LLM 等，支持在 NVIDIA 和 AMD GPU 以及华为 Ascend NPU 上运行。
>> 知识蒸馏：从 DeepSeek-R1 系列模型中蒸馏推理能力，提升 DeepSeek-V3 的推理性能，同时控制输出风格和长度。
>> 优秀的性能：在各种基准测试中超越其他开源模型，并与领先的闭源模型性能相当。
综合评估表明，DeepSeek-V3 优于其他开源模型，并实现了与领先的闭源模型相当的性能。尽管性能出色，但 DeepSeek-V3 仅需要 2.788M H800 GPU 小时即可完成完整训练。此外，它的训练过程非常稳定。在整个训练过程中，我们没有遇到任何无法恢复的损失峰值或执行任何回滚。
base Model
Standard Benchmarks
注意：最佳结果以粗体显示。分差不超过 0.3 的分数被视为处于同一水平。DeepSeek-V3 在大多数基准测试中表现最佳，尤其是在数学和代码任务方面。更多评估详情，请查阅我们的论文。
Context Window上下文窗口
在“大海捞针”（NIAH）测试中的评估结果。DeepSeek-V3 在所有上下文窗口长度（最长为 128K）上的表现都很出色。
Chat Model
标准基准（大于 670 亿参数的模型）
注意：所有模型均在将输出长度限制为 8K 的配置下进行评估。对于包含少于 1000 个样本的基准测试，会使用不同的温度设置多次进行测试，以得出可靠的最终结果。DeepSeek-V3 是表现最佳的开源模型，并且在与前沿的闭源模型的对比中也展现出具有竞争力的性能。
Open Ended Generation evaluation
注意：英语开放式对话评估。对于 Alpacaeval 2.0，我们使用长度控制下的胜率作为指标。
DeepSeek-V3 提供了多种本地运行方式，但HuggingFace's Transformers 尚未直接支持。
克隆仓库并安装依赖
下载模型权重
从 HuggingFace 下载模型权重，并将其放入 /path/to/DeepSeek-V3 文件夹。
模型权重转换 (DeepSeek-Infer Demo 示例)
DeepSeek-V3 可以使用以下硬件和开源社区软件在本地部署：
>> DeepSeek-Infer 演示：我们为 FP8 和 BF16 推理提供了一个简单、轻量级的演示。
>> SGLang：完全支持 BF16 和 FP8 推理模式下的 DeepSeek-V3 模型。
>> LMDeploy：支持本地和云部署的高效 FP8 和 BF16 推理。
>> TensorRT-LLM：目前支持 BF16 推理和 INT4/8 量化，即将支持 FP8。
>> AMD GPU：支持在 BF16 和 FP8 模式下通过 SGLang 在 AMD GPU 上运行 DeepSeek-V3 模型。
>> 华为Ascend NPU：支持在华为Ascend设备上运行DeepSeek-V3。
除了以下两种，项目还推荐使用 SGLang、LMDeploy 和 TensorRT-LLM 等框架进行推理，并提供了相应的链接和说明。 SGLang 特别支持 AMD GPU。 华为 Ascend NPU 的支持也通过 MindIE 框架实现。 如果需要 BF16 权重，可以使用提供的转换脚本进行转换。
运行推理 (DeepSeek-Infer Demo 示例，交互式)：
运行推理 (DeepSeek-Infer Demo 示例，批量)：
T1、在DeepSeek的官方网站上与DeepSeek-V3聊天
地址：DeepSeek
T2、在 DeepSeek 平台上提供与 OpenAI 兼容的 API
地址：DeepSeek
项目提供了 DeepSeek-V3 在各种基准测试上的评估结果，涵盖了自然语言理解、代码生成、数学推理等多个方面，包括英文和中文基准测试，以及多语言基准测试。 DeepSeek-V3 在大多数基准测试中都取得了最佳性能，尤其是在数学和代码任务上。