github.devotd.
新发现人工智能

deepseek-ai/deepseek-v3 v1.0.0 — 671B MoE 模型的官方公开代码

包含 DeepSeek-V3 官方公开代码的仓库,提供总参数量 671B、每个 token 激活 37B 的 MoE 模型结构与权重,以及本地推理实现。

仓库信息deepseek-ai/deepseek-v3 ↗

包含 DeepSeek-V3 官方公开代码的仓库,提供总参数量 671B、每个 token 激活 37B 的 MoE 模型结构与权重,以及本地推理实现。

星标
★ 104.5K
复刻
16.7K
语言
Python
许可证
MIT
最新版本
v1.0.0
查看原始来源 ↗在 GitHub 查看 ↗

deepseek-ai/deepseek-v3 是包含 DeepSeek-V3 官方公开代码的仓库。公开的内容为语言模型结构与权重,以及在本地运行推理的实现。最新发布标签为 v1.0.0,该标签所包含的变更在发布说明中未得到确认。

它是一个总参数量 671B、每个 token 仅激活 37B 的 MoE(Mixture of Experts,从多个专家模块中挑选部分进行计算的方式)语言模型。README 说明了 MLA(Multi-head Latent Attention,将 attention 压缩到潜在维度来处理的方式)、DeepSeekMoE 结构、14.8T token 规模的预训练与后训练,以及蒸馏 DeepSeek-R1 推理能力的方式。其中还包含模型下载与评测流程、官方聊天站点与 OpenAI-Compatible API,以及使用多个开源框架进行本地运行的方法。许可证为 MIT,实现语言为 Python,star数为 104530,仓库创建于 2024-12-26。

不过,评测项中只有 10 分制下的 momentum 得分 4.4 已填写,新鲜度、技术、品质得分均未给出。所给记录中也没有性能数值与验证结果,因此仅凭该仓库难以判断实际推理质量。在 671B 规模下能确认的只有结构与运行方式,推理质量的判断仍需另行验证。