DeepSeek 在线服务统计数据
DeepSeek-V3/R1 的推理服务均基于 H800 GPU，并使用与训练一致的精度。具体而言，矩阵乘法和专家分发（dispatch）均采用与训练相同的 FP8 格式，而核心 MLA 计算和合并（combine）阶段则使用 BF16 格式，以保证服务性能的最优表现。
此外，考虑到白天负载高、夜间负载低，我们在白天高峰期会在所有节点上部署推理服务，夜间负载较低时则减少推理节点数量，将部分资源用于研究和训练。在过去 24 小时（UTC+8 2025/02/27 中午 12:00 至 2025/02/28 中午 12:00）的统计中，V3 和 R1 推理服务最高同时占用 278 个节点，平均占用为 226.75 个节点（每个节点包含 8 张 H800 GPU）。假设每张 H800 GPU 的租用成本为每小时 2 美元，则单日总成本约为 87,072 美元。
在这 24 小时的统计周期（UTC+8 2025/02/27 中午 12:00 至 2025/02/28 中午 12:00）里，V3 和 R1 的数据如下：
• 总输入 token 数：6080 亿，其中 3420 亿 token（占比 56.3%）命中磁盘 KV 缓存。
• 总输出 token 数：1680 亿。平均输出速度为 20–22 token/s，平均每个输出 token 对应的 kvcache 长度为 4989 个 token。
• 每个 H800 节点在预填充阶段平均可实现约 73.7k token/s 的输入吞吐量（包含缓存命中的部分），在解码阶段平均可实现约 14.8k token/s 的输出吞吐量。
上述数据包含所有来自网页、APP 及 API 的请求。如果将所有 token 均按照 DeepSeek-R1 的计费标准(*) 来计费，则每日理论收入为 562,027 美元，成本利润率达 545%。
(*) R1 收费标准：输入 token（缓存命中）$0.14/M、输入 token（缓存未命中）$0.55/M、输出 token $2.19/M。
但我们的实际收入显著低于此估算，原因包括：
• DeepSeek-V3 的定价远低于 R1，
• 只有部分服务会收费（网页和 APP 访问目前免费），
• 夜间低负载时段会自动启用折扣
DeepSeek-V3/R1 的推理服务均基于 H800 GPU，并使用与训练一致的精度。具体而言，矩阵乘法和专家分发（dispatch）均采用与训练相同的 FP8 格式，而核心 MLA 计算和合并（combine）阶段则使用 BF16 格式，以保证服务性能的最优表现。
此外，考虑到白天负载高、夜间负载低，我们在白天高峰期会在所有节点上部署推理服务，夜间负载较低时则减少推理节点数量，将部分资源用于研究和训练。在过去 24 小时（UTC+8 2025/02/27 中午 12:00 至 2025/02/28 中午 12:00）的统计中，V3 和 R1 推理服务最高同时占用 278 个节点，平均占用为 226.75 个节点（每个节点包含 8 张 H800 GPU）。假设每张 H800 GPU 的租用成本为每小时 2 美元，则单日总成本约为 87,072 美元。
在这 24 小时的统计周期（UTC+8 2025/02/27 中午 12:00 至 2025/02/28 中午 12:00）里，V3 和 R1 的数据如下：
• 总输入 token 数：6080 亿，其中 3420 亿 token（占比 56.3%）命中磁盘 KV 缓存。
• 总输出 token 数：1680 亿。平均输出速度为 20–22 token/s，平均每个输出 token 对应的 kvcache 长度为 4989 个 token。
• 每个 H800 节点在预填充阶段平均可实现约 73.7k token/s 的输入吞吐量（包含缓存命中的部分），在解码阶段平均可实现约 14.8k token/s 的输出吞吐量。
上述数据包含所有来自网页、APP 及 API 的请求。如果将所有 token 均按照 DeepSeek-R1 的计费标准(*) 来计费，则每日理论收入为 562,027 美元，成本利润率达 545%。
(*) R1 收费标准：输入 token（缓存命中）$0.14/M、输入 token（缓存未命中）$0.55/M、输出 token $2.19/M。
但我们的实际收入显著低于此估算，原因包括：
• DeepSeek-V3 的定价远低于 R1，
• 只有部分服务会收费（网页和 APP 访问目前免费），
• 夜间低负载时段会自动启用折扣
