网页资讯视频图片知道文库贴吧地图采购
进入贴吧全吧搜索

 
 
 
日一二三四五六
       
       
       
       
       
       

签到排名:今日本吧第个签到,

本吧因你更精彩,明天继续来努力!

本吧签到人数:0

一键签到
成为超级会员,使用一键签到
一键签到
本月漏签0次!
0
成为超级会员,赠送8张补签卡
如何使用?
点击日历上漏签日期,即可进行补签。
连续签到:天  累计签到:天
0
超级会员单次开通12个月以上,赠送连续签到卡3张
使用连续签到卡
01月20日漏签0天
it数码吧 关注:34,335贴子:109,447
  • 看贴

  • 图片

  • 吧主推荐

  • 游戏

  • 1回复贴,共1页
<<返回it数码吧
>0< 加载中...

浪潮信息元脑R1服务器重塑大模型推理新标准~

  • 只看楼主
  • 收藏

  • 回复
  • 南方小东北
  • 初级粉丝
    1
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
浪潮信息近日正式发布元脑R1推理服务器,通过系统级创新与软硬协同优化,成功实现单机部署DeepSeek 671B全参数大模型。作为AI基础设施领域的领军者,浪潮信息此次突破性技术显著降低了企业部署千亿参数模型的显存门槛,在FP8精度下仅需单台服务器即可支撑800GB显存需求,助力客户以更低成本探索大模型智能涌现。


  • 南方小东北
  • 初级粉丝
    1
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
元脑R1推理服务器NF5688G7是领先的高算效AI计算平台,原生搭载FP8计算引擎,针对DeepSeekR1 671B模型部署速度快且无精度损失。在显存方面,提供1128GB HBM3e高速显存,满足671B模型 FP8精度下不低于800GB显存容量的需求,单机支持全量模型推理情况下,仍保留充足的KV缓存空间。显存带宽高达4.8TB/s,完美契合DeepSeek R1模型"短输入长输出、显存带宽敏感"的技术特征,在推理解码阶段可实现极致加速。在通信方面,GPU P2P带宽达900GB/s,保障单机部署张量并行最佳通讯性能,基于最新推理框架单机可支持20-30用户并发。同时,单台NF5688G7配备3200Gbps无损扩展网络,可根据用户业务需求增长实现敏捷扩展,提供成熟的R1服务器集群Turnkey解决方案。
元脑R1推理服务器NF5868G8是专为大推理模型(LargeReasoning Model)创新设计的高吞吐推理服务器,业界首次实现单机支持16张标准PCIe双宽卡,提供高达1536GB显存容量,支持在FP16/BF16精度下单机部署DeepSeek 671B模型。创新研发基于PCIeFabric的16卡全互连拓扑,任意两卡P2P通信带宽可达128GB/s,降低通信延迟超60%。通过软硬协同优化,相较传统2机8卡PCIe机型,NF5868G8可将DeepSeek 671B模型推理性能提升近40%,目前已支持多元AI加速卡选配。
作为全球领先的IT基础设施全栈供应商,浪潮信息持续深耕智算领域创新,其打造的元脑生态已形成覆盖计算平台、资源平台、算法平台的完整产品矩阵。通过新一代以系统为核心的计算架构,浪潮信息不仅推出支持16卡全互连的NF5868G8推理服务器,更构建了开放多元的元脑智算解决方案体系。在"AI+行业"深度融合的大背景下,浪潮信息正携手生态伙伴加速人工智能技术的规模化落地,持续推动行业技术革新与生态共建。


登录百度账号

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频!
  • 贴吧页面意见反馈
  • 违规贴吧举报反馈通道
  • 贴吧违规信息处理公示
  • 1回复贴,共1页
<<返回it数码吧
分享到:
©2026 Baidu贴吧协议|隐私政策|吧主制度|意见反馈|网络谣言警示