图拉丁吧 关注:7,971,964贴子:132,432,339
  • 14回复贴,共1

求推荐支持768gb以上的单主板配置

只看楼主收藏回复

周末用我的游戏电脑运行了deepseekr1 671bq8量化的完整模型,根据占用的虚拟内存和显存来看,需要内存近750g才能运行。问了一个问题,它用了5个多小时才完成思考与回答。这只是最终答案不到300tokens的结果需要的时间。所以还是得加载到内存里。而且内存带宽越大越好。那么问题来了,作为垃圾佬,肯定是用洋垃圾了,哪些主板支持单主板768g以上内存的呢?以前只玩个人电脑,服务器和正经工作站没研究过。大家推荐下#Deepseek贴吧特制版来了#


IP属地:浙江来自iPhone客户端1楼2025-02-24 15:31回复
    这是推理时的内存占用,显存占用15g,内存占用718g,瓶颈就是固态的速度了…


    IP属地:浙江来自iPhone客户端3楼2025-02-24 15:43
    收起回复
      2025-10-11 20:08:40
      广告
      不感兴趣
      开通SVIP免广告
      速度太慢了,不好用吧。要是用大显存显卡加大内存会不会快点。比如最便宜的4张580 16G,64G显存。或者2080TI 22G4张,88G显存。


      IP属地:广东来自Android客户端4楼2025-02-24 16:51
      收起回复
        建议用服务器板,单路12条内存,而且ECC内存便宜


        IP属地:湖南来自Android客户端5楼2025-02-25 03:51
        回复
          目前来看双路epyc是比较合适的选择。在研究下内存带宽,指令集的问题…


          IP属地:浙江来自iPhone客户端6楼2025-02-25 10:32
          收起回复
            初步锁定epyc 7002或7003的u,预期是双路,大家推荐个主板呗,主板支持双路epyc7003的u就行,越便宜越好!


            IP属地:浙江来自iPhone客户端8楼2025-02-27 16:36
            回复
              关注 同求配置


              IP属地:广西来自iPhone客户端9楼2025-03-02 08:48
              回复
                说说预算


                IP属地:云南来自Android客户端10楼2025-03-02 08:50
                收起回复
                  2025-10-11 20:02:40
                  广告
                  不感兴趣
                  开通SVIP免广告
                  这不直接华硕2u准系统加双路9554?


                  IP属地:广西来自Android客户端11楼2025-03-02 12:18
                  回复