图拉丁吧 关注:7,895,151贴子:131,626,449

4张mi50跑deepseek 70b模型

只看楼主收藏回复



IP属地:河北来自Android客户端1楼2025-02-16 19:22回复
    mi50的桥接器,理论上存在,实际上没见过,而且mi50的桥接器跟mi100以后的是不一样的,下图是mi100的四路桥接器,卡是mi50,很明显用不了



    IP属地:河北来自Android客户端2楼2025-02-16 19:25
    收起回复
      2025-08-04 00:41:11
      广告
      不感兴趣
      开通SVIP免广告
      没有桥,虽然GPUz里面显示“交火”可用,但是驱动里没有“交火”选项,共享显存啥的也就无从谈起,不够这次咱们用lm studio跑,因为支持多卡,没桥也没事儿


      IP属地:河北来自Android客户端3楼2025-02-16 19:30
      收起回复
        直接发结果吧,70b q4模型,显存合计占用44gb


        IP属地:河北来自Android客户端4楼2025-02-16 19:33
        收起回复
          mi50涨价了


          IP属地:江苏5楼2025-02-16 19:41
          收起回复
            算个数学题,不知道是不是上下文超了导致速度变慢了


            IP属地:河北来自Android客户端6楼2025-02-16 19:49
            回复
              设置如图


              IP属地:河北来自Android客户端7楼2025-02-16 19:50
              回复
                对了,现在是用vulkan跑的,这卡在win下不能原生支持rocm,不过有强行支持的方法,就是操作比较复杂。理论上用rocm跑的话,效率会更高


                IP属地:河北来自Android客户端8楼2025-02-16 20:51
                回复
                  2025-08-04 00:35:11
                  广告
                  不感兴趣
                  开通SVIP免广告
                  有人说32b q8比70b q4更聪明,试了试还真是,比6楼70b q4跑的还快,显存总共占用37.5gb




                  IP属地:河北来自Android客户端9楼2025-02-16 22:32
                  收起回复
                    真正的图吧精神!


                    IP属地:广西来自Android客户端10楼2025-02-17 15:28
                    回复
                      666大佬


                      IP属地:湖北来自Android客户端11楼2025-02-17 16:00
                      回复
                        看不懂,但是很吊的样子


                        IP属地:天津来自Android客户端12楼2025-02-17 16:15
                        回复
                          woc,牛逼plus


                          IP属地:浙江13楼2025-02-17 16:26
                          回复


                            IP属地:广东来自Android客户端14楼2025-02-17 16:29
                            回复
                              2025-08-04 00:29:11
                              广告
                              不感兴趣
                              开通SVIP免广告
                              大佬666


                              IP属地:浙江来自iPhone客户端15楼2025-02-17 16:30
                              回复