图拉丁吧 关注:7,897,918贴子:131,637,480

回复:4张mi50跑deepseek 70b模型

只看楼主收藏回复

我PLX+三卡VII ROCm今晚开搞(


IP属地:上海来自Android客户端61楼2025-02-19 19:38
收起回复
    卧槽,比8845+96Gddr5还便宜!


    IP属地:江苏来自Android客户端62楼2025-02-20 08:39
    回复
      2025-08-06 02:02:19
      广告
      不感兴趣
      开通SVIP免广告
      话说,那天试了下deep seek,3000配置竟然给我推10代I3。。。。


      IP属地:湖南63楼2025-02-20 10:54
      收起回复
        大家都在跑ai主要是干嘛?有受益吗?还是纯玩


        IP属地:安徽64楼2025-02-20 11:22
        收起回复
          在外网找了一通,只找到一个网站有mi50用的桥的现货,全新要好几百刀,大概长这样


          IP属地:江苏来自Android客户端65楼2025-02-20 23:18
          收起回复
            我单卡跑14b还行,32b直接报错了
            按照B站大佬的说法是用vulkan不如rocm


            IP属地:贵州来自iPhone客户端66楼2025-02-21 16:25
            收起回复
              大佬 有没有试过linux用vllm框架 支持rocm加速


              IP属地:浙江来自Android客户端68楼2025-03-19 17:10
              回复
                本地部署不需要大量训练吗


                IP属地:北京来自Android客户端69楼2025-03-21 13:09
                收起回复
                  2025-08-06 01:56:19
                  广告
                  不感兴趣
                  开通SVIP免广告
                  这机箱是啥型号,这么能装


                  IP属地:浙江来自iPhone客户端70楼2025-03-21 14:11
                  回复
                    多卡拼显存其实就是把模型切片放入多卡里面,只能先跑一部分,然后跑完输出结果给下一张GPU后,由下一张GPU继续跑,然后以此类推。


                    IP属地:广东来自Android客户端71楼2025-04-02 13:18
                    收起回复
                      老哥能来个单子吗?打算学习下。


                      IP属地:河南来自手机贴吧72楼2025-04-05 15:47
                      回复
                        楼主,请问能用rocm吗


                        IP属地:浙江来自Android客户端73楼2025-04-07 08:38
                        收起回复
                          请教老哥,跑32B 和70B 速度分别多少? 我准备搞2个32G的试试 跑70B


                          IP属地:广东74楼2025-04-09 15:37
                          收起回复
                            现在咸鱼上有32g的mi50,四张卡就是128g,加上256g内存,跑个70b q8应该能行吧?


                            IP属地:广东来自Android客户端75楼2025-04-21 02:51
                            回复
                              2025-08-06 01:50:19
                              广告
                              不感兴趣
                              开通SVIP免广告
                              楼主你好,不刷bios,用mi50的原bios,windows能正确调用吗?我想用核显输出


                              IP属地:广东来自Android客户端76楼2025-04-21 19:30
                              收起回复