deepseek吧 关注:135,878贴子:374,336
  • 7回复贴,共1
求助

本地化部署deepseek运行速度过慢

只看楼主收藏回复

部署的是deepseek r1 distilled qwen 32b q6版本
运行速度只有2.5-2.7tok/sec
求教各位哪里还可以优化的
跑的时候发现内存占满了,CPU也很高,GPU看起来不高呀?怎么调整呢?(如图一所示)
图二展示了我的设定(用的lmstudio)
感谢各位老爷
配置如下
处理器 : AMD Ryzen 7 7800X3D 核心数 8 线程数 16工艺 5 nm
显卡 : NVIDIA GeForce RTX 4080 SUPERAMD Radeon Galaxy Micro... 流处理器 10240 显存 16G (GDDR6X Micron)GIGABYTE流处理器 128 显存 1G (DDR5 )
内存 : Asgard DDR5-6000 (3000 MHz) 16GBAsgard DDR5-6000 (3000 MHz) 16GB 容量 32 GB通道 2频率 4792 MHz 时序 40-39-39-771TAsgard DDR5-6000 (3000 MHz) 16GBAsgard DDR5-6000 (3000 MHz) 16GB



IP属地:北京来自Android客户端1楼2025-02-09 15:22回复
    gpu卸载拉满啊


    IP属地:河北来自Android客户端2楼2025-02-09 15:24
    收起回复
      2026-01-07 21:40:27
      广告
      不感兴趣
      开通SVIP免广告
      我也是CPU红温GPU动都不动cy


      IP属地:辽宁来自Android客户端3楼2025-02-09 15:30
      回复
        解决吗我也是


        IP属地:江苏来自Android客户端4楼2025-03-14 13:05
        收起回复