部署的是deepseek r1 distilled qwen 32b q6版本
运行速度只有2.5-2.7tok/sec
求教各位哪里还可以优化的
跑的时候发现内存占满了,CPU也很高,GPU看起来不高呀?怎么调整呢?(如图一所示)
图二展示了我的设定(用的lmstudio)
感谢各位老爷
配置如下
处理器 : AMD Ryzen 7 7800X3D 核心数 8 线程数 16工艺 5 nm
显卡 : NVIDIA GeForce RTX 4080 SUPERAMD Radeon Galaxy Micro... 流处理器 10240 显存 16G (GDDR6X Micron)GIGABYTE流处理器 128 显存 1G (DDR5 )
内存 : Asgard DDR5-6000 (3000 MHz) 16GBAsgard DDR5-6000 (3000 MHz) 16GB 容量 32 GB通道 2频率 4792 MHz 时序 40-39-39-771TAsgard DDR5-6000 (3000 MHz) 16GBAsgard DDR5-6000 (3000 MHz) 16GB


运行速度只有2.5-2.7tok/sec
求教各位哪里还可以优化的
跑的时候发现内存占满了,CPU也很高,GPU看起来不高呀?怎么调整呢?(如图一所示)
图二展示了我的设定(用的lmstudio)
感谢各位老爷
配置如下
处理器 : AMD Ryzen 7 7800X3D 核心数 8 线程数 16工艺 5 nm
显卡 : NVIDIA GeForce RTX 4080 SUPERAMD Radeon Galaxy Micro... 流处理器 10240 显存 16G (GDDR6X Micron)GIGABYTE流处理器 128 显存 1G (DDR5 )
内存 : Asgard DDR5-6000 (3000 MHz) 16GBAsgard DDR5-6000 (3000 MHz) 16GB 容量 32 GB通道 2频率 4792 MHz 时序 40-39-39-771TAsgard DDR5-6000 (3000 MHz) 16GBAsgard DDR5-6000 (3000 MHz) 16GB


风华










