正好想看这个，标记一下

感觉性价比有点低啊

想看看ds 32b q4多少，2080ti 22g是24t/s

楼主测下网游性能 看看是不是比40hx高

现在怀疑50hx这张卡，因阉割的缘故导致同样的的模型，量化越高速度越快？接下来将用deepseek的7b和14b各个量化版本进行推理速度测试

40hx加显存试试，50纯矿

首先是deepseek 7B模型不同量化版本的测试 速度如图

然后是deepseek 14B模型不同量化版本的推理速度，如图

做了个Excel统计了一下，q8量化版本居然是最快的，同时q4量化版本是最慢的，q8比q4快了50％！

再补两张3dMark的fse跑分

还有，谁说50hx不能玩游戏的？原神1080p画质全拉满 流畅稳60帧好吧

有人说也许是qwen和llama不同，所以又用llama的8B模型测试了一下，速度如图

看来跟是qwen还是llama没关系，50hx跑deepseek仍然是q8最快q4最慢，而且q8比q4快50％多

这是50hx 20g跑32b q4的速度，之前的推论已经说了，这个卡跑q4是最慢的，而且q8比q4速度快50％多，按照比例推算的话，两张50hx 20g跑32b q8的速度应该可以达到12tok/s

两张 p102，32b-q4是5.2 t/s，比这货稍微慢一点，