单4060ti16G运行qwq-32b-gptq-int4

只截了部分图，中间多个部分没截省了。

是4096截断token

我的主板较老，AMD20年的CPU和微星主板，不支持PCIE4.0，显存内存间传输会较慢，用内存暂存显存内容时，数据页交换会很吃亏，而内存也只是DDR4。

期盼国产算力突破，早日万元出头能买到接近4090的卡，添5千48G显存。

又试了deepseek-r1-distill-qwen-14b-awq-int4，这个只占了14G不到显存，效果很好，每秒30token，简单问题十几秒。是个单卡4060ti16G兼顾质量与速度的拆衷模型。下面多图省略了部分中间思考过程图。