4060ti16G使用deepseekr1千问7Bint8

上面问题都是断了网问的，确定不可能远程服务器作弊。

加长一次回答字数后，可不循环一次完成，但如果长度超长，肯定还是应循环

吧里有没有人象我这样本地部署后晒下自己显卡的推理耗时图，特别是昇腾算力卡的。我的显存是够用的，实际只占用了不到10G，但我未来想试下昇腾的卡，例如atlas300iduo超大显存96G，京东搜到价格一万八千多，但除非确实比4060ti略快，显存6倍价格6倍按黄皮衣的理论是合理的。

我又试了qwq32bint4的，单16G4060ti，cpu_offload暂存那参数设为8G时，运行了万秒出头近3个小时生成了七八千字吧，反正设的5000最大tokens满了截断，平均每两秒一个token，问的重庆问题，生成质量好，内容也详尽得多，就是耗时太长。

14BAwqint4的很合适单4060ti16G，装入13G余显存，基本完美适应长文显存占用余量、30toks/s、深度思维链、高生成质量。