两张不就完了…为啥要买fp8都不支持的玩意

你要看是什么ai啊，ai画画之类的16g就很不错

纯考虑本地运行的话，现在所有24b以下的LLM（包括r1蒸馏的所有模型，Qwen3-14b，Gemma3-12b，gpt-oss-20b）都不如Qwen3-30b-a3b。显存大能减少moe的CPUoffload，从而加速。
如果需要批量推理的话，40系之后支持FP8 w8a8，需要批量推理7b的时候，4060Ti跑FP8和3090跑FP16的Prefill性能是接近的。
跑Flux的话，16GB跑FP8模型也会比12GB轻松很多。
2080Ti 22g就别买了，BF16和FA2都不支持。哪怕你吹吹3080 20g呢……

32b把足够多的部分跑在显存里，速度就已经可以了，你非要全部在显存里，那就没完没了。14b当然是用起来差距明显啊

不是把模型加载到显存就够了，还要考虑kvcache的占用，另外如果是独显输出，系统本身也要占用显存

从来没觉得16G显存是用来跑AI的，只是之前有一条JS显存焦虑苟天天在吧里渲染它的XTX跑AI有多么多么强，把16G显存贬得跟没法打游戏一样，对于那种苟JS就必须往死里揭它老底~🤡🤡🤡