首先，没用过API，只是自己本地部署后简单玩一玩。所以我只能谈谈自己本地部署的感受。
首先本地部署没什么成本。有一张8g显存的卡就能跑个8b，9b的量化模型。我自己16g显存，就能跑一个24b甚至更大的混合架构量化模型。
而且本地模型不需要破甲，HuggingFace里也有很多模型针对角色扮演进行专项训练，用的时候只需要用提示词调整文风和一些小毛病就行了。
最后就是本地部署感觉会更有隐私。
但是本地部署确实有不少问题。
首先就是模型，HuggingFace里的模型很多我感觉中文能力不太行，可能是训练的时候阉割了，我自己目前就感觉Qwen系列算是好用的。
其次就是上下文和速度，这两个受限于显存大小。这点在我试类脑里的卡和预设的时候影响很明显。不过我自己对类脑的卡不是很感冒，所以上下文对我来说够用。
所以有没有API和本地部署都深度使用过的，谈谈这两个差距能有多大？