家里有服务器？

悬，本地小模型太拉了。要是显卡没涨价搞个RTX PRO 6000感觉还可以

本地部署真的流口水，玩不下去

试了一下，用27b的q4模型，一轮2万token输入花了10分钟，出字5token/s花了5分钟，加起来一轮15分钟

除非保密单位开发需要部署本地模型外，我是想不出任何私人公司或者个人在考虑性价比之后有必要本地部署

本地部署最大的好处是不会被拒，就现在这种官api外审越来越多的情况，保留一点对本地部署的宽容还是必要的

9B以下就是沙雕，9B以上的没有用过。

取决于你的财力，够有钱就上大模型

本地唯一有体验的是gamma431b，有24年中在线模型的水平，同系列的moe的26b只能说能玩差一截，qwen从3.6开始就是纯码农不说人话直接不考虑，要舒服跑31b至少22g显存，但大部分人连个16g卡都没有

本地部署要能玩先准备100w刀

我昨天刚试过，不如api。
我部署的是Mistral-Heretica 12b q5，我5070+2070s，双显卡20g显存上下文撑死32k就限制很大了，人物卡，各种预设和世界书都用不了，功能要关很多，还有回复t限2048。从短对话调试过后，调成长文章，但是问题更明显了，模型处理不了复杂剧情，遇到复杂的事情就显得降智。

写文好不好，核心还是参数量吧，这就和本地部署冲突了。如果说跑agent编程，倒是部署moe模型有还不错体验，相当于年初的时候api的能力吧

我的16g显存，用mistral3 14b rp，玩轻量纯文字卡，刚开始十来句还行，一爆8k上下文直接就开始丢格式+复读+超回复字数，想玩个状态栏最后就变成只有状态栏了

我倒是试过文本还可以，但是基本全靠预设拽，所以聊一轮要 5 分钟左右太慢了😟