text generation webui本地部署大语言模型，上hugging face上下模型，网上有教程
目前较好的中文模型像yi，还有最近很火的llama3，我目前使用几个本地模型感觉和gpt3.5比都不如，对话太僵硬，远不如Claude。

b站有详细教程

4050？跑不了。语言模型比ai绘画要求还高呢

4050那点显存够干嘛的

只能说本地部署4090都不够用，能用和能部署是两码事
本地部署之后，开头对话看起来是那么一回事，过几句你就知道纯纯zz了，你要拿来ss，S克知道不？用的最低版本in的小克模型，低配版haiku，你要是觉得用这个都难受，本地部署只能爱这个更难受且有过之而无不及

你不如用gemini或者
cohere，虽然gemini马上就要收费了，我看过一些大神的视频，搭建本地模型起码12G往上的才勉强能有些逻辑，要想比较好的体验4090这种显卡都不够看的，而且本地搭建特别是那些要求高的模型，回复速度也不是一般人能接受的，一次对话回复时间一分钟甚至更久，而且体验还不好。总的来说，就现阶段你想要好的体验那是不可能的，现在大模型是需要很多算力和数据集的，本就不是给我们这种普通用户搭建玩的(至少现在不行)，所谓本地搭建都是究极阉割版，但凡体验过claude这类的模型你就不会感兴趣了。

本地显卡的算力根本不够用的，cohere免费128k还没审核比本地香多了，下个酒馆把api粘进去就能用，不想用酒馆直接聊也行

这个配置跑不了啥比较好的大模型吧……

cohere的文笔超越了Claude3
太久了。这种细腻到极致的描写。
这种细致入微的描写。
让我明白了不止有cluade

4050哪来的16G显存？

我有渠道价格比阿里云低要不要试试