你这是要本地部署？本地部署对设备要求比较高，每种大模型的侧重点都不太一样。Deepseek/Qwen这种适合精细推理（理科）、Gemma3/Mistral适合检索和语意处理（文科）。首先你要明确自己的需求，然后文档、知识库是不是比较多，根据自己的大致需求再结合自己有的设备配置，去B站或者吧里都有免费的视频教程。本地框架无非就是ollama和LM studio，知识库用cherry studio或者Dify，可以去这些网站看一下文档如何配置本地API。不过刚上手还是拿第三方API比较合适，这样对设备的要求非常低