那还不如直接api，能白嫖免费额度，花钱也花不了多少。手机那点运行内存能跑个啥啊

本地电脑部署都只能勉强使用，手机只能使用api了，而且不用担心太贵，你折腾一整天恐怕也就1到2元，性能上更是比本地部署的最顶级的比如5090之类都要强点，用api是划算和合理的。

下载个mnn chat 不就好了，当然也有别的离线ai工具，不过mnn chat支持调用gpu，别的离线ai工具都是用纯cpu跑的

我的建议是不要本地部署，没有任何意义

mnn 请 不过都是量化到int4的智障。

mnn 请 不过都是量化到int4的智障。

不要折腾，手机版暂时无最优解，你电脑版可以用ollama傻瓜式操作，但你说你不用电脑那就算了，手机那点性能也不够你ai跑的，建议你去买个api，上b站看教程你都能会，然后在这个吧里面找个精华贴拿个破甲弹添加进prompt里面你就能随心所欲了

可以在自己电脑上部署本地的，手机作为输出，只要有网就行

手机就算moe模型也部署不了别想了，你的意思是手机玩酒馆ai角色扮演吧，那只要买api就好了

我在电脑上搞过，我的建议是别折磨自己。

楼主我看到有人发过文件，但是我比较懒没有下载，你可以拿去帮我试试，本地部署手机端的，模型看起来是有很多

电脑部署过32bds，结论是老老实实玩api吧

手机酒馆+api就是相当长时间内的最优解了
我的电脑4070s+32g内存，在保证输出速度能接受的情况下撑死部署个32b q4版本，智商堪忧。
想要往上加显存花的钱是指数级提升，不如买api，3块钱100万tokens，一张显卡的钱能用到地老天荒