运行很完美流畅。
chatbox，WPS＋officeAI都可以调用。
和官网APP出字速度差不多，差不多十几tokens吧。

速度如何？我6800xt勉强可用

显存当然是拉满了，共享显存（内存）也用了3.5G。
我这张是瀚铠最丐的星空，满载有啸叫，但运行大模型满载的声音很有意思，是那种很轻的打字机的“哒哒哒哒哒哒哒哒哒”的声音，差点以为ollama给我配音了，和游戏满载那种典型的啸叫声不一样。
不过运行大模型功耗并不高。

这玩意部署了有啥用

爆显存了，速度被内存拖累了

看完撸主的体验总结就是：个人本地部署哪怕用个再屌的24G显存也是个残血版，本地是不可能跟人家云服务器的满血版一个级别的~

能出个傻瓜小白视频吗

想拿7900xtx布置个70b的，它的建议是上还没铺货的ai max 395，或者64核以上的霄龙

一个对话好像会越跑越大，我6750gre12g一开始跑14b的模型甚至可以到24tokens，跑了几轮之后就爆显存只有不到2的tokens了

直接下c盘吗

速度被拖累了，本地化还是门槛高。

你试试在 run 后面加个 -verbose 看看速度有多少token/秒。 我试的挺慢只有个位数，4090有三十多。14b就好一点，79xt只比4090慢一半左右

我的mac也部署了，1.4b

又下了个70B，感觉不太好，速度太慢了，电脑都变卡了（CPU和内存占用飙升），几次问答，最慢的一次只有1.24t/s，基本上是1.4 t/s