开源地址：https://github.com/josStorer/RWKV-Runner
打不开github的可以从阿里云下载：https://www.aliyundrive.com/s/jurikB2ZWhG

用法，新建一个文件夹，把启动器放进去（因为启动器会直接在它当前的路径放文件，所以把它单独放进一个文件夹里，后面不用了删除，或者再次打包也方便。）。

运行启动器后，按提示下载python运行环境以及模型就好了。

电脑太拉了，就看看

效果怎么样

插个眼，是我的4080该派上用场的时候了

太卡了……电脑给我整死机三次了还是没能读取模型……放弃了

有一台笔记本3060。回去试试能玩不。

插个眼看看，我的小垃圾电脑不配

我的評價是顯卡不是近兩年甜品以上(>3060)的都不要浪費時間了，移動1660Ti 6GB VRAM跑7B的WizardLM都得爆顯存，再小的模型使用價值很小

别急，7b和14b模型也分不清你我

效果可以吗

感觉14b才能满足我

老哥尝试一下这个strategy 可以节省56%的vram：
cuda fp16i8 -> cpu fp32 *3
原理：基本上都是cuda int8层，最后三层转为cpu float32。
可以试试