新人刚刚入手，请指教。【sillytavern吧】

sillytavern吧关注：4,400贴子：7,473

我下载的是B站上提供的，我想先弄个本地的试试，但不知为啥模型总是加载不上。用 KoboldCpp 程序导入模型的时候总是闪退，不清楚是怎么回事，按了绿色按钮加载到一半就闪退了。请问是因为硬件不达标吗？

送TA礼物

IP属地:北京

1楼2024-07-06 17:54回复

显存先不说把所有参数最小化或者直接用CPU运行
不能运行有两个直接原因
显存和内存
最后是模型太大本地加载不料
所以1030那点显存不用指望
网上教的哪些都是4090 24GB起步给韭菜看的也就能看看

IP属地:黑龙江

2楼2024-07-06 22:16

首先去掉路径中的中文，像这样

然后CLBlast因为效率太垃圾已经停止支持了
你的1030要玩可以用两种方法
1是CUDA，用这个KoboldCPP：https://pan.baidu.com/s/17aobalQCL4T2kIu45azHQQ?pwd=zfb9
这样调整

2是Vulkan，我瞅了一眼1030应该是支持Vulkan的，用这个KoboldCPP：https://pan.baidu.com/s/1XgF-UaCBF2xZdjmYQyv85w?pwd=zh94
这样调整

鉴于1030只有2g显存，GPULayer最好是0来容纳上下文

IP属地:四川

3楼2024-07-16 21:15

收起回复

下载贴吧APP
看高清直播、视频！

贴吧热议榜

发表回复

内容:

使用签名档查看全部

发表

保存至快速回贴