deepseek吧 关注:139,834贴子:408,277
  • 18回复贴,共1

3070显卡8g显存想本地部署写小说给自己看,用什么模型合适啊

只看楼主收藏回复

就是写那种自己看的小说。目前联网用chatopen,对话长了卡的不行,而且不管是用什么模型,后面都会忘记前面的设定


IP属地:河北来自Android客户端1楼2026-03-02 18:11回复
    或者有什么没有审核的好用的在线模型?


    IP属地:河北来自Android客户端2楼2026-03-02 18:18
    收起回复
      2026-03-21 21:49:11
      广告
      不感兴趣
      开通SVIP免广告
      用酒馆接api呗


      IP属地:河南来自Android客户端3楼2026-03-02 19:08
      收起回复
        现在app上200b的小模型都被吧友狠狠批评,3070只能跑14b不到


        IP属地:湖北来自Android客户端4楼2026-03-02 21:07
        回复
          太小了,,,注意力和显存都不够用。
          试试各家api,挑一个合用的吧。


          IP属地:内蒙古来自Android客户端5楼2026-03-03 07:30
          回复
            本地部署也解决不了注意力问题


            IP属地:广西来自Android客户端6楼2026-03-03 08:24
            回复
              换个3090 24G显卡还差不多。


              IP属地:湖南来自Android客户端7楼2026-03-03 13:00
              回复
                建议接api,家用机部署的小参数开源llm写小说看不了一点的,哪怕是评论区说的24g显存也远远不够。


                IP属地:江苏来自Android客户端8楼2026-03-03 14:03
                收起回复
                  2026-03-21 21:43:11
                  广告
                  不感兴趣
                  开通SVIP免广告
                  显存太小了吧,跑AI显卡要求很高的,至少得次旗舰高显存了


                  IP属地:广东来自iPhone客户端9楼2026-03-03 15:13
                  回复
                    就算是现在天天被骂的deepseek新模型也有200B规模,而8G显存的显卡只能跑撑死6B的智障模型,要是内存涨价之前还能力大砖飞用服务器端主板搭上百G内存当显存牺牲速度来用,但现在内存价格都爆炸了,普通人就别想了


                    IP属地:广东来自Android客户端10楼2026-03-04 01:28
                    回复
                      酒馆到这一步咋弄啊


                      IP属地:河北来自Android客户端11楼2026-03-07 11:52
                      收起回复