极摩客吧 关注:765贴子:2,380
  • 9回复贴,共1

Qwen3-235B-A22B-128K-UD-Q2_K_XL 怎么无法加载

只看楼主收藏回复

设置96G了,Qwen3-235B-A22B-128K-UD-Q2_K_XL才 88G容量。为什么无法加载


IP属地:浙江1楼2025-05-12 10:34回复
    64+64才是合理分配,虽然能到96G,但以实际经验来看是跑不起来的,以DeepSeek 70B为例,模型42G已全部装入显存,但真正运行起来,模型文件大小仅代表权重参数,实际运行时还需要额外内存用于上下文缓冲区、模型图等数据结构,还要额外的占用50G左右的内存空间。


    IP属地:北京2楼2025-05-12 21:41
    收起回复