stablediffusion吧 关注:37,535贴子:141,982
  • 3回复贴,共1

a new custom nodes published, NF4 for comfyUI

只看楼主收藏回复

包含了NF4和FP4的CLIP, UNET, checkpoint加载器,修复了两个恼人的bug:
* torch.OutOfMemoryError: Allocation on device
* RuntimeError: All input tensors need to be on the same GPU, but found some tensors to not be on a GPU
这俩bug在我这100%发生,网上找了一圈没有解决方案,无奈只能自己动手。现在comfyUI可以放心加载NF4模型了,比GGUF快很多。我自己的4060 8G,实测GGUF 150s,NF4不到40s。
地址:https://github.com/excosy/ComfyUI_bnb_nf4_fp4_Loaders


IP属地:四川1楼2025-03-15 11:16回复
    我用 fp8 的模型屁事没有 用 nf4 和 gguf 就自动断开连接 这 tm 什么问题


    IP属地:新疆来自Android客户端2楼2025-03-15 12:57
    收起回复
      2025-08-21 00:10:55
      广告
      不感兴趣
      开通SVIP免广告
      支持加lora了么?


      IP属地:黑龙江3楼2025-03-16 15:06
      回复