包含了NF4和FP4的CLIP, UNET, checkpoint加载器,修复了两个恼人的bug:
* torch.OutOfMemoryError: Allocation on device
* RuntimeError: All input tensors need to be on the same GPU, but found some tensors to not be on a GPU
这俩bug在我这100%发生,网上找了一圈没有解决方案,无奈只能自己动手。现在comfyUI可以放心加载NF4模型了,比GGUF快很多。我自己的4060 8G,实测GGUF 150s,NF4不到40s。
地址:https://github.com/excosy/ComfyUI_bnb_nf4_fp4_Loaders
* torch.OutOfMemoryError: Allocation on device
* RuntimeError: All input tensors need to be on the same GPU, but found some tensors to not be on a GPU
这俩bug在我这100%发生,网上找了一圈没有解决方案,无奈只能自己动手。现在comfyUI可以放心加载NF4模型了,比GGUF快很多。我自己的4060 8G,实测GGUF 150s,NF4不到40s。
地址:https://github.com/excosy/ComfyUI_bnb_nf4_fp4_Loaders