stablediffusion吧 关注:37,234贴子:139,283
  • 2回复贴,共1

关于lora训练问题,求大佬帮忙解答一下。

只看楼主收藏回复

1、Lora训练的时候为什么开梯度累加步数可以让内存跑到15g,但是不开梯度累加步数的时候10g就会爆显存。
2、开了梯度累加步数训练出来的模型好想都不理想,跟不用梯度累加步数直接训练出来的差太多了。打开了梯度累加的时候有什么参数是需要特别修改的吗?


IP属地:广东来自iPhone客户端1楼2024-11-28 09:01回复
    就我用的素材和参数而言 开了梯度累加之后学习率得翻倍到和累加步数一样
    比方说6累加步数 本来学习率是1e-5 开了累加就设 6e-5


    IP属地:广东来自Android客户端2楼2024-11-28 12:36
    收起回复