当前位置:
AIGC文章详情

2025实测结论:LoRA非万能画质增强器,特定条件下可优化细节与肤质

源自23位全网作者

02-05 12:25

精选参考来源

1
LoRA模型的4大分类与实用姿势,一次性讲明白!Stable Diffusion附加网络模型解析 · AI绘画零基础入门系列教程
2
《RL Learning with LoRA: A Diverse Deep Dive》kalomaze分享了他们在prime-rl中集成LoRA训练的实践经验和实验结果,深入探讨了LoRA在强化学习(RL)中尤其是RLVR(可验证奖励强化学习)中的应用价值。 LoRA训练的效果关键在于“新信息”的稠密度。对于信息丰富、需要高秩调整的监督微调(SFT)任务,LoRA可能受限;但RLVR因奖励稀疏,适合用LoRA,既能保持全微调性能,又显著降低内存需求和训练成本,支持多任务适配器并行服务。 prime-rl中的LoRA设计灵活,允许用户选择性微调模型中的注意力投影(q_proj、k_proj、v_proj、o_proj)和MLP层(gate_proj、up_proj、down_proj),同时默认冻结归一化层和嵌入层,兼顾性能和效率。 他们通过三个实验验证了LoRA表现:1. 字母排序任务:低秩LoRA(rank=1)即可胜任多轮状态追踪,表现接近全微调,且显著节省显存,支持更大批量训练。2. 乱序句子重排任务:需要更高秩适配以捕捉深层语义,低秩LoRA学习较慢但不受根本限制,表现可随训练深入改进。3. 单轮数学推理任务:高秩LoRA优于低秩,说明不同任务对秩需求差异显著,秩大小和奖励改善的关系不易预测。此外,作者提出了rsLoRA的α/√r比例缩放,解决了传统LoRA因秩增大导致有效学习率下降的问题,实现不同秩大小间梯度均衡,有助于训练稳定和性能提升。他们强调LoRA的优势不仅在于节省内存,还在于更灵活的适配策略和多任务支持,计划继续优化LoRA算法、引入专家模型(MoE)和多适配器训练,推动开源强化学习生态发展。总的来说,LoRA正成为RLVR领域高效微调的有力工具,尤其适合资源有限但需多任务适配的应用场景。未来,随着训练技巧和架构改进,LoRA有望在更广泛的强化学习任务中发挥更大作用。阅读原文了解更多细节:kalomaze.bearblog.dev/rl-lora-ddd/
全部
来源
内容由AI生成

精选参考来源

1. LoRA模型的4大分类与实用姿势,一次性讲明白!Stable Diffusion附加网络模型解析 · AI绘画零基础入门系列教程

2. 《RL Learning with LoRA: A Diverse Deep Dive》kalomaze分享了他们在prime-rl中集成LoRA训练的实践经验和实验结果,深入探讨了LoRA在强化学习(RL)中尤其是RLVR(可验证奖励强化学习)中的应用价值。 LoRA训练的效果关键在于“新信息”的稠密度。对于信息丰富、需要高秩调整的监督微调(SFT)任务,LoRA可能受限;但RLVR因奖励稀疏,适合用LoRA,既能保持全微调性能,又显著降低内存需求和训练成本,支持多任务适配器并行服务。 prime-rl中的LoRA设计灵活,允许用户选择性微调模型中的注意力投影(q_proj、k_proj、v_proj、o_proj)和MLP层(gate_proj、up_proj、down_proj),同时默认冻结归一化层和嵌入层,兼顾性能和效率。 他们通过三个实验验证了LoRA表现:1. 字母排序任务:低秩LoRA(rank=1)即可胜任多轮状态追踪,表现接近全微调,且显著节省显存,支持更大批量训练。2. 乱序句子重排任务:需要更高秩适配以捕捉深层语义,低秩LoRA学习较慢但不受根本限制,表现可随训练深入改进。3. 单轮数学推理任务:高秩LoRA优于低秩,说明不同任务对秩需求差异显著,秩大小和奖励改善的关系不易预测。此外,作者提出了rsLoRA的α/√r比例缩放,解决了传统LoRA因秩增大导致有效学习率下降的问题,实现不同秩大小间梯度均衡,有助于训练稳定和性能提升。他们强调LoRA的优势不仅在于节省内存,还在于更灵活的适配策略和多任务支持,计划继续优化LoRA算法、引入专家模型(MoE)和多适配器训练,推动开源强化学习生态发展。总的来说,LoRA正成为RLVR领域高效微调的有力工具,尤其适合资源有限但需多任务适配的应用场景。未来,随着训练技巧和架构改进,LoRA有望在更广泛的强化学习任务中发挥更大作用。阅读原文了解更多细节:kalomaze.bearblog.dev/rl-lora-ddd/

3. 适合zimage的LoRa(支持NSFW)

4. 面壁小钢炮的语音合成/语音克隆模型 VoxCPM发了个新版本: VoxCPM1.5模型地址: huggingface.co/openbmb/VoxCPM1.5这个版本是一次比较大的升级,音质和稳定性都有提升,支持44.1kHz 采样,支持全量微调和LoRA微调

5. 【AI辅助设计】阿里最强开源改图模型升级!Qwen-Image-Edit-2511发布,为设计师带来更强控制力

6. 墙裂推荐:Qwen image漫画转真人LoRa

7. 最新文章分享:LoRA参数高效微调方法及其应用的全面分析

8. 太爽了!AI绘画全面进化:懂中文、会做中文设计,还开源免费!Qwen Image+Edit模型零基础教程,一个视频讲清楚全部应用 | 附Comfy UI工作流

9. 改善Qwen image edit 2509皮肤LoRa

10. 讲一下刚才#红米K90发布会#上讲的「人像超清增强」#小米17系列#、#K90#、#K90ProMAX#都有一个非常强大的功能-基于人像数字档案进行的人像超清修复功能,而这个功能特性,会让你不再有人像废片,不增加大家的理解和使用成本,我们把这个能力合并在了「画质超清」功能里。其他#小米澎湃OS3#的机型也不用担心,功能我们已经完成适配,最近就会开始灰度。1. 「人像超清增强」可以解决人像不够清晰问题2. 「人像超清增强」是行业里面首个使用个人相册的图片提升清晰度的方案,结合AI大模型不断提高二次创作的上限(基于人像lora生成修复模型)3. 在使用「画质超清」时打开「人像超清增强」功能开关,如果首次没有打开也可以在设置中进行开和关。 大模型就会基于相册中已有的人物照片进行训练,通过Lora人像数字底片,就可以针对拍摄的人像不够清晰的照片,进行修复提升人像细节,让你经常拍摄的人像更高清、更细腻。

11. Eigen-Banana-Qwen-Image-Edit:使用 Qwen-Image-Edit LoRA 快速图像编辑

12. 【AI辅助设计】Qwen-Image-Edit-2509三大实用LoRA:重打光、多角度、电影级运镜

13. #K90# 影像 一些发布会没讲到的功能点:Pro Max :1. 前置升级到3200万像素2. 后置支持超级月亮模式3. 50Mp超广角支持4K 60fps视频两杯:1. LivePhoto升级了直出2K清晰度,也支持4K视频导出2. 新增运动🏓水印,目前系列独有3. 新增「人像超清增强」能力,基于lora生成修复模型 提升人物细节

14. #小米相册编辑# 2.1.0.2版本已开启存量机型灰度推送,总结一下图片编辑的相关功能:1. 图片编辑画质超清-新增「人像超清增强」能力行业首个使用个人相册的图片提升清晰度的方案,基于人像lora生成修复模型,通过Lora人像数字底片,提升人像细节,让你经常拍摄的人像更高清、更细腻2. 魔法消除-智能去物新增涂抹的选区方式,涂抹小物体更方便,彻底解决大家之前反馈使用不方便的问题3.新增 滤镜页点击上划面板“图标”展开所有滤镜,在一个面板看到更多滤镜预览效果,滤镜选择更快,更编辑4. 贴纸全面焕新,更年轻 更潮流5.优化水印图层逻辑,水印操作不影响AI扩图、背景虚化、魔法换天等功能6.设置页功能调整,图像设置、图像尺寸、外观设置、AI生成标识等设置项均移动至功能设置中 #有点东西#

15. 重新清了下系统用玲珑的Max+395主机跑Qwen-Image-2512,BF16原版50步跑单张大概19分钟一张,用4步加速Lora可以控制到80秒,但画面明显劣化到感觉不可用,而且我的提示词是亚洲女性,结果跑出来像神奇女侠了最后Z-Image Turbo原版一张58秒,虽然不如BF16的Qwen-Image,但1/20的速度还要什么自行车

16. Stable Diffusion教程-什么是 LoRA 模型以及如何使用它

17. Docs

18. 拯救量化大模型的准确性

19. LoRA

20. 主模型和Lora: 搭配才能出好图

21. LoRA 模型的全新玩法——AutoLoRA 带你体验 LoRA 检索与融合的魔法

22. 关于ComfyUI/Civitai二次模型,LoRA解析:单层与堆叠LoRA的安装与使用

23. Z-Image LoRA 训练保姆级教程!

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章