32B大模型Text2SQL微调——项目复盘
医疗数据分析领域对数据隐私要求极高,自然语言转SQL(Text2SQL)工具成为提升分析师效率的关键。本次项目基于客户内部几十个业务数据库,旨在构建本地部署的模型工具,允许用户通过中文提问自动生成SQL查询。由于合规限制,数据库结构信息严禁外传,项目最终采用开源模型Qwen2.5-Coder-32B-Instruct结合本地微调方案,针对数据库Schema不规范及缺乏标注数据的挑战,实施了GRPO强化学习训练,并在推理侧引入RAG架构以应对复杂的业务场景。
01技术选型与GRPO训练流程
客户数据库包含患者信息、诊断记录等敏感数据,且表名为拼音缩写、字段命名不规范,与公开数据集差异巨大。同时,项目面临历史查询日志丰富但自然语言与SQL配对标注缺失的困境。人工标注成本高昂(每条5-10分钟),因此采用GRPO(DeepSeek-R1同款训练方法),利用数据库和标准答案进行自动训练,无需人工标注。
奖励函数设计
为确保模型有效学习,设计了双重奖励信号体系,权重分配侧重执行正确性:
为确保模型有效学习,设计了双重奖励信号体系,权重分配侧重执行正确性:
奖励信号分类
Ground truth 奖励
核心信号,不可替代
- 执行正确性(权重3.0):SQL在数据库上执行,跑对奖励,跑错惩罚。
代理奖励
辅助平滑梯度(权重0.1~0.5)
- Schema 匹配:表名选择正确度。
- N-gram 相似度:生成结构与标准答案接近度。
代理奖励的作用在于解决执行正确性信号过于稀疏的问题。即使SQL执行结果错误,若表名或结构正确,模型仍能获得部分奖励,从而引导优化方向。但必须确保执行正确性的权重远高于代理奖励,防止模型仅模仿表面模式而忽略语义正确性。
02训练过程中的关键挑战与修复
在对比Dr.GRPO、DAPO、REINFORCE++等算法变体时,初期实验出现Schema匹配度上升但执行正确性始终为0的异常。排查发现训练脚本中数据库路径配置错误,导致SQL从未真正执行。模型仅依据代理奖励(与标准答案的相似度)进行优化,退化为低效的SFT(监督微调),仅学会了模式匹配而非真正的逻辑理解。
修复路径后,训练在进度达到22%时遭遇崩溃。日志显示某GPU在同步操作中超时,导致NCCL看门狗终止所有进程。根因是模型生成了涉及三张大表笛卡尔积的SQL,SQLite计算量过大导致单卡长时间阻塞。在DDP(分布式数据并行)环境下,单个节点的阻塞会导致整体训练中断。
- 尝试 signal.alarm(30):失败,SIGALRM仅能发给主线程,DDP worker线程无法接收。
- 尝试 threading.Timer:失败,跨线程关闭SQLite连接导致段错误(Segfault)。
- 采用 ThreadPoolExecutor:成功,将SQL执行置于独立线程池,设置.result(timeout=30),超时则返回reward=0。
| 算法变体 | KL散度表现 | Reward表现 | 结果评价 |
|---|---|---|---|
| Dr.GRPO | 飙升至0.0108(涨38倍) | 前期涨势快 | 模型跑偏,生成语义荒谬SQL |
| REINFORCE++ | 稳定 | 纹丝不动 | 过于保守,未学会新内容 |
| DAPO(最终选用) | 适中 | 稳步提升 | 兼顾学习速度与稳定性 |
GRPO算法变体对比实验结果
03推理优化与RAG架构
针对客户数据库众多、全量Schema超出上下文窗口的问题,推理侧引入了两层RAG Agent架构,以确保模型能精准定位相关表结构。
- 业务路由层:识别业务领域(如门诊量统计对应门诊系统库),利用关键词匹配与Embedding相似度,将目标范围缩小至1-2个数据库。
- Schema检索层:在目标库内检索相关表和字段,并结合历史日志中的相似查询作为Few-shot示例,共同构建Prompt。
该架构有效解决了复杂查询场景下的准确率问题。Base模型结合RAG的Few-shot执行准确率在复杂场景下有显著提升,特别是在多表JOIN和子查询场景中,Few-shot示例的引导作用至关重要。
04总结复盘
- 奖励函数必须反映真实目标:代理奖励仅能辅助引导方向,Ground truth(执行结果)才是RL训练的核心价值。缺乏执行反馈的RL训练本质是在优化错误目标。
- RL环境稳定性至关重要:在多卡DDP训练中调用外部程序(如SQL执行)必须设置超时机制,防止单个进程阻塞导致整体训练崩溃。
- 算法选型需平衡速度与稳定性:Dr.GRPO虽快但易发散,REINFORCE++过于保守,DAPO在项目中表现出最佳的平衡效果。
当前文章无评论,是时候发表评论了