张大妈

专为餐饮服务和零售门店(Food-Service and Retail Stores, FSRS)场景设计的领域专家级多模态大语言模型(MLLM)

源自公众号:paper艾克赛

02-05 04:17

通用大模型在餐饮零售场景中常因数据噪声大、缺乏专业评测而表现不佳。针对这一痛点,新的技术方案通过构建专用模型Ostrakon-VL和首个行业基准ShopBench,旨在提升AI在复杂商业环境中的感知与决策能力。

专为餐饮服务和零售门店(Food-Service and Retail Stores, FSRS)场景设计的领域专家级多模态大语言模型(MLLM)智能速览

  • Ostrakon-VL是专为餐饮零售场景设计的多模态大语言模型。

  • 推出了首个面向该领域的专业评测基准ShopBench。

  • 提出QUAD数据清洗管线以解决真实世界数据噪声问题。

  • 在ShopBench评测中,Ostrakon-VL得分超越规模更大的基线模型。

  • 采用了字幕引导、离线课程学习等训练策略提升模型专业性。

专为餐饮服务和零售门店(Food-Service and Retail Stores, FSRS)场景设计的领域专家级多模态大语言模型(MLLM)精华内容

Ostrakon-VL的卓越性能并非偶然,其背后是一套完整的技术体系,从数据清洗到训练策略都经过了精心设计。

数据清洗革命

餐饮零售场景的真实数据来源多样,存在严重的压缩伪影和环境噪声,元数据也极不一致。为此,研究团队提出了QUAD,一种质量感知且无偏的自动数据清洗管线。

该管线包含四个关键阶段:首先,通过质量过滤和“视觉消融检查”筛选出高正确性的样本;其次,通过基础模型参考过滤,剔除模型已掌握的“简单样本”;再次,利用多模态语义去重技术提高信息密度;最后,通过能力覆盖重分布确保模型在OCR、逻辑推理等各维度能力上的平衡发展。

三阶段训练法

为了高效利用清洗后的高质量数据,训练过程采用了多阶段策略。

第一阶段是字幕引导,让模型先学习图像中的标志、设备、布局等详细描述,为后续对齐奠定基础。第二阶段是离线课程学习,模拟人类由易到难的学习过程,将数据按难度分级,逐步引导模型转向复杂推理。第三阶段是混合偏好优化(MPO),通过构建正确回复与看似合理但有细微错误的回复之间的偏好对,强化模型对视觉细节的关注,提升决策稳定性。

专业评测基准

为了客观衡量模型在特定领域的能力,研究推出了首个公开的FSRS领域多模态基准ShopBench。

该基准涵盖了店面、店内和厨房三大场景,并支持单图、多图和视频三种输入格式。其核心是一个四级分层分类体系,将任务解耦为感知和推理两大能力家族,细分为79个粒度任务。通过t-SNE可视化对比,ShopBench在视觉领域分布上与现有主流基准重叠有限,证明了其独特的领域特征和场景复杂度。

性能超越预期

在严格的ShopBench基准测试中,Ostrakon-VL取得了60.1的平均分,表现亮眼。

这一成绩不仅显著超过了同规模的Qwen3-VL-8B模型(55.3分,提升4.8分),甚至超越了参数量是其近30倍的Qwen3-VL-235B模型(59.4分)。这充分证明了通过领域专业化设计,即使是参数规模较小的模型,也能在特定任务上实现更高的参数效率和更鲁棒的决策能力。

Ostrakon-VL及其配套工具为垂直领域AI发展提供了新范式,证明了精心设计的领域模型在效率和能力上可超越通用大模型。未来,这种模式是否会在更多行业得到复制?

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章