通用大模型在餐饮零售场景中常因数据噪声大、缺乏专业评测而表现不佳。针对这一痛点,新的技术方案通过构建专用模型Ostrakon-VL和首个行业基准ShopBench,旨在提升AI在复杂商业环境中的感知与决策能力。
智能速览
Ostrakon-VL是专为餐饮零售场景设计的多模态大语言模型。
推出了首个面向该领域的专业评测基准ShopBench。
提出QUAD数据清洗管线以解决真实世界数据噪声问题。
在ShopBench评测中,Ostrakon-VL得分超越规模更大的基线模型。
采用了字幕引导、离线课程学习等训练策略提升模型专业性。
精华内容
Ostrakon-VL的卓越性能并非偶然,其背后是一套完整的技术体系,从数据清洗到训练策略都经过了精心设计。
数据清洗革命
餐饮零售场景的真实数据来源多样,存在严重的压缩伪影和环境噪声,元数据也极不一致。为此,研究团队提出了QUAD,一种质量感知且无偏的自动数据清洗管线。
该管线包含四个关键阶段:首先,通过质量过滤和“视觉消融检查”筛选出高正确性的样本;其次,通过基础模型参考过滤,剔除模型已掌握的“简单样本”;再次,利用多模态语义去重技术提高信息密度;最后,通过能力覆盖重分布确保模型在OCR、逻辑推理等各维度能力上的平衡发展。
三阶段训练法
为了高效利用清洗后的高质量数据,训练过程采用了多阶段策略。
第一阶段是字幕引导,让模型先学习图像中的标志、设备、布局等详细描述,为后续对齐奠定基础。第二阶段是离线课程学习,模拟人类由易到难的学习过程,将数据按难度分级,逐步引导模型转向复杂推理。第三阶段是混合偏好优化(MPO),通过构建正确回复与看似合理但有细微错误的回复之间的偏好对,强化模型对视觉细节的关注,提升决策稳定性。
专业评测基准
为了客观衡量模型在特定领域的能力,研究推出了首个公开的FSRS领域多模态基准ShopBench。
该基准涵盖了店面、店内和厨房三大场景,并支持单图、多图和视频三种输入格式。其核心是一个四级分层分类体系,将任务解耦为感知和推理两大能力家族,细分为79个粒度任务。通过t-SNE可视化对比,ShopBench在视觉领域分布上与现有主流基准重叠有限,证明了其独特的领域特征和场景复杂度。
性能超越预期
在严格的ShopBench基准测试中,Ostrakon-VL取得了60.1的平均分,表现亮眼。
这一成绩不仅显著超过了同规模的Qwen3-VL-8B模型(55.3分,提升4.8分),甚至超越了参数量是其近30倍的Qwen3-VL-235B模型(59.4分)。这充分证明了通过领域专业化设计,即使是参数规模较小的模型,也能在特定任务上实现更高的参数效率和更鲁棒的决策能力。
Ostrakon-VL及其配套工具为垂直领域AI发展提供了新范式,证明了精心设计的领域模型在效率和能力上可超越通用大模型。未来,这种模式是否会在更多行业得到复制?