将大模型与地图结合,为全球图像定位提供了全新解决方案。这项研究通过强化学习和并行测试技术,显著提升了AI在物理世界中的定位精度,尤其在细粒度定位任务上实现了跨越式进展,为智能导航、城市规划等领域带来了新的可能性。
智能速览
研究将定位过程形式化为地图中智能体的迭代决策
采用两阶段优化:强化学习与并行测试扩展
构建覆盖中国20城的MAPBench评估数据集
在多数指标上显著优于现有开闭源模型
细粒度Acc@500m精度提升超过10个百分点
并行测试数量增加能持续带来性能增益
精华内容
这项研究创新性地将大语言模型与地图API工具结合,通过强化学习训练智能体学会使用地图工具进行图像定位,突破了传统方法的局限。
技术创新路径
研究团队将图像定位过程重构为智能体在地图中的迭代决策流程。智能体首先基于图像线索提出位置假设,然后调用多种地图API工具(包括POI搜索与详情、静态与卫星地图、图像放大、输入提示等)进行交叉验证,最终收敛到准确位置。
这种将大模型的推理能力与地图的实际地理信息相结合的方式,有效弥补了纯视觉定位在复杂场景下的不足。特别是对于缺乏明显特征的城市街景和店招图像,地图提供的地理上下文信息成为定位的关键补充。
两阶段优化策略
优化过程分为两个关键阶段。第一阶段采用智能体强化学习,直接从Qwen3‑VL模型开始训练,通过分层距离阈值奖励机制,大幅提升了工具使用效率与决策准确性,将性能从pass@N级别提升到pass@K水平。
第二阶段引入并行测试时扩展技术,通过并行采样多条"思考配图"轨迹,再由验证器汇总结果,进一步将性能增益转移到pass@1指标上。这种并行策略不仅提升了定位精度,还增强了系统的鲁棒性。
实验数据支撑
为全面评估方法性能,研究团队构建了MAPBench基准数据集,覆盖中国20个城市的5000张街景和店招图像,按难度分层并包含最新数据。此外,还在GeoBench与IMAGEO‑2等多个标准数据集上进行了测试。
实验结果显示,该方法在大多数指标上都显著超越了现有的开源和闭源模型。细粒度Acc@500m的提升尤为突出:在MAPBench‑hard数据集上,从Gemini‑3‑Pro的4.02%提升至14.86%;在GeoBench上从37.79%提升至57.94%。这些数据充分证明了方法的有效性。
消融实验发现
详细的消融实验揭示了各组件的贡献。地图工具对小于2km的定位任务改善效果显著,但在粗粒度定位时可能受到地图噪声干扰。强化学习算法GRPO的表现优于Pass@K‑GRPO与PKPO等对比算法。
有趣的是,实验发现30B级别的验证器在小并行数情况下已经足够有效,这为实际部署提供了成本效益上的参考。并行TTS策略随并行数量增加能够持续带来性能增益,没有出现明显的收益饱和现象。
这项研究不仅为AI图像定位提供了新的技术路径,更展示大模型与传统工具结合的巨大潜力。随着地图数据的持续丰富和模型能力的不断提升,这类方法有望在自动驾驶、增强现实、智慧城市等领域发挥重要作用。未来的探索方向可能包括降低API调用成本、提升响应速度,以及探索更多地理信息工具的集成。
关键评论
用户关注项目的开源代码和数据集可用性
对地图API服务的数据访问支持能力存在疑问
建议研究团队考虑与高德地图合作开展相关工作