AgenticShop:开放网络个性化购物基准
Yonsei University与ParamitaAI联合发布了《AgenticShop:Benchmarking Agentic Product Curation for Personalized Web Shopping》,提出了首个用于评估开放网络中个性化选品能力的基准——AgenticShop。该研究针对现有购物代理在真实场景中的局限性,构建了包含350个任务的综合评估体系,旨在解决现有评估方法过于简化且忽视用户偏好的痛点。
01现有基准的局限性
- 场景过于简化
现有基准主要覆盖单平台、非探索性的简单查询,这与真实的购物环境严重脱节,无法反映代理在复杂网络环境下的表现。 - 忽视个性化需求
缺乏对代理是否能够适配多样化用户偏好的明确评估,导致评测结果形同虚设,无法体现AI在个性化服务中的实际能力。
02三维购物意图分类体系
AgenticShop的核心突破在于建立了三维购物意图分类,将用户的购物行为划分为三种类型,以更精准地评估代理的选品能力。
购物意图分类
目标查找(TF)
用户有明确需求
- 通过标题、属性描述或品牌类别进行定位
- 重点考察代理的精准检索能力
替代选择(AS)
用户在品类内探索替代品
- 覆盖低参与度(家居厨房)
- 覆盖高参与度(电子产品)
- 覆盖美学驱动(时尚)三种子场景
开放探索(OE)
用户无明确查询
- 代理需主动策划多样化商品
- 基于推测兴趣进行推荐
03用户画像与评估框架
基准数据源自真实的亚马逊用户画像,包含叙事上下文、对齐查询以及个性化需求清单。评估框架采用清单式验证,流程如下:
- 使用Playwright渲染网页,模拟真实浏览环境。
- 利用多模态LLM处理网页截图,获取结构化产品数据。
- 应用LLM-as-a-Judge对个性化需求清单的每一条进行二元验证。
- 1Playwright
- 2Amazon
该基准共包含350个个性化任务、7类购物场景及19-20项检查清单。验证结果显示,清单与用户偏好的对齐度达到0.81,显著优于纯查询(0.54)和购买历史(0.70)。此外,LLM-as-a-Judge与人类评估的Cohen's κ系数为0.7320,具备与人类间一致性相当的可靠性。
04主流模型实验表现
在AgenticShop基准下的全面测试显示,当前主流AI购物代理的表现普遍不及格,最佳系统的准确率仅为30-35%。
| 模型/系统 | 目标查找 (TF) | 替代选择 (AS高参与度) | 开放探索 (OE) |
|---|---|---|---|
| ChatGPT Search | 37.81% | 30.13% | 14.51% |
| Claude Sonnet 4 Search | 37.93% | 29.66% | 21.20% |
| Agent-E | 19.75% | 16.15% | 13.56% |
各模型在不同购物意图下的准确率对比
实验结果表明,尽管Agent技术在快速发展,但在处理个性化、开放式的真实网络购物任务时仍面临巨大挑战。AgenticShop基准的发布为评估和提升AI代理的个性化选品能力提供了重要的参考依据。
当前文章无评论,是时候发表评论了