什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

AgenticShop:开放网络个性化购物基准

Yonsei University与ParamitaAI联合发布了《AgenticShop:Benchmarking Agentic Product Curation for Personalized Web Shopping》,提出了首个用于评估开放网络中个性化选品能力的基准——AgenticShop。该研究针对现有购物代理在真实场景中的局限性,构建了包含350个任务的综合评估体系,旨在解决现有评估方法过于简化且忽视用户偏好的痛点。
01现有基准的局限性
  • 场景过于简化
    现有基准主要覆盖单平台、非探索性的简单查询,这与真实的购物环境严重脱节,无法反映代理在复杂网络环境下的表现。
  • 忽视个性化需求
    缺乏对代理是否能够适配多样化用户偏好的明确评估,导致评测结果形同虚设,无法体现AI在个性化服务中的实际能力。
02三维购物意图分类体系
AgenticShop的核心突破在于建立了三维购物意图分类,将用户的购物行为划分为三种类型,以更精准地评估代理的选品能力。

购物意图分类

目标查找(TF)

用户有明确需求

  • 通过标题、属性描述或品牌类别进行定位
  • 重点考察代理的精准检索能力
替代选择(AS)

用户在品类内探索替代品

  • 覆盖低参与度(家居厨房)
  • 覆盖高参与度(电子产品)
  • 覆盖美学驱动(时尚)三种子场景
开放探索(OE)

用户无明确查询

  • 代理需主动策划多样化商品
  • 基于推测兴趣进行推荐
03用户画像与评估框架
基准数据源自真实的亚马逊用户画像,包含叙事上下文、对齐查询以及个性化需求清单。评估框架采用清单式验证,流程如下:
  1. 使用Playwright渲染网页,模拟真实浏览环境。
  2. 利用多模态LLM处理网页截图,获取结构化产品数据。
  3. 应用LLM-as-a-Judge对个性化需求清单的每一条进行二元验证。
  • 1Playwright
  • 2Amazon
该基准共包含350个个性化任务、7类购物场景及19-20项检查清单。验证结果显示,清单与用户偏好的对齐度达到0.81,显著优于纯查询(0.54)和购买历史(0.70)。此外,LLM-as-a-Judge与人类评估的Cohen's κ系数为0.7320,具备与人类间一致性相当的可靠性。
04主流模型实验表现
在AgenticShop基准下的全面测试显示,当前主流AI购物代理的表现普遍不及格,最佳系统的准确率仅为30-35%。
模型/系统目标查找 (TF)替代选择 (AS高参与度)开放探索 (OE)
ChatGPT Search37.81%30.13%14.51%
Claude Sonnet 4 Search37.93%29.66%21.20%
Agent-E19.75%16.15%13.56%

各模型在不同购物意图下的准确率对比

实验结果表明,尽管Agent技术在快速发展,但在处理个性化、开放式的真实网络购物任务时仍面临巨大挑战。AgenticShop基准的发布为评估和提升AI代理的个性化选品能力提供了重要的参考依据。

评论

评论区空态插画

当前文章无评论,是时候发表评论了