OpenAI开考“过日子”:80.6的分数,题是真好,分是自己打的

源自21位全网作者

10:28

你上次被生活琐事搞到崩,是哪件?

给娃找幼儿园,要跑三个园区比资质比路线;搬家后过户水电燃气,材料备齐还得排队。没人爱干这些事,共同点就一个字:碎。

11月2日,OpenAI干了件挺识趣的事:给AI安排了一场"过日子考试",名叫 LifeVal,不测代码不测数学,衡量模型能不能把日常个人助理任务真正做完,而不只是给建议——找托育、办政务、做预算、管钱。全是上面那种碎事。知乎哔哩哔哩微博

先说考分:官网主图上,GPT-6 Astra拿了80.6分,比 GPT-5.2 的49.3%跳涨31.3分。但曲线值得多看一眼:大涨只发生了一次,先涨23.7个百分点,随后三轮只剩4.4、2.6、0.6。增速明显慢了下来。也别把80.6当成"八成琐事都办成了"——它只是不加权平均奖励,部分完成也给分。微博知乎哔哩哔哩

OpenAI开考“过日子”:80.6的分数,题是真好,分是自己打的

这场考试真正值钱的不是分数,是出题方式:先抄两套"国民时间账本",摸清普通人的时间被做饭、通勤、填表切碎在哪儿。再靠一份3,995人的问卷问出:哪些事你最想外包。最后要求出题人反复亲自办过这件事,每题至少三轮人工质检。“AI助手好不好用”,第一次从聊天体感变成了可打分的任务清单。知乎微博知乎

但有3处,别急着照单全收。

一,考场和阅卷都是OpenAI自己。 它是自建评测,官页没提供可独立复现的任务包。两个自动评分器用的都是自家GPT-5.6。榜单五个模型全是自家,还用这把尺子驱动自家改进。人工抽检过30道题:人打83.61,机器打84.20,一致性不低。但厂商的尺子量厂商自己,读数天然要偏一点。36氪标题直接喊"价值1.7万亿美元,接管全球80亿人类"。媒体比OpenAI自己激动。知乎知乎哔哩哔哩36氪

二,考场是模拟的,你家不是。 每道任务都配了专门环境,网页操作大多是在离线网页里完成的。真实网站的登录、验证码、支付弹窗不在这场考场里。同一个模型换个尺子就是另一个世界:GPT-5.4在LifeVal拿73分,放到153个真实网站上办日常事务只剩6.5——真实版按办成没办成判分,还拦住最后那下提交。国内博主拿同一套8个日常任务测了四款个人AI助理,最扎心的是"12306买火车票":四家都能查到车次,一家都没买成,全卡在同一个地方——短信验证登录,还有提单那一步的校验。知乎哔哩哔哩小红书

不是它笨,是这条路本来就没给机器留门。真正卡住人的,永远是登录、验证码、付款这几道关。小红书

三,满分不等于办完。 官方展示的找房任务得了100%,模型最后一步是把房契放进购物车、等用户审阅——满分合理。因为委托终点本来就是"我来审",看房出价签字都超出要求。分数衡量的是题目要求,不是你想象中的甩手掌柜。知乎

OpenAI开考“过日子”:80.6的分数,题是真好,分是自己打的

普通人怎么用这张成绩单?一条能落地的线:让AI备齐材料,重要提交自己做。 比价、理清单、起草方案,错了能撤,尽管放手;涉及身份、钱和难以撤销的承诺,先保留人工确认。授权也只单次有效——获准整理资料,不等于获准付款。知乎

对中文用户,考题看着陌生,流程一点不陌生:这就是国内AI助手正在卷的方向。12580的新定位是"个人智能助理",一句语音指令就能拨号、排日程、发导航。微信小微在内测里已经能用文字或语音对话查天气、查快递、点外卖。考场不同,题目同款。知乎微博

风向也在变:ChatGPT里非工作消息占比已从53%涨到七成以上。人们要的不是军师,是帮手。这场考试最大的意义,不是宣布AI毕业了,而是第一次把"替人办事"放上了一把可打分的尺子。尺子是OpenAI自家的,刻度也偏美国生活,但方向是真的:AI助手这门生意,从此不比谁聊得妙,比谁把事办成。哔哩哔哩微博

OpenAI开考“过日子”:80.6的分数,题是真好,分是自己打的

下次想把事外包给AI,先照它的出题方式问三句:终点在哪?错了能撤吗?谁来验收?想清楚再交题——这是这场"过日子考试"最实在的价值。

内容由AI生成

精选参考来源

1. OpenAI LifeVal 80.6%:AI 真能替你办成事吗?

2. OpenAI LifeVal:用日常任务评测个人助理,但评测是自建的

3. 【OpenAI 发布 LifeVal:衡量 AI 完成日常生活任务的评测】OpenAI 11 月 2 日公布 LifeVal。任务来源:美国时间利用调查、跨国时间利用研究,以及一份 3,995 人的代表性问卷;覆盖育儿、健康、教育、家务行政、个人理财、购物、政府服务等。OpenAI 称过去一年一直用它推动模型在浏览器、电脑操作和连接器任务上的改进。页面只列出单项任务的“最佳记录”分数(GPT-6 Astra 多项 100%);总题数、平均分、是否公开数据集均未披露。性质:厂商自报 · 内部评测原文:网页链接

4. 【从49.3%到80.6%:#OpenAI LifeVal与日常任务评测的方法论纵深#】#OpenAI# 11月2日,OpenAI发布日常任务评测基准LifeVal,把『AI能不能把生活琐事办完』第一次变成一把可度量的尺子:基于美国与多国时间使用调查构建任务目录,过去一年间其模型的平均奖励从GPT-5.2的49.3%提升至GPT-6 Astra的80.6%。本文拆解这套评测的方法论、能力链条与解读边界。网页链接

5. 📊我用同一套8个任务,测了4款个人助理

6. 今天,OpenAI发布AGI新标准,价值1.7万亿美元,接管全球80亿人类

7. 从查信息到替你办事,12580想做怎样的AI助理?

8. 还是跟大家聊聊我们在小范围内测的微信小微,这是个微信团队自己开发的原生AI助手,可以通过文字或语音对话,让小微查天气、查快递、点外卖;另外,在朋友圈、公众号、聊天、视频号等场景,小微也可以在你需要的时候被随时唤起,来总结内容、提供更多信息等。有些朋友对隐私问题比较关注,甚至有一些因为误解引发的担忧,这里也做一下解释:1、小微能接触的信息,不会超过你本人可以查看的信息范围的权限,比如有朋友担心已删除的朋友圈会不会被看到,放心,不会的;2、小微会基于公众号、视频号等的关注、浏览、互动数据,做一些问题的推荐,放心,这里同样遵循原则1;3、关于聊天记录,只有在聊天场景,你主动发起“问小微”的时候,小微才会被临时调起,从微信客户端本地读取你指定的聊天记录,分析总结之后,原始聊天记录不会被保存,通用的“用完即弃”的逻辑;4、一些说小微“直接读取聊天记录”、“偷看所有隐私”的帖子,都是失实的。小微还在内测中,欢迎大家继续提供宝贵的反馈意见。

9. AI能帮你过日子了?openAI发布AI智能生活新基准

0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
评论举报

最新文章 热门文章