OpenAI用3995人重做AI考试:会答题不等于能把生活办妥
CoinMeta
1小时前
Ai 焦点
“帮我找托儿服务”“搬家后给孩子选幼儿园”“给刚确诊糖尿病的家人安排第一周饮食”——这些问题很少出现在传统模型榜单里,却比解一道竞赛题更接近普通人每天愿意为AI付费的理由。OpenAI在11月2日发布LifeVal,试图把评测重点从知识问答转到日常任务是否真的完成。
有帮助
No.帮助

“帮我找托儿服务”“搬家后给孩子选幼儿园”“给刚确诊糖尿病的家人安排第一周饮食”——这些问题很少出现在传统模型榜单里,却比解一道竞赛题更接近普通人每天愿意为AI付费的理由。OpenAI在11月2日发布LifeVal,试图把评测重点从知识问答转到日常任务是否真的完成。

LifeVal的任务来源不是研究人员凭空列清单。团队先参考美国时间使用调查与跨国时间使用研究,再对3995名具有代表性的受访者做调查,询问人们最希望个人助理在哪些环节提供帮助。最后覆盖照护、健康、教育、家庭行政、个人财务、购物和政府服务等领域。

这个设计带来一个明显变化:模型不只要给建议,还要处理多步骤流程、使用浏览器和连接器、整理信息并留下可供用户确认的结果。比如比较附近幼儿园时,好的答案不是一段泛泛的选校原则,而是筛出符合位置与需求的候选,整理申请条件,并明确哪些偏好仍要由家长决定。

LifeVal考的是“交付状态”,不是漂亮回答

OpenAI展示的样例包括远程陪祖母看比赛、搬家找房、洪水前组织志愿者、制定照护与膳食计划等。页面给出的单项示例分数很高,例如幼儿园任务93.1%、洪水志愿者任务98.0%、找房任务100%,但这些是展示案例,不能拿来代表整个基准的平均水平,更不能推出模型已经能独立处理所有生活事务。

这些任务共同考验三件事。第一,模型要从模糊愿望里找出限制条件;第二,它要跨多个网页或工具完成操作;第三,它必须在该停下来的地方停下。涉及医疗、合同、政府申报或付款时,“已经替你做完”并不总是好事,保留用户确认往往才是合格交付。

这也是LifeVal比一般聊天测试更难的地方。答案写得流畅,只证明语言组织没有卡住;把正确材料放进正确流程,还要面对网页变化、权限、身份信息和现实世界的不确定性。模型可能知道怎么填表,却因为页面改版点错按钮;也可能找到三个选项,却漏掉家庭最在意的通勤条件。评测必须同时看结果、过程和边界。

日常任务评测仍有一块现实缺口

LifeVal把任务选择建立在时间使用数据和人群调查上,降低了“研究人员觉得重要”与“用户真正需要”之间的偏差。不过,网页和公共服务不断变化,不同地区的制度也不相同。今天能完成的流程,明天可能因登录方式、费用或政策更新而失效。这样的基准需要持续更新,不能像静态题库一样长期沿用。

另一个问题是代表性。3995人的调查能提供比小规模访谈更稳定的方向,但任何一次抽样都会受地区、收入、数字技能和家庭结构影响。对行动不便者、非母语用户或缺少稳定网络的人,任务难点可能完全不同。因此LifeVal更适合作为“日常帮助能力”的一张地图,而不是宣布某个统一分数覆盖了所有人的生活。

对产品团队而言,这套评测最有用的地方不是再造一张排行榜,而是改变功能优先级。浏览器控制、连接器、权限提示、失败恢复和结果确认,本来常被当作模型之外的工程细节;在真实生活任务里,它们恰恰决定一次帮助是否成立。

AI从聊天工具走向个人助理,真正的门槛不是回答越来越长,而是让人少跑一次窗口、少漏一张材料、少承担一次错误操作。LifeVal把“有用”拆成可以观察的任务,但最后的标准仍在用户手里:事情是否办妥,关键决定是否保留给本人,出了问题是否知道停在哪里。

这也会改变模型更新的评判方式。新版本即使在知识题上多拿几分,如果完成流程时更容易越权、遗漏限制或无法从网页错误中恢复,用户得到的帮助仍可能变差。把最终交付、必要确认和失败恢复一起计入,才接近个人助理真实的质量账本。

打赏
$0
点赞
0
收藏
0
浏览量 40
币界网提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击“举报”,我们会及时处理。
提交
评论 0
最热
最新
还没有人评论哦~快抢沙发吧!
相关阅读
FOF三季度持仓曝光:债券ETF成压舱石 黄金主题获青睐
据中证报,在2026年三季报披露完毕后,FOF最新持仓路径显示,其底层资产结构在三季度发生明显变化:债券ETF凭借高流动性和透明度,取代部分传统纯债基金成为核心底仓;同时,基金经理对黄金配置热情回升,而此前受追捧的科创主题基金则有所降温。
The Block
·2026-11-04 09:06:55
9
美主要股指涨跌互现 道指跌近两百点 纳指涨0.83% 英伟达涨2.29% 苹果财报不及预期 国际油价回落
周二美股三大股指涨跌互现,标普500结束三连跌,纳指涨0.83%。科技股和芯片股普遍反弹,苹果股价下跌1.90%,国际油价回落,布伦特原油跌1.12%。
The Block
·2026-11-04 08:57:50
16
AMD电话会:Q4数据中心AI收入将首次超过服务器CPU,预计2027年数据中心收入占比超80%
AMD在2026年第三季度实现营收133.77亿美元、同比增长45%,非GAAP每股收益2.09美元。公司在电话会上表示,第四季度数据中心AI业务收入将首次超过服务器CPU业务,预计2027年公司营收增长将超过80%,其中数据中心业务收入占比将超过80%,但同时预计PC市场出货量将出现两位数百分比下滑。
Wallstreetcn
·2026-11-04 08:57:48
8
谷歌回应取消全面禁用AI学校搜索功能所引发的政治反弹
谷歌周二回应外界对其学校AI新政策的批评。此前《纽约时报》报道称,若学校完全拒绝AI,谷歌将关闭其搜索功能,此举引发包括伯尼·桑德斯和纽约市长佐赫兰·马姆达尼在内的政界人士抨击。谷歌随后表示,Gemini 聊天机器人、Gemini Notebook 和搜索默认均为关闭状态,学校可自行决定是否启用。
CNBC
·2026-11-04 08:57:46
18
超微电脑Q1财季营收及业绩指引双双超预期,盘后大涨8%
超微电脑公布2027财年第一财季营收199亿美元,同比增长约3倍,远超市场预期;公司同时上调第二财季及全年营收指引。CEO称将继续扩大产能、提升系统可用性并降低成本,股价盘后上涨8%。
Wallstreetcn
·2026-11-04 08:57:44
8
查看更多