ARTICLE / DEEP READING

资讯中心

记录重要内容,保留清晰观点,让每一次深入阅读都能获得新的启发。

意昂体育(中国)官网 - 比赛有终点,看点没有 资讯中心 看视频、建世界、做实验:清华Asking the World让AI用物理回答问题
看视频、建世界、做实验:清华Asking the World让AI用物理回答问题文章配图
READ
IN DEPTH

FEATURED ARTICLE

看视频、建世界、做实验:清华Asking the World让AI用物理回答问题

意昂体育整理如下:

AI 能逼真地 “搭出” 一个世界,就能准确预测它如何运转吗?

GPT-6 Astra 展现出的场景建模能力令人印象深刻。

但几何与外观的逼真还原,并不意味着对物理规律的准确把握。

避免物体穿模、借助语义先验估计物理属性,与准确推演物体运动之间,仍有距离。

后者还需要进一步识别质量、摩擦系数和阻尼等难以仅凭外观确定的属性与参数。

从还原外观到推演运动,AI 还要跨过一道 “物理关”。

清华大学团队提出的Asking the World(ATW)框架,让 AI 根据视频自主构建可运行的物理仿真世界,再通过属性查询、运动仿真和条件干预获取证据,回答物理属性、运动预测及反事实推理等问题。

以 Gemini-3-Flash 为基座模型,ATW 在 CLEVRER 和 ContPhy 两项物理推理基准上的整体准确率分别达到80.

82%和70.

56%,相较于直接根据视频回答,分别提升46.

50和28.

10个百分点。

作为团队PhysMind 的续作,ATW 继承了 “从视频恢复物理世界,再通过实验开展推理” 的思路,进一步让智能体决定如何建模、开展哪些实验,并将方法拓展至更多材料和物理场景。

这套方法无需额外训练或微调,也提供了更经济的模型选择:相比 Astra,Gemini-3-Flash 这类视觉语言模型的调用成本低得多。

ATW 由视觉语言模型理解问题、选择操作,再由物理工具计算运动。

01|从视频恢复可执行的物理世界 ATW 的方法基础来自团队此前的工作 PhysMind。

about image

它从视频恢复几何、运动与物理参数,建立能够继续仿真,也允许修改条件的 “可执行世界”。

例如,移走视频中的球体,哪些碰撞仍会发生?

原视频没有给出答案。

PhysMind 会在重建场景中移除球体,重新运行仿真,依据轨迹和碰撞事件作答。

图 1:PhysMind 通过修改重建场景并运行仿真,为 “移走球体后哪些碰撞仍会发生” 提供判断依据。

要构建这样的世界,PhysMind 先识别物体、恢复形状与运动轨迹,再结合地面和支撑关系校正结果。

物体滑行时的减速、碰撞前后的速度变化,则为估计摩擦和质量关系提供线索。

系统利用连续时间解析方法估计摩擦、质量比例和碰撞恢复系数等物理参数,使仿真尽可能符合观测。

这一过程称为 “系统辨识”。

同一段视频只需建模一次,后续多个问题便可复用。

图 2:PhysMind 整体流程,包括几何与运动恢复、物理参数估计,以及通过查询、仿真和干预获取推理依据。

ATW 沿用这一思路,进一步拓展:面对不同场景和任务,如何让 AI 自主选择合适的建模方式,并决定用什么实验获取答案?

02|从建模到实验,由智能体自主决策 物理属性判断可能仅需读取参数,预测则需要延长仿真。

任务不同,需要关注的物体、调用的工具和获取的证据也不同。

ATW 把问题需求引入世界构建,并将过程分为“世界建模”与“世界探测”两个阶段。

在 “世界建模” 阶段,智能体选择相关物体和物理模型,调用合适的视觉工具恢复几何与运动,再拟合物理参数。

它会检查中间结果,根据反馈调整感知、模型选择或参数估计。

论文中的台球案例展示了这一过程:发现黄色球未被分割后,智能体补充检测,再继续后续步骤。

完成建模后,智能体进入 “世界探测” 阶段。

判断物理属性,可以查询拟合参数;

预测未来,可以继续仿真;

回答反事实问题,则复制场景、施加干预。

如果证据不足,它会进一步查询轨迹或开展新的实验。

图 3:ATW 根据任务与反馈选择操作,包括修正物体漏检、移除棕色球和查询碰撞事件。

不同实验基于同一个已校准的世界,分别保留结果供比较。

智能体在这一基础上推演不同条件下的运动,并依据轨迹与事件作答。

03|拓展至多种材料与物理场景 ATW 的另一项进展,是从刚体碰撞拓展到更多材料。

布料会弯折,流体会流动,还可能与其他物体相互作用,需要相应的物理模型。

为此,团队开发了PolyWorld Engine,一套供智能体使用的物理仿真引擎。

它基于Warp构建,涵盖刚体、软体、布料、绳索、流体及其耦合交互。

智能体可以通过统一接口构建场景、读取状态、推进仿真和施加干预。

图 4:ATW 将统一的建模与实验推理方法应用于刚体、流体和布料等场景。

所构建场景仍需与视频观测对齐。

ATW 通过搜索参数、比较仿真与观测差异,校准运动与形变。

对于可变形物体,还会比较形状、表面或中心线随时间的变化。

如果偏差来自物体对应关系或物理模型选择,智能体可在建模阶段修正,再重新拟合。

04|重建世界是否有效,用物理推理任务检验 复现视频中的运动,还不足以说明重建世界是“物理可信”的。

团队因此用物理推理任务验证 ATW:让它预测视频结束后的事件、判断改变条件后的结果,检验恢复出的动力学能否帮助 AI 答对问题。

在 CLEVRER 上,以 Gemini-3-Flash 为

更多赛事消息,关注意昂体育。

SHARE THIS IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

TRENDING STORIES

热点新闻

老马丁:看不下去当今NBA 恩比德&字母哥本可像鲨鱼一样统治内线

老马丁:看不下去当今NBA 恩比德&字母哥本可像鲨鱼一样统治内线

直播吧11月13日讯 近日,前NBA状元肯扬·马丁在《TFU Podcast》节目中谈到了现代NBA的打法变化。 马丁表示:“有句老话,你无法通过训练让一个人变得更高。我的观点一直是,球员身材越高大,打篮球就应该越容易。你可以不断开发三分投篮,但如果你是一名大个子,就应该能够统治禁区。对我来说,拿到两分始终比投进三分更容易。现在有些比赛我根本不看直播,只看某些特定球员的比赛。我见过有中锋在进攻端面

白崇禧晚年谈论各路将帅,冷冷地甩出一句:真正懂打仗的不过3人,其余的是仗着人多撑场面

白崇禧晚年谈论各路将帅,冷冷地甩出一句:真正懂打仗的不过3人,其余的是仗着人多撑场面

能真正看透战争精髓的统帅仅有三人,剩下一众将领,不过是依靠兵力规模虚撑声势而已! 晚年迁居台北的白崇禧,身处严密监控之下,境遇落魄。面对研究人员的采访,他吐出这句冰冷的评价。这位当年威名赫赫、人称 “小诸葛” 的军事家,一生和无数精兵悍将打过交道,为何会全盘否定国民党一众名将?在他眼中,究竟是哪三位统帅深谙用兵之道,配得上战神之称?又是哪一场规模宏大、战况惨烈的战略决战,戳破了国民党军号称百万雄兵

台军老兵曾叮嘱儿子:若两岸开战,一枪干掉令你冲锋的长官

台军老兵曾叮嘱儿子:若两岸开战,一枪干掉令你冲锋的长官

2020 年 9 月 30 日,《环球时报》登过一篇采访,受访的是一位匿名的台军老兵。他对着自己在军中服役的儿子,说了这么一句:两岸真开打,长官逼你往上冲,先把那个逼你送命的人解决掉,然后放下枪。 话说得够狠。可真正让人记住的,不是这股狠劲,而是它撞上的那个老问题 —— 台军还剩多少愿意打的心思,又能撑起多大一场抵抗。 说这话的人不是站在旁边看热闹的。上世纪八十年代他在营区里出过操、上过靶场,还唱

传苹果20周年纪念版iPhone Pro将采用全新圆润设计 延续iPhone Air风格

传苹果20周年纪念版iPhone Pro将采用全新圆润设计 延续iPhone Air风格

有关苹果20周年纪念版iPhone的外观设计近日再度传出新消息。最新爆料显示,苹果或将在未来推出的iPhone 20 Pro上采用与iPhone Air相似的设计理念,以更具未来感的全玻璃机身和更圆润的曲面造型作为主要特色。 消息来源Fixed Focus Digital此前曾表示,标准版iPhone 20将在整体设计上大量参考iPhone Air的外观方案。而最新说法进一步指出,高端型号iPho

令人窒息的“华尔街白领带妈妈旅游最后一天闹翻”,有毒父母对孩子的伤害在多大?

令人窒息的“华尔街白领带妈妈旅游最后一天闹翻”,有毒父母对孩子的伤害在多大?

一个女孩子 26岁 ,常青藤名校毕业之后,在美国华尔街投行工作。这份履历非常光鲜亮丽,在很多妈妈眼中,就是别人家优秀的女儿。但就是这样一个优秀的女儿,在妈妈眼中却一无是处。 妈妈甚至跟她说: “为什么你爸死了不是我死的?我跟你遭这个罪,摊上你这个女儿真是遭老罪了。但凡别的妈妈摊上你这种女儿都会疯掉,我真是造孽。” 原来这个女儿工作非常忙碌,正好这段时间想跳槽到另一份工作,又想着妈妈辛辛苦苦养大自己