这项由Google DeepMind和北卡罗来纳大学教堂山分校合营的商榷发表于2026年3月25日，有兴趣深入了解的读者不错通过arXiv:2603.22529v1查询完整论文。

如果AI助手只可看懂电脑屏幕上的网页，却看不懂你目前的真实天下，那它能算是简直智能的助手吗？比如当你戴着AR眼镜看到一个满意的包包，却无法让AI帮你在网上找到并购买这个包包，这就像有了一个只会念书却不会不雅察现实的助理。Google DeepMind的商榷团队意志到了这个严重问题，他们发现目前来源进的网页AI助手王人存在一个致命蜿蜒：它们只可基于网页截图或翰墨辅导使命，十足脱离了用户的真实视觉环境。

为了惩处这个问题，商榷团队创建了一个名为Ego2Web的全新测试平台。这个平台就像一座桥梁，勾搭了第一东谈主称视角的视频领路和网页操作践诺。当咱们说第一东谈主称视角，指的即是从你我方眼睛看出去的画面，就像你戴着录像头纪录我方的泛泛生存一样。商榷团队采集了500个这么的视频-任务对，涵盖了从购物网站到舆图做事的各式真实场景。

更遑急的是，他们还开发了一套名为Ego2WebJudge的自动评估系统。这个系统就像一个绝顶严格的考官，概况判断AI是否简直领路了视频中的内容，并在网页上正确完成了相应任务。这套评估系统与东谈主类大师的判断一致性高达84%，远超现存的评估方法。

一、从生存场景到网页任务的完好意思和会

当你在超市里提起第四个零食，然后想在亚马逊上搜检它的养分信息时，这听起来很简陋，但对AI来说却是一个庞杂的挑战。商榷团队发现，现存的AI助手就像只会在考试中作念题的学生，一朝碰到需要荟萃现实不雅察和蚁集操作的任务就无法可想。

Ego2Web平台就像一个教训营，专门教训AI如安在这种复杂情况下使命。通盘过程不错分为两个枢纽要领：最初是视觉感知和定位，AI需要从第一东谈主称视频中准确识别相关的视觉足迹，比如零食的品牌、神志或其他视觉特征。其次是网页践诺推理，根据视频中赢得的信息，AI需要考虑并践诺一系列网页操作来完成任务，比如导航到网站、搜索、滚动页面、点击按钮等。

通盘测试被遐想得绝顶严格：只好当最终的网页情状与贪图十足匹配时，AI才算得胜完成了任务。这就像要求一个学生不仅要领路题目，还要给出十足正确的谜底，不允许有任何偏差。

商榷团队将这些任务分为五个主要类别。电子商务任务是最大的类别，占了总额的50.3%，这类任务要求AI识别视频中的物品，然后在购物网站上找到疏通或相关的居品。媒体检索任务占24.1%，要求AI根据视频中看到的步履或事件，在YouTube等平台上找到相关的教程或内容。常识查询任务占17%，主若是让AI识别视频中的品牌或地标，然后在维基百科等常识平台上查找相关信息。土产货舆图做事占6%，要求AI识别视频中的场地信息，然后在舆图做事中定位。其他类型的任务占2.6%，包括一些稀薄的应用场景。

二、智能数据生成：让机器学会不雅察天下

创建这么一个测试平台最大的挑战是怎样生成高质料的视频-任务配对。商榷团队遐想了一个奥密的半自动化过程，就像一个高效的内容创作工场。

通盘过程从经心经营的第一东谈主称视频库驱动。商榷团队从公开的第一东谈主称视频数据集会聘请素材，这些视频纪录了东谈主们在各式真实场景中的步履，从家庭环境到购物场面，从办公室到旅行景点。每个视频王人像一个小故事，纪录着录像头捎带者与周围环境的互动。

然后，商榷团队使用了一个坚硬的多模态大讲话模子来分析这些视频。这个AI分析师会仔细不雅察每个5秒钟的视频片断，就像一个戒备的不雅察者，纪录下全局场景配景和局部物体细节。比如，它会戒备到"一个东谈主在厨房掀开雪柜，拿出一瓶绿色的可乐"，并翔实面孔可乐的品牌、神志和其他可见特征。系数这些片断面孔被整理成一个结构化的视频档案，就像为每个视频开采了一份翔实的"身份证"。

有了视频档案后，另一个AI考虑师会根据这些信息和预界说的热点网站列表来构念念任务辅导。这个考虑师的使命就像一个创意编剧，它需要确保生成的任务必须明确依赖视频中的视觉内容，况且概况在指定的网站上践诺。比如，看到视频中有东谈主提起特定品牌的咖啡后，它可能会生成"在亚马逊上找到相似的咖啡并论说其价钱"这么的任务。

临了，东谈主类大师会对每个自动生成的视频-任务对进行严格的质料查验。这些大师就像严格的裁剪，他们从三个角度评估每个样本：视觉依赖性，确保任务如实需要依赖视频中可见的信息；网页可行性，确保任务概况在贪图网站上推行践诺；辅导质料，确保生成的任务辅导领会且语法正确。只好通过系数查验的高质料样本才会被纳入最终的测试平台。

这种混杂式的过程使商榷团队概况高效地创建出500个经过考证的高质料视频-任务对，涵盖了多个热点网站和各式交互类型，确保了测试平台的千般性和真实性。

三、立异性评估系统：让AI当我方的考官

传统的网页AI测试方法就像只看学生的功课本，却不知谈题目是什么。商榷团队意志到，既然任务需要荟萃视频领路和网页操作，评估方法也必须同期磋议这两个方面。于是他们开发了Ego2WebJudge，这是一个概况"看懂"视频并"领路"网页操作的智能评估系统。

Ego2WebJudge的使命过程就像一个绝顶仔细的考官。最初，它会根据任务辅导索求枢纽评分点，明确界说得胜完成任务需要达到的具体要求，比如找到特定物品、定位到正确位置或获取准确属性等。接着，它会从AI践诺的通盘操作序列中筛选出最遑急的网页截图。由于网页操作轨迹可能包含5到20个要领，其中许多是无关的页面加载、后退操作或界面造作，平直把系数截图王人输入评估模子会导致信息过载和判断质料下落。因此这个筛选过程就像从一堆像片中挑出最遑急的几张，让评估愈加精确高效。

临了，多模态评估模子会概括磋议任务辅导、筛选出的枢纽截图、AI的操作历史和预界说的评分重点，再荟萃从第一东谈主称视频中索求的枢纽帧，来判断AI是否得胜完成了任务。这个过程突出强调视觉一致性，也即是说，网页上的最终收尾必须与视频中不雅察到的内容在视觉上保持一致，比如匹配物体、场景或品牌等。

这套评估系统的严格进程超出了东谈主们的遐想。它不会因为AI的翰墨声明、网页标题、搜索查询或者幼稚相关的匹配就给出好评。相背，它对峙"宁可错杀，不行放过"的原则，任何存在不坚信性、纰漏肠、不匹配或枯竭视觉字据的情况王人会被判定为失败。这种严格尺度确保了评估收尾的可靠性和准确性。

实考解说，Ego2WebJudge与东谈主类大师判断的一致性达到了84%，显赫优于现存的自动评估方法。这意味着这个AI考官也曾概况像东谈主类大师一样准确判断复杂的视觉网页任务，为大限度评估提供了可靠且可彭胀的惩处有考虑。

四、现实锻真金不怕火：顶尖AI的证据怎样

商榷团队聘请了六个现时来源进的网页AI助手来测试Ego2Web平台，收尾令东谈主深念念。这些AI助手包括学术界的SeeAct和工业界的明星居品，比如Browser Use配合GPT-4.1、Claude Computer-Use等。测试就像让这些AI学霸干涉一次史上最难的概括考试。

测试收尾线路，即使是证据最佳的Browser Use配合Gemini-3-Flash，在东谈主类大师评估中也只达到了58.6%的得胜率，与守望的满分证据还有约40%的庞杂差距。这个收尾就像发现即使是最优秀的学生，在面对需要同期期骗不雅察才气和实践技巧的概括测试时，仍然有很大的擢升起间。

更真义的是，不同AI助手的证据各别很猛进程上取决于它们处理视觉输入的花样。那些概况平直处理原始视频的AI助手，比如基于Gemini的系统，证据明显优于那些只可通过翰墨面孔领路视频内容的系统。这就像比较一个能亲眼看到现场情况的眼见者和一个只听别东谈主转述的东谈主，前者明显能赢得更准确、更丰富的信息。

商榷团队还发现了一个遑急划定：不同类型任务的难度各别很大。常识查询任务相对最容易，平均得胜率达到50%，这可能是因为这类任务波及的内容相对结构化，贪图相对明确。比拟之下，土产货舆图做事和电子商务任务更具挑战性，离别只好23.1%和21.7%的平均得胜率，这主若是因为这些任务波及动态界面和多步交互，对AI的概括才气要求更高。

通过深入分析50个失败案例，商榷团队发现了AI助手的几个主要问题。物体识别造作占了36%，AI时常无法正确识别视频中的贪图物体，导致检索或交互时针对造作的物品。时候和行为领路造作占18%，AI在领路视频中的时候方法或行为序列时经常出错，比如污染第二次和第三次交互。跨模态检索失败占16%，诚然AI正确识别了贪图物体，但无法在网页上找到所需信息。粗粒度匹配造作占12%，AI检索到语义相似但推行造作的收尾。其他类型失败占18%，包括辅导领路造作、考虑成果低下或外部截至如考证码等。

五、视觉领路的枢纽作用

为了考证视觉信息在这类任务中的遑急性，商榷团队进行了一个突出真义的对比实验。他们让并吞个AI助手在三种不同输入条款下完成疏通任务：十足莫得视觉信息、只好翔实的翰墨面孔、以及原始视频输入。

收尾就像考证了"千闻不如一见"这句古话的科学版块。在莫得任何视觉输入的情况下，AI的证据极其灾祸，总得胜率只好4.4%，这评释精练基于讲话的信号对惩处这类视觉相关的网页任务是远远不够的。当提供翔实的视频翰墨面孔后，AI的证据存了显赫改善，得胜率上涨到23.6%，这解说结构化的翰墨摘要概况部分捕捉相关的语义信息。

但是，当AI概况平直处理原始视频输入时，性能出现了质的飞跃，达到48.2%的得胜率，比翰墨面孔版块提高了一倍多。这种趋势在系数任务类别中王人保持一致，突出是在常识查询任务中，从39.1%跃升到75%，在土产货舆图任务中从38.7%擢升到48.3%，这些王人是需要精确空间和时候足迹的任务类型。

这些发现揭示了一个领会的性能档次：无视觉输入

这项商榷明晰地解说了简直的视觉感知关于第一东谈主称网页助手任务的遑急性，也评释基于翰墨的替代有考虑无法替代原始视频领路的丰富性和准确性。

六、时代冲破的长远意旨

Ego2Web平台的创建不单是是一个时代演示，它代表了东谈主工智能发展的一个遑急更动点。传统的AI助手就像生存在二维天下的住户，只可领路屏幕上的平面信息，而这项商榷初度让AI概况简直"睁开眼睛"看天下，然后基于所见来践诺复杂的蚁集任务。

这种才气的竣事依赖于几个枢纽时代的冲破。最初是多模态领路才气的显赫擢升，AI需要同期处理视频、图像和文本信息，并在这些不同模态之间开采成心旨的勾搭。其次是时空推理才气的发展，AI必须概况领路视频中事件的时候方法和空间关系，这比简陋的图像识别复杂得多。临了是跨模态检索和匹配时代的逾越，AI需要将从真实天下不雅察到的物体或场景，与蚁集上的数字化信息进行准确匹配。

商榷团队开发的自动化数据生成过程也具有遑急的方法讲价值。这种荟萃AI自动生成和东谈主工考证的混杂模式，为创建大限度、高质料的多模态数据集提供了一个可行的范式。这种方法既保证了数据的千般性和限度，又确保了质料和真实性，这关于教训更坚硬的多模态AI系统具有遑急意旨。

Ego2WebJudge评估系统的得胜也展示了AI在自动化评估界限的后劲。传统的东谈主工评估诚然准确，但资本高、速率慢，难以守旧大限度的模子迭代和校正。这种高度一致的自动评估系统不仅缩短了评估资本，还使得快速、大限度的模子测试成为可能，从而加快了通盘界限的商榷进展。

从应用远景来看，这项商榷为将来的智能助手面孔了一个令东谈主快活的愿景。用户将概况通过AR眼镜或其他可穿着开采，让AI助手平直不雅察他们的真实环境，然后无缝地践诺相关的蚁集任务。比如，看到一件满意的衣服后立即找到购打通顺，碰到不融会的地标后自动获取相关信息，或者根据正在进行的步履自动搜索相关的教程视频。

这种才气的普及将透顶改动东谈主机交互的花样，使AI助手从被迫的信息检索器用妥协为主动的、情境感知的智能伙伴。用户不再需要手动面孔他们所看到的内愉快想要完成的任务，AI概况平直领路用户的视觉环境并提供相应的匡助。

七、挑战与将来发展标的

诚然Ego2Web平台展示了慷慨东谈主心的可能性，但商榷收尾也明晰地揭示了现时AI系统的局限性。即使是来源进的系统，在这个相对简化的测试环境中也只可达到不到60%的得胜率，这评释在真实天下的复杂应用中还有很长的路要走。

目前AI系统靠近的主要挑战不错分为几个层面。在感知层面，AI仍然难以准确识别复杂场景中的特定物体，突出是当这些物体部分遮拦、光照条款欠安或角度稀薄时。在领路层面，AI对时候序列和因果关系的把抓还不够准确，时常污染事件的先后方法或歪曲行为的含义。在推理层面，AI在将视觉不雅察回荡为具体步履考虑时经常出错，梗阻东谈主类那种直观性的守望才气。

时代竣事方面也存在不少挑战。视频处理需要大王人的规划资源，突出是当需要及时处理高质料视频时。不同网站的界面遐想和交互模式天悬地隔，AI需要具备坚硬的泛化才气才能顺应这种千般性。秘密和安全问题也拒接惨酷，用户的第一东谈主称视频可能包含大王人敏锐信息，如安在保护秘密的前提下提供智能做事是一个遑急课题。

从商榷标的来看，将来的发展可能会集会在几个枢纽界限。最初是更坚硬的多模态和会时代，概况更好地整合视觉、听觉和其他传感器信息。其次是更智能的高下文领路才气，AI需要概况领路用户的弥远贪图和即时需求。再次是更高效的学习机制，AI应该概况从极少样本中快速学习新的任务和场景。

推行应用的扩充也靠近诸多挑战。硬件开采需要变得愈加轻便、电板续航更长、资本更低。软件系统需要愈加巩固可靠，概况处理各式特地情况。用户禁受度亦然一个遑急成分，需要通过不休改善用户体验息争说实用价值来赢得用户信任。

尽管靠近这些挑战，Ego2Web平台的得胜创建也曾为通盘界限指明了标的。它不仅提供了一个尺度化的测试环境，还展示了将真实天下不雅察与数字化步履相荟萃的可行性。跟着时代的不休逾越和更多商榷者的参与，咱们有事理信赖，这种概况简直"看懂"天下的AI助手将在不久的将来成为现实。

说到底，这项商榷最遑急的孝敬不是某个特定的算法或系统，而是为AI商榷开辟了一个全新的标的。它让咱们看到，简直智能的AI助手不应该只是一个高档的搜索引擎或文本处理器，而应该是一个概况不雅察、领路并在真实天下中步履的智能伙伴。Ego2Web平台就像一个通往这个将来的桥梁，诚然咱们还在桥的起初，但贪图也曾领会可见。关于每个期待更智能、更当然东谈主机交互的东谈主来说，这项商榷王人值得咱们密切温雅后来续发展。有兴趣深入了解时代细节的读者，不错通过arXiv:2603.22529v1查询完整的商榷论文。

Q&A

Q1：Ego2Web平台是什么，它惩处了什么问题？

A：Ego2Web是Google DeepMind开发的AI测试平台，专门教训AI同期领路第一东谈主称视频和践诺网页操作。它惩处了现存AI助手只可看懂网页截图、无法领路用户真实视觉环境的问题，让AI概况看懂你目前的天下，然后在网上完成相关任务。

Q2：为什么目前来源进的AI在Ego2Web测试中证据不好？

A：即使最佳的AI系统也只好不到60%的得胜率，主要因为三个问题：物体识别时常出错，时候方法领路有偏差，无法准确将视频中看到的内容与网页信息匹配。这评释让AI简直"看懂"天下并收受步履比遐想中艰珍惜多。

Q3：Ego2Web时代什么时候能在泛泛生存中使用？

A：目前还处于商榷阶段，需要惩处规划资源、秘密保护、硬件资本等多个问题。不外这项商榷也曾指明了发展标的欧洲杯体育，跟着时代逾越，将来几年内咱们可能会看到访佛功能在AR眼镜或智高东谈主机上的初步应用。