本文第一作家为西湖大学科研助理蔺聪明，通信作家为阿里巴巴达摩院算法群众黄想腾和西湖大学东谈主工智能系副主任王东林。扫数作家均来自西湖大学机器智能实验室（MiLAB）和西湖机器东谈主科技有限公司，团队责任 ReconVLA 近期获取 AAAI 2026 最好论文奖。

具身智能要想真确在复杂场景中落地，离不开对长程任务（Long-horizon tasks）的踏实奉行。酌量词，现存的 VLA（视觉-话语-动作）模子大多停留在「动作效法」阶段，穷乏对物理宇宙动态变换的真切浮现，在长线操作中极易堕入因果羞耻；同期，传统通过平直堆叠多帧图像来引入本事维度的模范，不仅容易引入多数静态配景冗余，更会带来不幸性的推理延伸与显存溢出。

为料理上述挑战，来自西湖大学、浙江大学、西湖机器东谈主等机构的护士团队提议了一种以指引（Motion）为中心的全新双向时空推理框架 HiF-VLA。烧毁冗余的像素级输入，HiF-VLA 秘籍索取低维紧凑的 Motion 向量行动动态先验，在一个更始的「都集群众」模块中，同步完成改日视觉指引的展望与高精度动作序列的生成。

比较传统的时空建圭臬式，HiF-VLA 透澈甩掉了不消的视觉配景阻扰，不仅在极长的历史不雅测窗口下依然保抓了恒定、极低的推理延伸，更赋予了机器东谈主真确「边想边作念」的物理直观。在 CALVIN 与 LIBERO-LONG 等长程任务评测中，其到手率显赫杰出现存 SOTA 模范，为构建真确浮现宇宙来源律例的 WAM（宇宙动作模子）设备了全新旅途。

面前，该责任已被 CVPR 2026 继承，代码已开源。

论文地址：HiF-VLA: Hindsight， Insight and Foresight through Motion Representation for Vision-Language-Action Models

01 护士动机：

从「动作效法」到「浮现物理宇宙」

刻下主流的 VLA（视觉-话语-动作）模子，本色上大多是高等的「动作效法」。它们继承刻下的图像不雅测，平直映射出对应的动作。

这种范式在短视距任务中尚可吩咐，但在奉行长程任务时却屡屡翻车。为什么？因为模子穷乏对物理宇宙「动态变化」的浮现。它们不知谈我方刚才作念了什么，也无法预判刻下动作会对环境产生奈何的影响，从而极易堕入因果羞耻。

要突破这种「短视」魔咒，模子必须从单纯的「动作效法」走向「物理浮现」。这就条目咱们引入 World Action Model (WAM) 的见解——智能体不仅要会「作念」，还要能在脑海中「想」（推演环境的变化）。

若何赋予机器东谈主「边想边作念」的时空推贤达力？最直不雅的想法是把往常帧和改日帧的图像通盘塞进大模子里。但践诺是骨感的：图像级别的时空建模不仅会导致算力爆炸，还会引入多数的静态配景冗余，使得关节的物理变化被澌灭。HiF-VLA 团队找到了一个高效的切入点：指引（Motion）。

02 核心决议：

HiF-VLA 的「三位一体」时空推理

比较于冗余的像素，Motion 是捕捉物理宇宙动态演变最地谈、最高效、最本色的表征。以 Motion 为中心，HiF-VLA 构建了一个名为 Hindsight-Insight-Foresight (HiF) 的双向时空推理框架。

1. Hindsight（后见之明）：突破马尔可夫假定的「驰念锚点」

智能体必须领有连贯的自我领略。HiF-VLA 将机器东谈主往常的历史帧通过视频编解码器（H.264、MPEG-4 等）索取为低维且紧凑的 Motion 动态先验。这就像给机器东谈主植入了一个驰念核心，它不需要回看往常的摄像，就能精确感知到「环境刚刚资格了奈何的指引变化」。这个历史高下文，是后续一切推理的基石。

2. Insight（瞻念察当今）和 Foresight（预知之明）：走向 WAM 的「全知视角」

真确的智能，既需要扎根当下，更需要预判改日。在 HiF-VLA 框架中，这两个智力被完满解耦又精细交汇，共同组成了迈向 WAM（宇宙动作模子）的核心：

Insight（瞻念察当今）：风雅深度理会刻下的话语领导和及时视觉不雅测，让机器东谈主感知「我此时此刻靠近的是什么环境，需要完成什么具体标的」。

Foresight（猜度改日）：基于当下的 Insight，HiF-VLA 在输移动作的同期，会初形势展望改日的指引趋势。这额外于在模子里面镶嵌了一个诬捏物理模拟器，开云体育(中国)2026世界杯官方IOS|Android手机app下载让机器东谈主大要提前推演本身的举止后果。

3. 深度对都：视觉与动作的协同展望

这是 HiF-VLA 最为核心、也最出彩的更始——历史调制的都集群众（Hindsight-modulated joint expert）。若是说 Hindsight 和 Foresight 拉长了本事轴，那么都集群众模块则篡改了模子的生成标的。HiF-VLA 觉得，视觉与动作的割裂是结巴模子浮现物理律例的绊脚石，因此策动的都集群众模块毫不是绵薄地将视觉特征和话语领导拼接，而是奉行了一个双标的协同的战略：

视觉 Motion 展望 + 动作序列生成：都集群众在历史信息（Hindsight）的动态调制下，被强制条目同期输出对改日视觉 Motion 的展望以及高精度的奉行动作序列。

为什么这很蹙迫？这种双标的的都集对都，抑制模子弗成只死记硬背动作，而是必须去浮现「我输出这个动作后，物理宇宙的视觉表征会发生奈何的动态变换」。

通过将「展望改日视觉变化（想）」与「规划动作序列（作念）」深度绑定，HiF-VLA 罢了了真确的 Think-while-acting（边想边作念）。它不再是盲目地效法群众轨迹，而是产生了确切的「物理直观」。

03 实验抛弃

❓ Q1：HiF-VLA 与 SOTA 的 VLA 模子比较较若何？

HiF-VLA 在千般化的短程和长程任务中展现出了巨大的智力。

团队尤其温雅 HiF-VLA 在长程任务上的证明。在 LIBERO-LONG 任务套件以及 CALVIN ABC-D 长程任务评测中，HiF-VLA 的证明显赫优于诸多 SOTA 模范。同期，在确切宇宙的长程任务测试中，HiF-VLA 也展现出愈加踏实且优厚的任务完成性能（更多详备想法请参阅原论文）。

❓ Q2：HiF-VLA 是否灵验地缓解了传统模范中的视觉冗余和低效问题？

❌ 传统作念法的逆境：当绵薄凶残地将历史多帧图像塞给模子时，显存霎时爆炸。峰值 GPU 显存平直翻倍飙升至 63.6 GB（涨幅 2.06 倍），推理延伸更是暴增到 229.5 ms（高达 3.15 倍）。更令东谈主窒息的是，由于引入了海量冗余的静态配景噪声，模子反而被阻扰了视野，平均到手率（Avg. SR）不升反降。

HiF-VLA 的料理决议：HiF-VLA 秘籍地将历史帧编码为低维、结构化的指引向量。引入 Hindsight 模块后，模子面对相通长度的历史窗口，峰值显存只是保管在 31.4 GB，相较于 Baseline 险些作念到了「零包袱」（仅增多极轻微的 1.02 倍支拨）。同期，推理延伸（117.7 ms）也远低于传统堆叠模范。最蹙迫的是，在剔除了视觉冗余后，它让模子能专注浮现物理指引，到手将平均到手率大幅栽培。

❓ Q3：跟着本事跨度的增多，HiF-VLA 在推理时的可推广性若何？

停止指数级本钱增长，突破长序列规划瓶颈。

从推理恶果对比图不错直不雅看出，跟着历史本事跨度的增多，传统堆叠图像帧的模范会遭受指数级的规划延伸暴涨致使显存溢出（OOM）。而 HiF-VLA 凭借索取低维紧凑的 Motion 特征，透澈突破了长序列推理的规划瓶颈，跟着历史不雅测窗口变长，都耐久保抓踏实且极低的推理延伸，展现出了在处理长程动态变换时巨大的本事可推广性。

❓ Q4：HiF-VLA 所谓的「边想边作念」究竟是奈何的流程？

闻名不如一见：motion 展望与 action 奉行的时空高度吻合。

从可视化抛弃中不错看到，HiF-VLA 在奉行动作的归并时刻，其里面都集群众模块仍是精确展望出了由红色箭头标识的改日视觉体育场。这有劲地讲明了模子并非在盲目背诵领导，而是真确罢了了「边想边作念」。它能了了地预判本身动作将激发环境中奈何的物理动态变换，从而在复杂任务中展现出精确的「物理直观」。

04 回来

从机械的「动作效法」进化为浮现物理律例的「宇宙动作模子（WAM）」开云体育，HiF-VLA 迈出了至关蹙迫的一步。它讲明了机器东谈主的动作不应只是对领导的盲目反馈，而应当是在对往常的瞻念察与对改日的预判交汇下，自酌量词然的物理反馈。关于具身智能走向更复杂、更确切的物理宇宙，HiF-VLA 无疑提供了一个极具后劲和启发性的全新范式。