现有视频生成模型难以实现实时交互与长时程一致性。TeleWorld模型通过统一的“生成-重建-引导”闭环框架，将视频生成、动态重建与长期记忆相结合，首次实现了每秒8帧速率下的高清4D视频实时生成，并在世界模型权威基准中排名第一，为构建可交互的动态数字世界提供了新可能。
智能速览
TeleWorld以每秒8帧速率实时生成960×1760高清视频。
该模型在WorldScores基准测试中静态与动态赛道均排名第一。
其核心是“生成-重建-引导”闭环框架，确保时空一致性。
采用宏微规划方法，通过稀疏关键帧维持长程记忆与稳定性。
精华内容
TeleWorld的突破源于其创新的系统架构与训练策略，它如何将生成、重建与引导融为一体，并实现高效推理，是实现实时世界建模的关键所在。
闭环框架
TeleWorld的核心是一个动态的“生成-重建-引导”闭环框架，该框架构建了一个实时、原生的四维世界表征。模型首先根据用户指令生成初始视频，随后进入迭代循环。在每一轮迭代中，系统处理用户的实时输入，重建上一轮的视频内容，并依据输入的相机姿态进行渲染，渲染结果将作为引导信息，指导新一轮的视频生成与运动合成。这个过程循环重复，生成与重建步骤实时进行，确保四维场景表征与不断演化的视觉内容完全同步。
宏微规划
为保证长时程一致性，TeleWorld引入了宏微规划方法。该方法分为两层：微规划在每个视频片段内，通过预测开始、中点和结束三个稀疏关键帧，为局部内容构建稳定锚点；宏规划则将这些片段顺序链接起来，前一个片段的末端帧成为下一个片段的初始帧，从而形成一条全局叙事线。通过这种分层链接，逐帧的自回归依赖关系被转换为稀疏的片段级规划，有效控制了误差传播，确保了长序列的稳定性。模型还采用抗漂移的重编码策略，进一步稳定了片段间的过渡。
高效推理
为达到实时性能，TeleWorld集成了多项加速技术。分布匹配蒸馏被应用于宏微规划之上，并结合并行化解码，在NVIDIA H100 GPU上实现了TeleWorld-18B模型8FPS的推理速度。研究团队还设计了新颖的流水线训练调度方案，通过重叠不同模型的计算过程，最大限度减少GPU空闲时间。此外，自适应工作负载调度策略与流式VAE的引入，使得模型能够以增量方式处理视频块，复用时间特征，显著降低了计算延迟与内存开销，最终实现了低延迟的流式视频生成。
评测领先
在权威的WorldScore基准测试中，TeleWorld与23个基线模型对比，在静态（WS-Static得分78.23）和动态（WS-Dynamic得分66.73）两个赛道均排名第一，显著优于其他模型。尤其在动态场景生成上，领先第二名多达7.61分。评估结果表明，TeleWorld在可控性、三维一致性、光度一致性和主观质量等方面均表现卓越。其出色的物体控制能力证明了模型能够维持一个隐式且持久的世界状态，确保了长序列中物体身份与布局的一致性，验证了其统一框架的有效性。
TeleWorld通过统一的4D世界建模，在实时性、一致性与可控性上取得了显著突破，为交互式AI应用奠定了基础。它证明了长视频生成和动态世界模拟的可行性。当AI能实时构建并响应一个动态世界时，我们的数字生活将迎来怎样的变革？
