什么值得买App

我的兴趣消费指南

什么值得买
连续签到专享现金活动

理想基于OpenClaw开发的Agent将用于座舱/智驾/具身智能/AI眼镜

2026年3月23日,理想公司MindGPT-ov团队发布了StreamingClaw技术报告。这是一个基于OpenClaw开发的统一Agent框架,专为流式视频理解与具身智能设计,与OpenClaw完全兼容。该框架旨在解决当前智能体在复杂环境中能力碎片化、缺乏实时闭环等瓶颈,在具身智能与自动驾驶领域展现出广阔的应用前景。
01技术背景与核心能力
具身智能、自动驾驶及智能座舱高度依赖感知-决策-动作的实时闭环,对流式视频理解提出了极高要求。目前主流Agent多存在仅支持离线视频理解、缺乏长时多模态记忆机制、难以实现实时推理与主动交互等缺陷,制约了其在现实环境中的部署。StreamingClaw针对上述问题构建了四大核心能力。
  1. 实时流式推理
    支持原生实时、多模态流式交互,确保数据处理与决策的即时性。
  2. 未来事件推理与主动交互
    具备对未来事件的预判能力,支持在交互目标在线演化下的主动交互。
  3. 多模态长时记忆
    提供层次化记忆演化、高效记忆检索与Multi-agents记忆机制,支持长时信息存储。
  4. 感知-决策-动作闭环
    专为真实物理环境定制,包含流式工具与动作中心Skills。
02三大应用场景落地
StreamingClaw框架已在智能座舱、具身机器人及AI眼镜三大场景中验证了其实时流式感知与闭环控制能力。

应用场景能力矩阵

智能座舱

具身车辆驾驶员监控系统

  • 触发场景:驾驶员低头、使用手机、视线偏移;驾驶员打哈欠;驾驶员闭眼。
  • 分级警报:闭眼触发疲劳状态2(最高级);打哈欠触发疲劳状态1;分心行为触发0级警报。
  • 输出格式:{"name": "driver_fatigue_warning", "required": ["fatigue_state"]}
具身机器人

家庭护理与应急响应

  • 触发场景:检测到人员摔倒;收到拨打紧急电话的请求。
  • 干预流程:主动发起关怀询问评估状况;危急时升级拨打预设紧急联系人。
  • 输出格式:{"name": "dial_emergency_number", "required": ["phone_num"]}
AI眼镜

实时教育辅导

  • 触发场景:收到解题、翻译、文献检索查询;收到主动交互需求。
  • 功能支持:第一视角下的解题指导、即时翻译、个性化主动交互节点创建。
  • 输出格式:{"name": "solve_problems", "required": ["query"]}
03局限性与未来规划
目前StreamingClaw主要遵循视觉加文本的输入范式,语音主要作为输出渠道。对于音频输入,如音视频同步理解、端到端跨模态联合推理与生成,其支持仍然有限。未来的工作将致力于向全模态Agent框架演进,通过单一统一模型处理视频、图像、音频和文本的输入输出。
  • 实现从流式感知到动作真正的全双工全模态闭环。
  • 致力于长程时间建模与增强的空间理解。
  • 优化跨模态对齐机制、低延迟部署及高级记忆管理。

评论

评论区空态插画

当前文章无评论,是时候发表评论了