西电RobotY团队力作AerialClaw,让无人机拥有“大脑”,自主巡检、避障、复盘一键搞定
西安电子科技大学RobotY团队发布了一款名为AerialClaw的无人机自主智能体框架。该系统依托大语言模型构建,旨在突破传统无人机依赖预编程脚本的局限,使其具备认知、决策与学习能力。用户仅需通过自然语言描述任务目标,系统即可自动完成环境感知、路径规划、避障飞行及报告生成等全流程操作,且在任务结束后能够自主进行反思与经验积累。
01设计理念与系统架构
AerialClaw的核心设计理念是将无人机从“执行预设脚本的工具”转变为“具备认知能力的自主个体”。为了实现这一目标,系统构建了包含身份、技能、安全及反思在内的四维体系,并通过六层系统架构将大模型的能力落实到无人机的实际飞行中。
- Brain Layer(认知决策)
基于自然语言指令与环境状态进行持续闭环推理,动态调整路线与优先级,而非一次性全局规划。 - Skill Layer(技能体系)
将硬技能(起飞、降落、扫描等)与软技能(任务策略文档)分离,支持通过阅读理解调用能力,并能自动沉淀新技能。 - Runtime Layer(安全约束)
设立四道安全关卡:指令白名单过滤、飞行边界限制、高风险人工审批及隔离沙箱运行,确保执行安全。 - Adapter Layer(硬件适配)
通过统一接口屏蔽底层硬件差异,支持PX4、AirSim、ROS2及自定义协议,实现上层逻辑与底层硬件解耦。 - Device Layer(设备执行)
已在AirSim上海城市场景和PX4+Gazebo城市救援场景中完成验证,具备对接真实飞控硬件的能力。 - Memory System(记忆系统)
包含工作记忆、技能记忆、反思库和世界状态四层架构,用于维护任务上下文并存储长期经验。
02仿真演示与功能验证
在AirSim上海城市仿真场景的实测中,AerialClaw展示了全自主巡检能力。无人机搭载多目摄像头与360° LiDAR,在无预设航线的情况下,自主完成了多点路径规划、动态避障、视觉异常检测及结构化报告生成。
- 路径推理:自主分析目标点空间分布,确定最优巡检顺序与航线。
- 动态避障:检测到高层建筑障碍时,自动抬升高度绕行。
- 智能观测:调用视觉语言模型分析环境,识别建筑外观与潜在异常。
- 自动复盘:任务结束后汇总数据,生成逐点标注的巡检报告。
03部署与使用
AerialClaw框架兼容多种大模型后端,包括OpenAI、DeepSeek、Moonshot及本地Ollama等。项目提供了Mock模式(无需仿真环境)和PX4仿真模式两种启动方式,用户通过Web控制台即可进行交互。
当前文章无评论,是时候发表评论了