这是一个关于小智AI设备MCP能力扩展的开源技术分享。作者通过自定义消息通道和SignalR技术,成功实现了社交聊天、图片生成展示和音乐播放等官方未提供的功能,所有代码和固件完全开源,为第三方设备功能拓展提供了完整解决方案。
智能速览
开源实现了小智AI的社交群组聊天功能
支持AI生成图片在设备端直接展示
开发了随机播放音乐的MCP服务
使用SignalR技术封装自定义消息通道
支持多种第三方小智设备包括绿荫搭子
所有服务端代码和固件完全开源无保留
精华内容
通过开源的MCP转接平台和自定义固件,小智AI设备突破了原有功能限制,实现了社交互动、图片展示和音频播放等多项新能力,为硬件扩展提供了完整的技术路径。
技术架构
核心技术基于自定义消息通道实现,使用SignalR技术封装了ESP32客户端组件。通过fork官方代码创建signalr分支,构建了通用的消息框架,支持自定义服务端对接。转接平台作为中间层,根据设备绑定状态推送文本、图片和音频内容,实现了与官方类似的交互体验。
功能演示
社交功能支持与第三方智能体群组聊天,能够发送和接收语音消息。图片生成功能可将AI生成的图片推送到设备端展示,约10秒后自动消失,同时支持绑定邮箱保存文件。音乐播放功能通过推送文件链接到设备端解析播放,使用无版权音乐资源。
兼容性支持
该方案支持多种小智设备,包括正点原子、CCstudio、立创实战派等官方产品,以及作者自研的绿荫搭子。甚至第三方实现的OTTO机器人也能对接。设备需要烧录专用固件才能使用这些扩展功能,核心对话仍使用官方接口。
开源资源
项目包含多个开源仓库:小智ESP32自定义固件、Verdure MCP转接平台、MCP服务平台等。绿荫搭子项目基于立创实战派开发,可在立创开源广场获取。所有代码完全开源,开发者可基于现有框架拓展更多功能,实现自定义服务端对接。
这个开源项目为小智AI设备的功能拓展提供了完整的技术方案,从社交互动到多媒体播放都有了实现路径。作者抛砖引玉,希望开发者们能够在此基础上创造更多可能性。随着开源社区的参与,这类硬件设备的生态将更加丰富。