STM32N6视觉应用Github仓库和软件包

STM32N6系列芯片的AI视觉应用开发指南，通过Handlandmark实例详细展示从摄像头数据采集到神经网络推理的完整流程。内容涵盖双模型部署、DCMIPP外设配置、内存管理优化等关键技术点，为开发者提供实战参考。

智能速览

• STM32N6集成NPU和GPU加速AI推理

• DCMIPP外设支持多pipe并行图像处理

• Handlandmark应用实现手掌21个关键点检测

• 双模型部署策略优化内存使用

• GPU加速图像裁剪提升处理效率

• 30FPS实时视觉处理能力验证

精华内容

深入解析STM32N6的视觉应用开发架构，以Handlandmark为例展示从摄像头数据采集到神经网络推理的完整技术实现路径。

硬件架构设计

STM32N6采用双核架构，集成NPU和GPU处理单元，支持并行计算。DCMIPP外设提供三个独立的图像处理管道，Pipe0负责原始数据存储，Pipe1具备ISP处理能力，Pipe2专为AI推理优化。这种设计允许同时处理显示和神经网络推理任务，提升整体系统效率。

数据流处理

摄像头通过CSI接口输入数据，DCMIPP外设将原始592x1940像素图像分别处理。主Pipe1转换为800x480 RGB图像用于显示，副Pipe2生成192x192图像输入手掌检测模型。采用双缓冲机制确保数据流畅传输，LCD显示使用前后缓冲切换，神经网络输入也采用类似机制。

双模型部署

应用包含两个核心模型：手掌检测模型和Handlandmark关键点检测模型。手掌检测采用YOLO架构，输出手掌位置框信息；Handlandmark模型接收裁剪后的手掌图像，输出21个关键点坐标。模型权重分别存储在0x70380000和0x70580000地址，确保Flash空间不重叠。

性能优化策略

利用STM32N6的GPU进行图像裁剪，比CPU处理快10倍以上，单次裁剪仅需1-2毫秒。优先使用MPU RAM3456内存，其访问速度远超Hyper-RAM，显著提升推理速度。实测手掌检测推理时间20.75ms，关键点检测48.19ms，达到30FPS实时处理要求。

摄像头配置选项

支持三种长宽比配置模式：Crop模式保持原始比例裁剪，Fit模式压缩图像保留信息，Fullscreen模式改变比例全屏显示。不同配置影响NN Pipe和Display Pipe的输出，开发者可根据应用需求选择合适模式，平衡图像质量与处理效率。

STM32N6为边缘AI视觉应用提供了强大的硬件支持，通过合理的外设配置和内存管理，可实现高性能实时视觉处理。Handlandmark案例展示了完整的开发流程，为更多AI应用场景提供了技术参考。