这是一份关于低成本自制Chunithm音游控制器的技术复盘。从物理硬件到纯视觉算法，再到混合架构，记录了三次重大重构的技术路线选择与实现细节，为音游硬件爱好者提供了宝贵的实践经验和开源方案。
智能速览
传统硬件方案成本超2000元，开源DIY方案也接近千元
物理方案受信噪比和传感器一致性限制，调试门槛高
纯视觉方案在手速快、遮挡多的高难度场景下识别率不足
Web混合方案利用平板触控+摄像头Air判定，通用性强
iOS原生有线版本实现最低延迟，但分发和开发成本高
项目已开源，正在寻求Android移植和多摄像头方案优化
精华内容
面对音游控制器高昂的价格门槛，一个业余开发者用三个月时间探索出了三条不同的技术路径，最终在成本、性能和可实现性之间找到了平衡点。
硬件方案困境
项目初期采用MPR121+红外传感器方案，试图通过物理铜箔模拟触摸条。实际测试中，电容信号易受环境噪声干扰，即使引入卡尔曼滤波算法，高频触发时数据抖动依旧严重。红外传感器受环境光影响大，超声波方案误判率依然很高。纯硬件路线调试复杂，稳定性不足。
视觉算法局限
受AI手势识别启发，第二阶段尝试Mediapipe全视觉方案，希望完全摆脱物理接触。测试显示，虽然常规手势识别效果良好，但在高密度、高手速的音游场景中，双手交叉遮挡导致特征点丢失，识别误差率无法接受。纯视觉方案在关键场景下鲁棒性不足。
Web混合架构
最终确定触控与视觉分离的混合方案：利用iPad触摸屏通过Web页面实现16键触摸条，摄像头仅检测手腕高度变化。采用Python+Flask+Socket.IO技术栈，PC处理视觉计算，移动端处理触控信号。该方案通用性强，跨平台兼容，但基于WebSocket的通讯存在微小延迟。
iOS有线优化
为追求极致低延迟，基于iOS原生开发重构通讯模块。改用USB有线连接实现PC与iOS设备直连，利用原生Touch API大幅提升触控采样率和响应速度。这是当前体验最佳版本，但面临iOS生态封闭分发难、11英寸iPad屏幕适配局限、需Mac开发环境等新问题。
这个项目不仅是省钱尝试，更验证了软硬件解耦的音游控制器实现范式。Web混合方案已开源可满足休闲玩家，iOS原生版本为追求极致体验提供了方向。下一步将探索Android移植和多目摄像头方案，期待更多开发者参与贡献。
