久坐PC前用键鼠打游戏,腰酸脖子僵是常态,起身倒杯水都嫌麻烦。最近"站着玩PC游戏"的视频在短视频平台上时不时刷到:人站在一个普通摄像头前挥动手臂,游戏里的角色跟着闪避、出招。评论区永远吵成两派,一派问"怎么搞的,求教程",另一派泼冷水"这延迟,PVP就别想了"。就在昨天,这条路线往"人人可复刻"又走了一步:知乎网友公开了一套完整可运行的摄像头体感程序,还附上了《燕云十六声》《原神》的实机演示。知乎
先说清楚,"摄像头体感"已经不是极客玩具,商业产品早就进了普通客厅。小红书上有家长分享过巴掌大的摄像头体感主机体验:不用手柄,直接摄像头识别人体动作,站着就能玩。小红书奶龙跑酷、体感网球、竞速小游戏全都有,接上电视开机就能让娃动起来。

而开源DIY这条路的原理并不玄乎。摄像头持续采集画面,开源模型MediaPipe识别画面里的人体关键点,程序计算关节之间的夹角:比如胳膊肘、肩膀和臀在肩膀处形成一个角度,这个角度为90度时说明大臂平举,这个角度小于10度时说明大臂下垂。知乎不同的角度组合对应不同动作,再映射成键盘按键和鼠标操作,游戏角色就动起来了。比如在《燕云十六声》里,可以把"左臂竖直、右臂下垂"绑定到卸势键;映射逻辑是自己写的,理论上任何动作游戏都能改成体感。
但坑要先讲明白,因为这套方案的能力边界很明确。为了减少误判,作者几乎给每个动作判断都加了计数器,只有执行超过固定次数do_line(可修此变量提高或降低延迟),才能进行判定。知乎也就是说延迟和误判是一架跷跷板:阈值调高更稳但反应慢半拍,调低跟手但容易乱触发。为了防止键鼠输入频率过高被游戏封禁,程序还会在按键之间主动加间隔。再加上单摄像头的深度信息基本不可用,判定全靠二维角度,所以别指望Joy-Con那种精度——它是"挥挥手、扭扭身"级别的粗粒度操控。拿来活动身体、玩单机动作游戏躲技能完全够用,想打PVP或者音游,趁早放弃。
好消息是硬件门槛低到离谱。由于MediaPipe模型可在cpu上高速运行,因此我们无需安装cuda和cudnn。知乎不需要独立显卡,核显办公机就行;摄像头随便一个能用的USB摄像头即可,作者在Windows 11上实测,游戏和体感程序同时跑没有问题。
配置不算复杂,但确实会劝退完全不想碰编程的人。基本路线是装好Python环境,用Anaconda管理、PyCharm运行代码最省心,不想装IDE的话命令行也能直接跑。

依赖主要是opencv、mediapipe和pydirectinput,前两个负责画面识别,后一个负责向游戏模拟键鼠输入,另外要把模型权重文件下载到位。环境跑通之后真正要花心思的是摄像头摆位:尽量广角,或者架远一点、架高一点,保证全身入镜;光线太暗、穿宽松衣服都会让识别率明显下降。

再把商业路线的账摆出来。KINHANK在7月推出的动动盒,整机尺寸只有80mm×80mm×60mm,接上电视HDMI就能用,该产品搭载自研MotionX AI体感引擎,主打无手柄、无穿戴的纯肢体交互。知乎海外官网页面标价219.99美元,国内京东定价1766元,部分平台参与国补等优惠活动可优惠至1399元。

这类主机的游戏库是自研内容和奶龙这类IP合作款,不会包含你电脑里已有的PC游戏——这正是商业产品和DIY的本质区别:花钱买的是开箱即用的完成度和内容授权,DIY换来的是"想玩什么就把什么改成体感"的自由。
所以DIY适合谁,我的判断很直接:手头有闲置摄像头、不排斥装Python、主要玩单机动作游戏的人,这就是目前性价比最高的体感方案,0元,动作还能随便绑,代价是半天的折腾时间和对延迟的包容。如果需求是"全家在客厅动起来",家里还有明显不会碰电脑的娃和老人,买现成主机更合理。只是好奇体感是什么感觉的人,先问自己两个问题:有没有闲置摄像头,愿不愿意装编程环境,两个都否就别勉强。
最后给两个值得盯的信号。一是开源摄像头动捕这条路能走多远:一台没有独立显卡的虚拟机、一个100元的USB摄像头、一个开源软件包——就能完成3D人体动作捕捉。知乎二是这套程序本身的进化:会不会有人打包出一键安装器,延迟阈值能不能压到敢碰PVP。这两个信号出现任意一个,入坑成本都会再降一档,现在不必急着动手,先收藏观察。