将高斯泼溅视觉技术与 Gemini Live 深度融合，打造出零手柄交互的沉浸式“梦核”体验。通过语音指令控制移动与特效，为 VR 游戏的未来交互形态提供了极具参考价值的实践样本。
智能速览
利用实景扫描技术还原德国凛冬场景，营造疏离梦境感
彻底摒弃传统手柄，全程通过语音和手势完成所有交互
接入 Gemini Live 实现超低延迟的实时语音对话与环境反馈
开源相关集成代码，降低开发者尝试新技术的门槛
精华内容
探索技术边界，将现实扫描与生成式 AI 结合，创造一种全新的、自然的虚拟世界交互方式，让体验回归对话本质。
沉浸式视觉构建
项目采用高斯泼溅（Gaussian Splatting）技术作为视觉核心，利用 XGRIDS Portal Cam 对德国凛冬时节的实景进行扫描。这种渲染方式完美捕捉了寒冷、空旷的环境特征，构建出充满疏离感的“梦核”世界，让场景既有真实质感又兼具梦境般的虚幻氛围。
技术选型上，并非传统建模，而是通过点云数据重现现实景观，为 AI 交互提供了自然的载体。
零手柄语音交互
交互逻辑上彻底打破了传统 VR 游戏依赖手柄操作的习惯，实现了真正的零手柄体验。场景中的移动、转身等基础操作，均通过语音指令精准控制，配合手势交互，使操作过程更加符合人类直觉。
这种设计消除了硬件设备带来的隔阂感，体验者不再是“玩游戏”，而是在与这个虚拟世界进行平等对话，交互过程流畅自然。
AI驱动的实时反馈
接入 Gemini Live API 后，利用其强大的 Function Calling 功能，实现了毫秒级的响应速度。体验者发出的语音指令不仅能够获得 AI 的文字或语音回复，更能直接触发场景中的视觉特效，如光影变化、环境氛围渲染等。
这种将语音对话与视觉反馈深度绑定的机制，极大地增强了虚拟世界的沉浸感，让 AI 不再是单纯的问答机器，而是连接虚拟与现实环境的桥梁。
此次实践不仅验证了高斯泼溅在特定氛围营造上的优势，更展示了语音交互在 VR 领域的巨大潜力。随着相关技术的开源与普及，这种基于自然对话的沉浸式体验，有望成为未来独立游戏开发的重要方向。
关键评论
网友指出高斯泼溅在 VR 中移动易出现像素散乱，认为高质量 VR 场景仍需依靠 Unity 建模
有用户期待未来 3DGS 技术能结合 AI 实现走到哪生成到哪的无限地图体验
