Storycaster：用生成式AI将普通房间实时转化为沉浸式叙事空间

《星际迷航》中的全息甲板正在成为现实。来自 CHI 2026 的一个有趣研究 Storycaster，尝试用生成式 AI，把普通房间变成一个可以讲故事的沉浸式空间。简单来说，它会先用多个彩色摄像头和深度摄像头，实时扫描房间的形状和布局，生成一个带纹理的 3D 房间模型。接着，系统会用 Stable Diffusion、深度 ControlNet 和 360 度 LoRA，根据房间的真实结构生成一整圈全景画面，再通过投影把这些画面投到墙面上。如果故事需要呈现室外场景，它还可以在视觉上把墙壁“去掉”。系统会减少深度图中某些区域对生成画面的限制，让远处的地平线看起来更自然。每台投影仪也会根据自己的位置、角度和房间结构，自动计算自己应该投影哪一部分画面。它和头戴式 VR 最大的不同是：你不需要戴头显，也不会完全脱离现实环境。你始终待在真实房间里，仍然能感知周围空间。更有意思的是，房间里的真实物品也可以成为故事的一部分。比如你说一句“把脚凳变成一丛灌木”，系统就会在视觉上把它改造成灌木，让它融入故事场景。整个体验流程也设计得比较完整。系统会先用大约 10 分钟的教程，教你熟悉视觉、音频和物体编辑功能。之后，你会进入一个三幕式故事。过程中，会有一个 AI 叙述者全程引导，你可以通过语音指令决定故事如何发展。每一幕都会实时生成对应的场景画面、环境音效和角色配音，配音还会通过空间音频系统在房间里播放。演示视频里展示了一个太空冒险故事：用户先说“我想要一个太空故事”，随后故事发展到宇航员出舱拯救团队，最后用户还能选择不同的结局分支。整个过程就像在实时创造一个真实的世界。当然，目前这项研究的视觉效果还比较粗糙，并没有达到高度逼真的程度。但它真正有价值的地方，并不在于画面有多精致，而在于它展示了一种新的可能性，让 CAVE 这类沉浸式空间，不再只是播放提前做好的内容，而是变成一个可以和用户实时互动、共同创作故事的环境。#AI沉浸式叙事##虚拟现实##AI创造营# 零重力瓦力的微博视频

新浪微博 2026-04-29 00:00:00