什么值得买App下载 App ›
连续签到专享现金活动

字节开源Bernini:AI视频生成终于能精准可控了

字节跳动于2026年6月16日前正式开源Bernini框架,该框架为统一视频生成与编辑系统,采用多模态大语言模型(MLLM)语义规划与Diffusion Transformer(DiT)视觉渲染的两阶段解耦架构。Bernini支持文本、图像与视频多模态输入,适用于视频生成、影视预演及广告创作等场景,其推理代码与第二阶段模型Bernini-R权重已开放下载,完整MLLM规划器版本将于近期发布。123
01从随机生成到精准控制
Bernini通过将视频处理流程拆分为“语义规划”与“视觉渲染”两个独立阶段,解决传统AI视频生成中因指令理解偏差导致的画面失控、帧间闪烁及动作断裂等问题。多模态大模型规划器在ViT嵌入空间中解析文本指令、源视频及参考素材,生成包含内容结构与编辑区域的“语义草图”;DiT渲染器则在VAE潜在空间中执行流匹配去噪,将语义规划转化为时空连续的视频帧,并在编辑任务中注入源视频VAE特征以保留非编辑区域细节。该机制使主体变形率降至3%以下,动作断裂现象减少92%,背景漂移率下降约25%。456
02多模态输入与三维空间建模
Bernini原生支持文本、图像与视频混合输入,用户可通过自然语言指令调整天气、季节、材质及视觉风格,并精准控制镜头视角、焦点位置与主体动作轨迹。在天气变换测试中,系统可同步调节天空云层、路面反光、建筑湿润度等20余个环境参数;在视角编辑任务中,确保镜头移动时建筑轮廓符合透视原理。针对多参考素材混合输入易导致的时空混淆问题,框架引入Segment-Aware 3D RoPE(SA-3D RoPE)机制,为不同视觉片段分配唯一segment索引并整合至旋转位置编码,使多输入序列中时空冲突减少约22%。176
维度BerniniRunway Gen-4/4.5Pika 1.5Luma Dream Machine
核心架构MLLM语义规划 + DiT扩散渲染解耦结构端到端商业视频扩散模型(闭源优化)轻量扩散视频生成模型大规模视频扩散Transformer架构
任务覆盖生成 + 编辑 + 参考驱动统一框架生成 + 高质量视频编辑短视频生成 + 基础编辑长视频生成 + 文本到视频
可控编辑能力语义级控制(MLLM规划 + 局部编辑保持)较强(商业优化编辑流程)中等(提示词驱动为主)中等偏强(长视频一致性较好)
多参考输入支持文本/图像/视频/多角度/材质融合支持图像参考支持基础图像参考支持图像参考与风格控制
开源程度权重+代码开源闭源部分开源闭源
03降低后期成本与开发门槛
Bernini在Arena基准测试中,于视频一致性、语义理解准确度等核心指标达到国际主流水平。其统一框架设计覆盖生成、编辑与参考引导任务,无需切换模型,显著提升影视工业化流程效率。开发者可基于开源代码进行二次开发,适配本地化视频生产需求。工程层面,框架支持diffusers统一加载结构与Ulysses并行推理机制,在8卡H100环境下实现约6.5倍线性扩展加速,提高工业级视频生成吞吐能力。该框架的开源为解决AI视频“抽卡”痛点提供了可复现的技术路径,推动行业从随机生成向精准可控演进。156

评论

评论区空态插画

当前文章无评论,是时候发表评论了