京东开源 JoyAI-Echo 长音视频生成框架

6 月 3 日，京东把 JoyAI-Echo 长音视频生成框架开源了，代码和权重都在 GitHub 上（ jd-opensource/JoyAI-Echo ）。

这个框架解决什么问题

用 AI 生成视频的人都知道，短片段效果还行，一旦要生成连续长视频，问题就来了。角色在不同镜头里"变脸"，声音忽高忽低，生成一段几分钟的视频要等很久。

JoyAI-Echo 针对这三个问题做了四项技术。

跨模态音视频记忆库是第一个。生成多个镜头时，系统会记住角色的外观和说话人的音色，最长支持 5 分钟的视频（来源：搜狐 IT ）。

记忆驱动后训练流程是第二个。团队用了 SFT 、跨模态 RLHF 和 DMD 三种技术。其中 DMD 让生成速度提升了大约 7.5 倍（来源：搜狐 IT ）。

DirectorAgent 是第三个。用户用自然语言描述需求，系统自动拆成剧本、角色、场景和镜头。对某个片段不满意，可以直接对话修改，不用整条重做（来源：中关村在线）。

第四个是轻量化实时超分模块，能提升视频和音频的分辨率（来源：搜狐 IT ）。

评测数据

京东做了一个评测集，包含 100 个故事和 3000 个镜头。评测显示语音内容准确率是 0.8646 （来源：搜狐 IT ）。

用户偏好调研的结果： 81.7% 偏好音频质量， 80.6% 觉得提示词匹配， 63.6% 满意视觉美学， 59.4% 认为 IP 一致性还行（来源：搜狐 IT ）。

背景

2026 年做长视频生成的不止京东。 OpenAI 的 Sora 、 Google 的 Veo 3 、快手的可灵都在做。 JoyAI-Echo 的区别是把视频和语音一起生成，还开了源（来源： GitHub ）。

京东在 AI 视频生成上从 2024 年就开始投入。 2026 年 5 月发过 JoyAI 系列的其他模型，做图像和语音方向。

各方说法

京东的公告说 JoyAI-Echo"首次同时实现了长程跨模态一致性、分钟级视频的实时推理、对话式交互能力和高分辨率输出"（来源： GitHub ）。

中关村在线的报道用了"系统性攻克"这个词，说的是"角色形象持续性不足、语音特征不稳定、整体生成效率偏低"这三个瓶颈（来源：中关村在线）。

后续

代码和权重都开源了，京东没提商业化的事。

59.4% 的 IP 一致性偏好率说明角色一致性还有得磨。实际效果怎么样，得等开发者社区用起来才知道。