开源数字人一站式框架来了!语音识别+大模型+合成+驱动全串好,3.8GiB显存跑满35fps
这套框架的核心定位是"产线编排",不是单纯给一个模型。它把前端交互、会话状态、LLM 回复、TTS 音色选择、打断控制、字幕事件全部封装好,开发者可以按需切换底层模型。项目支持 QuickTalk、Wav2Lip、MuseTalk、FlashTalk、FasterLivePortrait 等多种数字人驱动模型,后端模式包括 mock(无 GPU 验证)、local(本地推理)、direct_ws(自定义推理服务)和 omnirt(远端高清推理)四种。LLM 端兼容 DashScope、Ollama、vLLM、DeepSeek 等 OpenAI 兼容接口,TTS 可用 Edge TTS 或百炼 Qwen realtime TTS。3
部署门槛分几档。快速体验走 mock 模式,CPU 就能验证完整链路,不需要下载数字人模型权重,适合第一次试项目时确认 API、TTS、WebRTC 能否跑通。想跑真实视频渲染,QuickTalk 在 RTX 3090/4090 上实测 35 fps 输出仅占约 3.8 GiB 显存,RTX 3050/3060/4060 也能跑。追求全本地私有化的用户,可以接 SenseVoice 做 STT、CosyVoice 做 TTS、QuickTalk 做视频驱动,整个链路都在自己机器上跑。企业级高质量部署可通过 OmniRT 接 FlashTalk 模型,支持多卡或昇腾 910B2 分布式推理。
项目在 GitHub 持续更新,6 月初新增视频克隆模式,用户上传一段视频后,数字人可以复刻视频中的面部表情与头部动作,同时支持调节动作幅度——既可以追求高度拟真,也能调出夸张、风格化的效果。目前还提供了 Windows 一键整合包,降低了本地部署门槛。开发者若对画质、吞吐和服务隔离要求更高,可以走远端推理路线,OpenTalking 負责会话编排和前端交互,重推理放到专用 GPU/NPU 机器上。4
想自己搭数字人对话产品的开发者,可以直接去 GitHub 拉代码试试。项目地址:https://github.com/datascale-ai/opentalking。文档里分了快速开始、FlashTalk+OmniRT 部署、架构说明、硬件指南等模块,对应不同阶段的调试需求。
当前文章无评论,是时候发表评论了