什么值得买App下载 App ›
连续签到专享现金活动

开源数字人一站式框架来了!语音识别+大模型+合成+驱动全串好,3.8GiB显存跑满35fps

想搭个能说话、能打断、带字幕的实时数字人,过去得把 STT、LLM、TTS、视频驱动、WebRTC 一个个拼起来,工程量不小。现在有个叫 OpenTalking 的框架把这条路趟平了。datascale-ai 开源的这个实时数字人编排框架,基于 Apache 2.0 协议,把从语音识别到大模型回复、从语音合成到数字人驱动、从字幕事件到 WebRTC 播放的完整链路,串进同一套工程里。GitHub 显示项目已获约 1.1K Star,6 月初还新增了视频克隆模式,支持用上传的视频直接驱动数字人形象,同时可调面部动作幅度。12
这套框架的核心定位是"产线编排",不是单纯给一个模型。它把前端交互、会话状态、LLM 回复、TTS 音色选择、打断控制、字幕事件全部封装好,开发者可以按需切换底层模型。项目支持 QuickTalk、Wav2Lip、MuseTalk、FlashTalk、FasterLivePortrait 等多种数字人驱动模型,后端模式包括 mock(无 GPU 验证)、local(本地推理)、direct_ws(自定义推理服务)和 omnirt(远端高清推理)四种。LLM 端兼容 DashScope、Ollama、vLLM、DeepSeek 等 OpenAI 兼容接口,TTS 可用 Edge TTS 或百炼 Qwen realtime TTS。3
部署门槛分几档。快速体验走 mock 模式,CPU 就能验证完整链路,不需要下载数字人模型权重,适合第一次试项目时确认 API、TTS、WebRTC 能否跑通。想跑真实视频渲染,QuickTalk 在 RTX 3090/4090 上实测 35 fps 输出仅占约 3.8 GiB 显存,RTX 3050/3060/4060 也能跑。追求全本地私有化的用户,可以接 SenseVoice 做 STT、CosyVoice 做 TTS、QuickTalk 做视频驱动,整个链路都在自己机器上跑。企业级高质量部署可通过 OmniRT 接 FlashTalk 模型,支持多卡或昇腾 910B2 分布式推理。
项目在 GitHub 持续更新,6 月初新增视频克隆模式,用户上传一段视频后,数字人可以复刻视频中的面部表情与头部动作,同时支持调节动作幅度——既可以追求高度拟真,也能调出夸张、风格化的效果。目前还提供了 Windows 一键整合包,降低了本地部署门槛。开发者若对画质、吞吐和服务隔离要求更高,可以走远端推理路线,OpenTalking 負责会话编排和前端交互,重推理放到专用 GPU/NPU 机器上。4
想自己搭数字人对话产品的开发者,可以直接去 GitHub 拉代码试试。项目地址:https://github.com/datascale-ai/opentalking。文档里分了快速开始、FlashTalk+OmniRT 部署、架构说明、硬件指南等模块,对应不同阶段的调试需求。

评论

评论区空态插画

当前文章无评论,是时候发表评论了