国内开发者整合的语音转字幕神器

2023-12-05 09:30:08 9点赞 115收藏 5评论

因为国内禁了HuggingFace,所以我最近在部署fast-whisper-web时遇到了麻烦。转而找到了一个国内开发者CheshireCC整合的开源项目:faster-whisper-GUI。

不得不说:虽然很多技术源头来自国外开发,但国内开发者却能把这些技术整合出花样来。faster-whisper-GUI就把Demucs、fast-whisper、whisperX这三个项目整合到了一起。你不得不说作者很有创意:为了减少人声转字幕背景音的干扰,直接把人声提取工具Demucs也整合进来了。语音转文字则使用的是whisper的衍生项目faster-whisper,提取速度更快对显卡的要求更低。最终字幕输出则用到了whisperX。

在使用faster-whisper-GUI前要切换到模型页面,加载faster-whisper模型。作者直接推荐用large模型进行处理,我用RTX2060S测试了一下,速度还是挺快的,所以中端显卡即使用large模型也不用担心速度。

国内开发者整合的语音转字幕神器

然后切换回主界面,如果你想对音频做一个人声分离再处理,可以用到Demucs,事实上faster-whisper在这一块做的已经足够好,直接进入faster-whisper进行语音转字幕即可。

国内开发者整合的语音转字幕神器

在转写时模型可自动识别语言类型,但是还是建议提前在fast-whisper的参数页选择好语种。

国内开发者整合的语音转字幕神器

然后运行转写就可以看到语音识别出台词了(不知道大家看台词能不能猜出我用的案例是哪部电影)。

国内开发者整合的语音转字幕神器

处理完后会切换到WhisperX进行字幕输出,通过WhisperX可以对输出的文件类型和编码等进行设置,然后就可以导出字幕或者文本文件了。

国内开发者整合的语音转字幕神器

faster-whisper-GUI其实是一个整合项目,整合了faster-whisper0.9、whisperX3.1.1、Demucs4.0。

国内开发者整合的语音转字幕神器

虽然我一般更偏向于用原生项目,毕竟原生项目更新更及时,而整合项目毕竟容易有烂尾风险。但是在HuggingFace被禁的大背景下,一些整合项目不仅实用也是大家最省事的解决方案。

作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~

展开 收起
5评论

  • 精彩
  • 最新
  • 一、在线,还是离线运行?
    二、镜像地址在哪?

    校验提示文案

    提交
    1.离线;2.是程序非docker;3.开源站地址发不出来,自己去搜一下很容易找到。

    校验提示文案

    提交
    收起所有回复
  • 电影:光头薇

    校验提示文案

    提交
  • 牛逼!

    校验提示文案

    提交
  • 请问whisperX该怎么使用呢?我点了按钮以后不起作用,也没有找到任何教程。

    校验提示文案

    提交
提示信息

取消
确认
评论举报

相关文章推荐

更多精彩文章
更多精彩文章
最新文章 热门文章
115
扫一下,分享更方便,购买更轻松