开源免费实时离线翻译神器!号称世界上第一个开源实时翻译!
大家好,今天我要给大家介绍一款超级实用的应用——RTranslator!这是一款开源、免费的离线实时翻译应用,不仅能实现多人、多语言的实时对话翻译,还能通过蓝牙耳机连接应用,让你随时随地进行语言转换的对话。💬目前只适用安卓系统
🎧 想象一下,你可以把手机放进口袋,通过蓝牙耳机与他人进行实时对话,应用会自动翻译并播报对方的语言。苹果用户,买个二手安卓手机感觉就可以平替科大讯飞了!RTranslator还提供了三种模式:对话模式、对讲机模式和文本翻译模式,满足你不同的需求。
会话模式
我手里只有一个安卓设备所以没进行使用测试会话模式是 RTranslator 的主要功能。在此模式下,你可以与使用该应用的另一部手机连接。只要对方接受你的连接请求:
当你说话时,你的手机(或蓝牙耳机,如果已连接)将捕捉音频。
捕捉到的音频将转换为文本并发送到对方的手机。
对方的手机将收到的文本翻译成他的语言。
对方的手机将翻译后的文本转换为音频并播放(或通过对方的蓝牙耳机播放,如果已连接)。
所有这些都是双向进行的。
每个用户可以连接多部手机,这样你就可以在多于两个人之间翻译对话,并以任何组合进行翻译。
对讲机模式
如果会话模式适用于长时间对话,对讲机模式则适用于快速对话,例如在街上问路或与店员交谈。
此模式仅翻译两人之间的对话,不支持蓝牙耳机,并且需要轮流说话。这不是一个真正的同步翻译,但只需一部手机即可实现。
在此模式下,智能手机的麦克风将同时监听两种语言(可在对讲机模式同一屏幕上选择)。应用程序将检测对方说的语言,将音频翻译成另一种语言,将文本转换为音频,然后从手机扬声器播放。当 TTS 完成后,它将自动恢复监听。
文本翻译模式
此模式只是一个经典的文本翻译器
简单做了一下,百度和Bing翻译的对比。如下图所示
大家觉得那个好?
常规细节
RTranslator 使用 Meta 的 NLLB 进行翻译,使用 OpenAi 的 Whisper 进行语音识别,这两者都是几乎开源且最先进的 AI,具有优秀的质量并且直接在手机上运行,确保了绝对隐私,即使离线也能使用 RTranslator 而不降低质量。
此外,RTranslator 即使在后台运行、手机待机或使用其他应用程序时也能工作(仅在使用会话或对讲机模式时)。然而,一些手机在后台限制,因此在这种情况下最好保持应用程序打开和屏幕亮起。
RTranslator - 世界上第一个开源同步翻译应用程序。| Product Hunt
目前已经迭代到了2.0 版本
Google API 已被 Meta 的 NLLB 替代用于翻译,OpenAi 的 Whisper 用于语音识别。这些 AI 模型直接在你的手机上运行,因此现在应用程序完全免费且无需配置!
添加了一个经典的文本翻译模式。
改进了蓝牙 LE 设备搜索。
修复了一些错误。
性能
目前对 AI 模型进行了大量优化,以最小化内存消耗和执行时间。尽管如此,为了在没有崩溃风险的情况下使用应用程序,你需要一部至少有 6GB 内存的手机,并且为了有足够快的执行时间,你需要一部有足够快 CPU 的手机。现在市面上的大部分手机应该都没问题,我用的老的三星S7EDGE做的测试。
如果你的手机配置较低(或者如果你想要最快的速度),你可以一直使用 RTranslator 的 1.0 版本(但由于它使用 Google API,它不是免费的且需要一些初始设置)。
下载
要安装应用程序,请从 GitHub 下载最新版本的 apk 文件并安装(忽略其他文件,那些将在首次启动时由应用程序自动下载)。
在首次启动时,你需要下载翻译和语音识别模型(1.2GB),下载完成后你就可以开始翻译了。
支持的语言
支持的语言如下:
阿拉伯语、保加利亚语、加泰罗尼亚语、中文、捷克语、丹麦语、德语、希腊语、英语、西班牙语、芬兰语、法语、克罗地亚语、意大利语、日语、韩语、荷兰语、波兰语、葡萄牙语、罗马尼亚语、俄语、斯洛伐克语、瑞典语、泰米尔语、泰语、土耳其语、乌克兰语、乌尔都语、越南语。
库和模型
RTranslator 代码是完全开源的,但它使用的一些外部库有较少的许可限制,以下是应用程序使用的所有外部库(带有其许可的指示):
BluetoothCommunicator(开源):用于设备之间的蓝牙 LE 通信。
GalleryImageSelector(开源):用于从图库中选择和裁剪个人资料图片。
OnnxRuntime(开源):用作 AI 模型的加速引擎。
SentencePiece(开源):用于 NLLB 输入文本的分词。
Ml Kit(闭源):用于对讲机模式中的语言识别。
以下是使用的 AI 模型:
NLLB(开源,但仅用于非商业用途):使用的模型是 NLLB-Distilled-600M 和 KV 缓存。
Whisper(开源):使用的模型是 Whisper-Small-244M 和 KV 缓存。
作者将两个模型都转换为 onnx 格式并量化为 int8(排除了一些权重以确保几乎没有质量损失),此外还分离了模型的某些部分以减少内存消耗(如果没有这种分离,一些权重在运行时会重复消耗比预期更多的内存)。
总之,RTranslator是一款功能强大且易于使用的实时翻译应用,让你不再受语言障碍的困扰,轻松应对各种跨语言交流场景。快去下载试试吧!大家可以收藏起来,万一那天出去玩去个小语种国家,也许就能用的上了。毕竟科大讯飞不便宜!
昵称过期
校验提示文案
bobyja
校验提示文案
A2100
校验提示文案
bobyja
校验提示文案
昵称过期
校验提示文案
A2100
校验提示文案