10月23日,Jack Dorsey 联合创办的 Block(Square、Cash App 的母公司)发布了一个语音模型,叫 Dessa:从零开始训练,训练数据只有录下来的人类对话,不用文本,也不用任何文本预训练模型,对话时声音进、声音出。 官方还披露,训练用掉一套 NVIDIA GB200 NVL72,推理则可以塞进一台 M4 Max MacBook Pro,快于实时。知乎知乎
这种「不用转文字」的语音 AI,和你熟悉的语音助手最本质的差别,就在这个被拿掉的中间环节:传统助手从不真正「听」声音,它先把你的话转写成文字,交给文本大模型读,再把答案合成成声音念出来。转写这一步省掉之后,体验上多出三样东西——更快、能打断、听得懂语气;同时也带走两样东西——知识和可校验性。
对讲机感:它是在「读」你的话,不是「听」
绝大多数团队沿用的,正是那条「语音识别→大模型→语音合成」的串行链路,一线开发者把它的毛病归结为三个词:无法打断、回应生硬、毫无真人感。 原因是接力结构每一棒都要等前一棒交棒:先判断你说完没有,再转文字,再理解生成,最后合成朗读,延迟一层层叠出来。它还是「对讲机」模式——你说话时它在听,它说话时听不见你。开发者实测各家助手后的原话很直接:它能打断我,我也能打断它,不是「我说完你再说」的对讲机,跟打电话一模一样。知乎小红书
转写丢掉的还不只是时间。声音里有一大块文字写不下来的东西:同一句「你可真厉害」,真诚赞叹和阴阳怪气,文字完全一样,意思正相反。
不转文字之后:边说边听,连叹气都在输入里
端到端全双工模型把对话看成两条同时进行的音频流:你一条,模型一条,每帧同时听和写,不存在「轮到谁」。 打断也因此从开关变成理解:关键不在于听到声音就闭嘴,而在于知道该暂停、继续、附和还是重新回答。 不止 Block 一家在往这走:2026年5月和7月,OpenAI 把实时推理和工具调用装进语音模型;9月,Gemini 3.8 Live 让对话与深度思考并行;10月15日,GPT-Live 与 Decisions 的组合已经做到「用户仍在说,Agent 已经行动」。知乎小红书36氪
不转文字的另一面:难校验,知识也有限
纯语音不是新点子。2022 年 Meta 等机构的 dGSLM 就只用电话录音训练,会笑会附和,但内容空洞;2024 年的 Moshi 做到了可用,底下却仍借一个文本语言模型「边说边默念文字」。Dessa 声称连这根拐杖也扔掉,而代价正是文本大模型当初要借它的原因:文本是人类知识最密集的载体,模型一旦不碰文本,其世界知识就只能来自对话录音里出现过的内容。 The Verge 报道这类模型时提到过把人认成「Ronaldo」的名场面——听起来对,内容不一定对。工程侧的问题更硬:客服、预约这类任务型对话里,听错一个单号或参数就会导致任务失败,业务一线因此认为纯端到端难以落地,主流方案仍保留文本形态做校验和合规兜底。 模思智能 CEO 李世民举过一个车内例子:你说「有点冷」,只做语音识别的话,识别出三个字就结束了;交互智能则要知道车内温度、谁在说话、车辆状态,再判断你是抱怨还是想调空调。知乎知乎36氪
你已经可能碰到它的升级形态
不用等 Dessa 开放,商业化已经先跑起来了。科大讯飞10月22日的发布会给出三个数:效果+20%、时延-15%、成本-60%,其口径正是把「先转文字再理解」的两段式架构合并为统一音频编码。 10月中旬,xAI 发布 Grok Voice 3.0,随即接入 SpaceX 星链客服中心,每天约2万通来电、七成由 AI 接通。 字节的豆包则更早:原生全双工语音模型今年4月起上线豆包 App,主打让 AI 学会「边听边说」、告别「你讲我听」的机器人式对话。 对普通用户,检验差异只需要三件事:说完之后它愣不愣、打断它之后它懂不懂、你着急时它听不听得出来。知乎知乎哔哩哔哩
Dessa 目前说到底还只是一个非公开的研究预览。 官方给它的早期访问只开放给一小批 AI 安全研究员,普通用户暂时还用不上。更要留神的是:「全球第一个只靠语音训练的实时对话 AI」是官方自评,目前既没有参数公布,也没有第三方实测,演示里与它对话的另一方声音同样是合成的。 这场变化的方向足够清晰——语音 AI 正在从「转成文字再读」走向「直接听懂、直接开口」;但它替代的会是助手的耳朵和嘴,还是连大脑一起换掉,还得等更多实测给出答案。知乎小红书