省极客AI导航 提交工具

ElevenLabs 推出 Eleven Realtime 语音对话模型:一个模型包办听、想、说,半秒内开口

2026-10-21 · #ElevenLabs#Eleven Realtime#语音对话#语音智能体#实时语音#AI配音

10 月 20 日,ElevenLabs 发布 Eleven Realtime 系列「语音到语音」模型,把语音识别、判断何时接话、大语言模型和语音合成打包成一个整体,分 v1 Mini 和 v1 Max 两档。官方称两者平均约 0.6 秒开始说话,支持 90 多种语言、可用语音库里 1.7 万多个音色,已在 ElevenAgents 和兼容 OpenAI 格式的 Realtime API 中上线,按分钟加 token 计费。

据 ElevenLabs 官方博客的发布文章和模型文档,ElevenLabs 于 10 月 20 日推出 Eleven Realtime,一类新的「语音到语音」(Speech to Speech)模型。以前要做一个能实时对话的语音助手,得自己挑语音识别、断句和接话判断、大模型、语音合成几个组件再拼起来调;Eleven Realtime 把这些整合成一个模型,选好型号就能用。

几个要点:

  • 两档型号:v1 Mini 主打低成本、自然的闲聊式对话,官方推荐用于 AI 助手、教学陪练、互动角色;v1 Max 推理和调用工具更强,面向流程较复杂的多步骤任务;
  • 反应速度:官方引用第三方评测机构 Artificial Analysis 的结果,v1 Max 平均 0.57 秒开始出声,v1 Mini 约 0.62 秒;在用语音提问推理题的测试里,Max 答对 98.8%,Mini 答对 75.9%;
  • 对话手感:能处理打断、停顿和「嗯嗯」这类附和,在考察轮流说话的测试中 Mini 得分 95.8%、Max 94.1%;
  • 语言和音色:支持 90 多种语言,可使用 ElevenLabs 语音库中 1.7 万多个音色;
  • 怎么用:在 ElevenAgents 里新建或打开智能体,从模型下拉框里选择即可;开发者也可以通过 Realtime API 接入,它与 OpenAI Realtime API 的协议兼容,已有项目基本只需换接口地址;
  • 价格:按通话分钟加 token 计费,Max 比 Mini 贵,具体以官方价格页为准。

对创作者意味着什么: 这类模型降低的是「做一个会说话的角色」的门槛。做知识类内容、课程或互动小游戏的创作者,可以用 Mini 版做口语陪练、角色对话、作品里的互动讲解,不必再自己拼一整套语音链路。它本身不是配音工具,做视频旁白仍然用普通的文字转语音更合适。使用时音色请选官方库里有授权的,不要模仿真人声音,并在作品中说明这是 AI 语音。

信息来源:ElevenLabs 官方博客(本文为编辑整理改写)

推荐工具