Higgs Realtime

Higgs Realtime Duplex（Boson AI / 李沐团队）

Higgs Realtime Duplex 是李沐（Mu Li）与 Alex Smola 创立的 Boson AI 在 2026 年 11 月发布的研究预览模型，定位是全双工、实时、多模态交互大模型——不是“你问一句它答一句”的语音助手，而是能像人一样“边听、边看、边想、边说、边干活”的对话智能体。

1. 它到底是什么

• 形态：45B 参数的 MoE 前台模型（前端直接面对用户），在文本基座上继续用约 2T token 的文本/音频/视频数据训练
• 模态：语音输入 + 视频/屏幕输入 → 语音输出 + 实时面部形象输出 + 文本/工具信号
• 交互方式：全双工（Full-Duplex），不按“轮次”切，按 160ms 时间片连续流式处理
• 当前状态：Duplex 版 API 仅候补名单；已开放的是上一代 Higgs Realtime（端到端语音+数字人，非完整双工）

2. 核心能力（和传统语音 Agent 的区别）

① 真正全双工，不“等你说完”

传统链路：VAD → ASR → LLM → TTS（串行，1–2 秒延迟）

Higgs Duplex：

• 每 160ms 收一段音频/视频/工具结果
• 同时预测下一段该说啥（可以是“嗯哼”、静音、半句话、完整回答）
• 你说到一半它就能接话、附和、纠正；你打断它，它立刻停、不回滚逻辑

② 边说边在后台思考 + 调工具

• 思考 token、工具调用、后台大模型结果，都拆进时间片里异步跑
• 查价格没返回 → 先说“我帮你看一下”，结果到了再补后半句
• 难题可委派给更大的后端模型，前台继续陪聊，不冷场

③ 多模态“在场感”

• 看摄像头/屏幕：英语陪练看嘴型纠正 west/vest；开会看白板改图
• 有自己的脸：因果 DiT 实时渲染表情，和语音同步
• 能判断“这句话是不是在跟我说话”，忽略旁人闲聊和背景噪声

④ 成本意识设计

• 音视频流约 2.6K token/分钟，含思考工具约 2.6–5K token/分钟
• 目标：1 小时对话成本 < 人工 1 小时的 1/10
• 近期 5 分钟保留原始多模态，更早历史压成文本，控制长上下文开销

3. 技术架构（粗拆）

输入端

• 音频编码器：160ms 块 → 每块 1 个音频 token
• 视频编码器：每 ~0.96s 取 1 帧
• 文本/工具结果：同时间轴注入

主干

• 45B MoE（前台），原生多模态 token 流，不用 ASR 转纯文本再进 LLM

输出端

• 音频：因果 flow-matching 解码器，每块 2 个音频 token
• 面部：因果 DiT，参考图 + 前序 latent 保持连续性
• 静音也是合法输出（决定“这时候不说话”）

训练链路

1. 文本 LLM 预训练 → 多模态 mid-training（2T token）

2. GRPO 强化学习：练“什么时候开口/闭嘴/打断/附和”

3. 多教师 on-policy 蒸馏：把专用教师策略压到 45B 学生模型

4. 模拟环境自迭代：练重叠语音、噪声、真实时机

5. 官方演示场景

• 开车点单：司机跟收银员对话时它不插嘴，订单结束才汇报“你没点 animal-style 薯条”
• 英语陪练：看嘴型、听发音、按节奏带练，实时纠音
• 工程助手：边听人看书，边 diff 代码、调 Claude Code 造工具、跑合规检查、发邮件，结果好了再报数

5. 跑分（官方口径）

基准 分数
BigBench Audio 98.9
IFEval 94.1
τ-Voice 69.8
Full-Duplex-Bench v1.5 75.5
Audio MultiChallenge 44.9

参数只有对比模型 1/6 左右，但双工交互和实时性有竞争力，不是纯靠大模型堆分。

6. 怎么用 / 怎么接入

• 现在能用：Higgs Realtime API（端到端语音+Avatar，有教程和 Pipecat/LiveKit 示例）
  • 文档：docs.boson.ai
  • 教学仓库：github.com/boson-ai/Higgs-Realtime-Tutorial
• Duplex 权重：未开源，无公开 checkpoint
• Duplex API：候补名单，未正式计价
• 自部署思路：STT + 视觉模型 + LLM + TTS + Avatar 拼接，可以近似复刻产品体验，但不是同一个端到端模型

7. 它为什么值得关注

它把“交互时机”第一次变成模型内部学到的能力，而不只是工程外层拼的 VAD/打断逻辑：

• 过去：模型聪明，但交互是胶水
• Higgs Duplex：模型自己管“听—想—说—做”的节奏

这对 Agent 产品的影响是结构性的：

• 语音客服、陪练、车载、会议、后台协作助手，会从“命令行变声版”变成“在场协作者”
• 会倒逼 API 标准从 request/response 走向 streaming + 异步工具流