语音对话系统实现边听边调用工具

01 摘要

论文指出延迟敏感的语音代理需在听够信息时立即调用工具，而非等待回合结束。作者构建了含最早可行动点标注的合成语音对话数据集，并训练全模态模型进行因果分块决策。实验显示模型在域内和外部基准上分别达到0.48和0.47的工具状态宏F1，正确调用时平均领先回合结束级联1.8-2.0秒和1.1秒。

02 关键点

1. 构建26,694段对话、786小时、48个领域的合成语音数据集，提供最早可行动点监督。
2. 训练全模态语言模型，支持因果分块级工具状态决策和部分转录生成。
3. 在留出对话和外部基准上工具状态宏F1分别为0.48和0.47。
4. 正确调用时，相比回合结束级联平均提前1.8-2.0秒（域内）和1.1秒（外部基准）。