NIOCIS 路由层:以类型化决策与节点条件选项空间优化工具智能体
原始标题 / NIOCIS: Typed-Decision Next-Hop Routing with Node-Conditioned Option Spaces for Tool-Use Agents
NIOCIS 将工具使用智能体的执行日志压缩为循环折叠的动作图,通过小模型单次输出类型化选项分布,以极低延迟替代耗时的大模型逐跳推理。
01 摘要
NIOCIS 是一个路由层,把执行日志折叠成循环折叠的动作图,用小型模型单次前向输出类型化选项的校准分布,而不生成文本。在生产安全运营的 1,615 个回合上,其编码器以 10 毫秒匹配 32.2% 的留出下一步决策,对比 LLM 每跳 2.2 秒。作者认为类型化层的选择基于成本,而非分离的性能领先。
02 关键点
- 在 3,875 个留出决策上,类型化编码器 10 毫秒内匹配记录下一跳的 32.2%,而 LLM 每跳耗时 2.2 秒。
- 微调后的 jpt-4b 达到 31.9% 准确率,零样本为 9.9%,配对检验未发现显著差异(p=0.68)。
- 选项空间消融显示,增益来自每节点候选限制(较平坦目录提升 3.5 个百分点),而非图遍历。
回到一手来源
阅读原文 ↗AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.LG