AI × 量化arXiv cs.LGSIGNAL F317B6

NIOCIS 路由层:以类型化决策与节点条件选项空间优化工具智能体

原始标题 / NIOCIS: Typed-Decision Next-Hop Routing with Node-Conditioned Option Spaces for Tool-Use Agents

NIOCIS 将工具使用智能体的执行日志压缩为循环折叠的动作图,通过小模型单次输出类型化选项分布,以极低延迟替代耗时的大模型逐跳推理。

01 摘要

NIOCIS 是一个路由层,把执行日志折叠成循环折叠的动作图,用小型模型单次前向输出类型化选项的校准分布,而不生成文本。在生产安全运营的 1,615 个回合上,其编码器以 10 毫秒匹配 32.2% 的留出下一步决策,对比 LLM 每跳 2.2 秒。作者认为类型化层的选择基于成本,而非分离的性能领先。

02 关键点

  1. 在 3,875 个留出决策上,类型化编码器 10 毫秒内匹配记录下一跳的 32.2%,而 LLM 每跳耗时 2.2 秒。
  2. 微调后的 jpt-4b 达到 31.9% 准确率,零样本为 9.9%,配对检验未发现显著差异(p=0.68)。
  3. 选项空间消融显示,增益来自每节点候选限制(较平坦目录提升 3.5 个百分点),而非图遍历。
回到一手来源

AI GENERATED SUMMARY / DISCOVERED BY ARXIV CS.LG

阅读原文 ↗