arXiv cs.AIAI 领域最新发展约 2 分钟781 字
本体到底能捕获什么:三类本体作为智能体检查器
本文目录
作者:Michal Orzechowski、Rund Tawfiq、Tomasz Kosciolek
arXiv:2610.37809(cs) · 提交于 2026 年 10 月 27 日
摘要#
在 Web 知识图谱上回答问题的 LLM 智能体,越来越多地被套上一层由图谱本体(ontology)衍生出的检查,人们假设形式化模式(schema)能带来可靠的裁判。然而检查器本身也可能出错:它可能漏掉错误,也可能把正确答案标记出来,并迫使智能体去「修正」它们。精选本体(curated ontology)作为这样的裁判是否值得其成本,以及它与由 LLM 写出的本体、或从数据中挖掘出的模式相比如何,目前尚不清楚。我们把检查器本身作为研究对象。在精选、LLM 生成和数据衍生这三类本体上,在本体被用作提示上下文、检查器或两者兼有的情况下,在开源权重与专有智能体上,在公开图谱以及一个包含近 $10^{9}$ 个三元组的私有图谱上,我们核算了本体衍生检查抓到了什么、又误标了什么。我们展示了每种来源如何在抓到的错误与误报之间权衡,一个按原样使用的精选模式如何可能与其自身数据相矛盾,结构性检查会漏掉哪些错误,以及合并多种来源、或把检查器的具体反馈交给智能体是否划算。在 UniProt 上,与从数据衍生的本体、或由 LLM 从标识符被遮蔽的数据摘要衍生出的本体相比,精选本体标记出的正确答案更多。在真实的智能体答案上,它的标记仅比随机标记的精确度高一点点。
论文信息#
- 注释:13 页,2 幅图;正在审稿中
- 主题:人工智能(cs.AI);数据库(cs.DB)
- 引用格式:arXiv:2610.37809 [cs.AI]
- DOI:https://doi.org/10.48550/arXiv.2610.37809
提交历史#
- 提交者:Michal Orzechowski
- [v1] 2026 年 10 月 27 日星期二 18:27:45 UTC(54 KB)