Heidi Labs
Hugging FaceAI 领域最新发展约 25 分钟9,878 字

BotPsy:亚十亿参数端侧智能体个人助理

本文目录

前沿云端大语言模型(LLM)的运营成本高昂且可能意外波动,依赖这类第三方模型还会带来脆弱性——服务商随时可能修改、拒绝或弃用访问权限。此外,专有模型对特定工作流的定制能力有限,同时在隐私、数据控制权和透明度方面存在风险。况且并非每项任务都需要前沿级智能:小型专用智能体在特定任务上同样能干,运行成本却低得多,因为许多常规或较轻量的工作负载可以在设备端高效处理。随着「每参数智能」持续快速提升,我们希望站在这一转向高性能、以隐私为中心、可自托管模型的前沿。

Tether AI Research 推出 BotPsy,这是一个 0.8B 参数模型,专为函数调用和智能体工作流设计,基于 Qwen3.5-0.8B 构建,适合端侧部署。BotPsy 是一个「个人助理」,通过工具为用户完成各类简单任务,涵盖网络搜索与研究、旅行与生活、商业与金融、业务与客户运营、设备与车辆控制、文件与文档、日历,以及电子邮件与消息等场景。由于参数量小,它最适合低到中等难度的任务。BotPsy 在同尺寸模型中实现了最先进的(state-of-the-art, SOTA)工具使用与智能体表现,在我们测试过的所有不超过 1.2B 参数的模型中名列前茅(图 1 和图 2)。它面向安全的端侧工作流设计,在保持用户数据隐私的同时,提供了出色的指令遵循可靠性和效率。作为一个小模型,BotPsy 仍会犯错,不适用于高风险用途;更多信息请阅读「预期用途与局限」。

🤗 模型(safetensors)| 📦 GGUF(bf16、Q8、Q4)

图 1:BotPsy-0.8B 显著优于其基座模型,在六项工具使用与智能体基准中的五项领先,包括对阵参数量为其 2.5 倍的 Qwen3.5-2B-Think;仅在 Claw-Eval 上 Qwen3.5-2B-Think 略胜一筹。

图 2:知识:工具使用训练保留并提升了 BotPsy 相对于同尺寸模型的通用知识,但整体知识水平仍主要随参数量扩展。指令遵循:BotPsy 擅长遵循明确指令和多轮任务,但随着指令累积表现下降,在低资源语言上也落后。

版权投诉

我们将对版权侵权通知采取适当行动。如果你认为你的作品被以侵犯知识产权的方式使用或复制,请发送邮件至 data-apps@tether.io,说明并描述受版权保护的作品及涉嫌侵权内容,以提交侵权通知。

核心亮点#

基准测试结果#

  • 性能达到基座模型的两倍:BotPsy 在关键基准上将 Qwen3.5-0.8B-Think 的智能体能力大致翻倍:BFCL v4 从 23.4 升至 44.0,ACEBench 从 30.1 升至 58.7,τ-bench 从 23.2 升至 51.5(零售、电信和银行子集的平均值)。
  • 同类别最佳智能体:在 ≤1.2B 参数权重级别中(Qwen3.5-0.8B-Think、LFM2.5-1.2B-Think、MiniCPM5-1B-Think),BotPsy 在全部六项工具使用与智能体基准上均领先:BFCL v4、ACEBench、τ-bench、ToolSandbox、Claw-Eval 和 BrowseComp-Plus。
  • 超越更大的同门模型:在测试的六项基准中,BotPsy 有五项得分最高,击败了参数量为其 2.5 倍的 Qwen3.5-2B-Think:BFCL v4(44.0 对 37.7)、ACEBench(58.7 对 55.4)、τ-bench(51.5 对 46.5)、ToolSandbox(64.6 对 41.2)以及 BrowseComp-Plus(4.5 对 2.8)。仅在 Claw-Eval 上 Qwen3.5-2B-Think 领先(48.9 对 46.5)。

模型能力#

  • 多轮工作流更可靠:在 τ²-bench 上,智能体必须维持长时间的客户对话、遵循严格策略并代表客户行动,BotPsy 在电信场景得分 82.5,领先 Qwen3.5-2B-Think(69.3)。在 BFCL v4 的多轮任务上,它从基座模型的 7.5 提升至 46.1,几乎是 Qwen3.5-2B-Think(23.8)的两倍。按应用分组,其多步得分在商业与服务(58.3,次优 Qwen3.5-2B-Think 为 47.4)以及设备与系统管理(46.1 对 31.9)中领先所有测试模型。
  • 知道何时(不)调用工具:一个会行动的智能体也必须知道何时不行动。在 BFCL v4 的幻觉测试中(检查模型在不存在合适工具时是否会拒绝),BotPsy 得分 86.1,为所有测试模型最高。在 ACEBench 的特殊案例中(请求不完整、参数错误或给定工具无法满足),它得分 51.3,而基座模型为 13.7。
  • 遵循指令同时保留知识:BotPsy 专注于工具使用,同时保留通用技能。指令遵循能力大幅提升:IFEval 从 59.7 升至 90.8,IFBench 从 22.0 升至 55.9,为所有测试模型中最高。通用知识也有提升:GPQA Diamond 从 33.2 升至 38.1,MMLU-Pro 从 41.6 升至 48.9。在这四项基准上,BotPsy 都优于我们测试过的所有其他 ≤1.2B 参数模型。

安全性、效率与部署#

  • 同类别中更安全:在覆盖六类危害的自动化红队测试中,BotPsy 有 21% 的概率产生不安全回复,基座模型为 36%。这是所有 ≤1.2B 参数模型中最低的(LFM2.5-1.2B-Think:35%;MiniCPM5-1B-Think:47%)。在提示注入攻击(prompt-injection attacks)下——这对于会读取不可信工具输出的智能体尤为重要——不安全率从基座模型的 46% 降至 31%。
  • 更高效的推理、更少的循环:在五个模型都能正确回答的问题上,BotPsy 在 GPQA Diamond 上达成答案所用的推理词元(token)约为基座模型的 1/3(3,690 对 11,563),在 MMLU-Pro 上约为 1/2.7(1,912 对 5,105)。在全部 IFBench 尝试中,陷入重复推理循环的比例从 22.9% 降至 1.4%,触及 32k 词元上限的运行从 28.3% 降至 0.2%。更短、更果断的推理应能降低端侧延迟。
  • 开源即用:BotPsy 将以 Apache 2.0 许可证开放权重发布,供研究和教育使用。它将提供三种精度(bf16、Q8、Q4),以 Hugging Face safetensors 以及适用于 QVAC SDK 和 llama.cpp 的 GGUF 文件形式提供。

更广阔的愿景#

在 BotPsy 的基础上,Tether Data, S.A. de C.V.(「Tether AI Research」,即「我们」)未来的开发将专注于扩展端侧智能体能力,使其无缝集成到更广泛的硬件和本地服务中。Tether 的 Hypersearch 将演进为支持更稳健的去中心化点对点(P2P)查询,进一步确保私密、加密、绕过企业追踪器的网络搜索。QVAC Fabric 的本地微调机制将被优化,以更深入地适配个人用户偏好、工作流和专用工具环境。未来版本将允许智能手机界面在离线—在线切换期间,将重型计算任务平滑委托给家用 PC 或可信的安全 P2P 节点。隐私协议将持续加强,确保所有个人数据、凭证和决策严格保留在本地硬件上。还将引入协作功能,允许在可信本地网络内进行安全的智能体间通信,同时不损害用户机密性。最终,这些进展将使 BotPsy 成为一个完全自主、能力强大的个人 AI 生态系统,让用户完全掌控自己的数字生活。

方法#

BotPsy 基于 Qwen3.5-0.8B,按四个连续阶段进行后训练:监督微调(Supervised Fine-Tuning, SFT)、多教师同策略蒸馏(Multi-teacher On-Policy Distillation, MOPD),以及两轮强化学习(RL)。每个阶段都以上一阶段的最佳检查点为起点,并受益于不同的学习信号:对参考轨迹的模仿、大得多的教师模型的词元分布,以及基于规则的工具调用奖励(见图 3)。

图 3:BotPsy 训练配方。学生模型经历四个阶段。三个专业化的 Qwen3.5-4B 教师模型分别在蒸馏阶段指导它,每个教师都针对一项技能做过 RL 训练。

训练流程:四个阶段,三类反馈#

我们的方法使用四个训练阶段,从三类信号中学习:演示、专业教师和可验证奖励。

从演示中学习(SFT)#

我们首先在工具使用对话上进行全参数监督微调。这些数据包括来自模拟环境的多轮智能体轨迹、重放的单次/并行/多步调用,以及不应调用任何工具的情形。

从教师中学习(MOPD)#

接下来,学生模型通过同策略蒸馏(on-policy distillation, OPD)训练:它生成自己的回复,专业教师对每个词元提供反馈,以逐词元反向 KL 散度作为训练信号。为构建教师,我们首先通过 RL 训练了三个 Qwen3.5-4B 模型,分别专精于工具使用、通用推理和指令遵循。训练期间,每个提示都被路由到其中一个教师。这一阶段主要旨在恢复在 SFT 阶段退化的知识和指令遵循能力,尽管工具使用指标也有所提升(见图 4)。

图 4:每个训练阶段后各能力组的平均得分。SFT 提升了工具使用,但使知识和指令遵循低于基座模型;蒸馏将两者拉回基座之上,RL 阶段则在这三项上进一步提升。

从规则和环境中学习(RL 阶段)#

最后,模型使用 DAPO [1] 进行强化学习,仅从规则和验证器计算出的奖励中学习。第一轮聚焦工具调用,并辅以指令遵循和 STEM 多项选择题。与 Tool-N1 [2] 一样,工具调用奖励首先检查推理和工具调用格式。但与 Tool-N1 的二元正确性奖励不同,它借鉴 ToolRL [3] 的思路给出细粒度部分分数,将预测的工具名、参数名和参数值与真实值进行匹配。

第二轮将训练混合扩展到通用领域的可验证任务:数学、代码、知识(多项选择)题、指令遵循、结构化输出,以及模拟工作环境中的多步工具使用。尽管这一混合不包含多轮对话,它仍进一步提升了多轮函数调用能力。

数据构成#

每个训练阶段使用不同的数据混合(图 5)。SFT 阶段主要聚焦工具使用,为后续阶段奠定基础。MOPD 混合结合了工具使用、知识和指令遵循数据,既进一步提升函数调用,也恢复 SFT 阶段造成的通用领域退化。第一轮 RL 再次主要聚焦工具使用,而第二轮 RL 将重心转向通用领域数据(指令遵循、知识、数学和代码),保留较小比例的工具使用。

图 5:各阶段训练数据的大致构成,按能力分组。

结果#

工具使用与智能体#

BotPsy 将其 Qwen3.5-0.8B 基座的工具使用性能大致翻倍,并在六项智能体基准中的五项成为五个模型里最强的一个:BFCL v4(44.0 对 23.4)、ACEBench(58.7 对 30.1)、τ-bench(51.5 对 23.2)、BrowseComp-Plus(4.5 对 1.9)和 ToolSandbox(64.6 对 30.5)。在这五项上,它也领先于参数量为其 2.5 倍的 Qwen3.5-2B-Think(分别为 37.7、55.4、46.5、2.8 和 41.2;见表 1)。在 Claw-Eval 上,Qwen3.5-2B-Think 领先(48.9 对 46.5)。

表 1:工具使用与智能体基准(0–100,越高越好)。每行最佳分数加粗,次佳下划线;倍数给出相对于 BotPsy-0.8B 的参数量。平均值为六项基准的未加权均值。评估设置细节见「评估脚注」。

基准BotPsy-0.8B(本文)Qwen3.5-0.8B-Think(基座·1×)Qwen3.5-2B-Think(2.5×)LFM2.5-1.2B-Think(1.5×)MiniCPM5-1B-Think(1.25×)
BFCL v4¹44.023.437.728.122.8
ACEBench²58.730.155.439.424.5
τ-bench³51.523.246.56.528.8
Claw-Eval⁴46.539.348.931.631.0
BrowseComp-Plus⁵4.51.92.80.20.8
ToolSandbox⁶64.630.541.245.728.1
平均45.024.738.825.322.7

知识#

工具使用训练没有牺牲通用知识:GPQA Diamond 从 33.2 升至 38.1,MMLU-Pro 从 41.6 升至 48.9,在 ≤1.2B 参数模型中最佳(LFM2.5-1.2B-Think:35.0 和 39.4;MiniCPM5-1B-Think:15.8 和 40.0)。知识仍主要随参数量扩展,Qwen3.5-2B-Think 得分远高于此(59.9 和 65.5)。因此,BotPsy 的设计目标是调用工具来获取它不知道的事实,而不是充当知识模型。

表 2:通用知识基准(0–100,越高越好)。每行最佳分数加粗,次佳下划线。评估设置细节见「评估脚注」。

基准BotPsy-0.8B(本文)Qwen3.5-0.8B-Think(基座·1×)Qwen3.5-2B-Think(2.5×)LFM2.5-1.2B-Think(1.5×)MiniCPM5-1B-Think(1.25×)
GPQA Diamond⁷38.133.259.935.015.8
MMLU-Pro⁸48.941.665.539.440.0

指令遵循#

BotPsy 在遵循明确指令方面是五个模型中最好的:IFEval 90.8(基座 59.7;Qwen3.5-2B-Think 80.0),IFBench 55.9(基座 22.0;Qwen3.5-2B-Think 40.9)。在测试八种语言三轮指令遵循的 Multi-IF 上,它得分 67.2,与 Qwen3.5-2B-Think(66.9)和 LFM2.5-1.2B-Think(68.2)相当。它起步最强(第一轮 84.3,五个模型中最高),但随着指令累积下降更快(第三轮 51.0,而上述两个模型为 56.5 和 56.2)。低资源语言仍是弱点:印地语(24.5)和俄语(57.6)远低于英语、中文、法语、西班牙语、意大利语和葡萄牙语达到的 72–80。

表 3:指令遵循基准(0–100,越高越好)。每行最佳分数加粗,次佳下划线。评估设置细节见「评估脚注」。

基准BotPsy-0.8B(本文)Qwen3.5-0.8B-Think(基座·1×)Qwen3.5-2B-Think(2.5×)LFM2.5-1.2B-Think(1.5×)MiniCPM5-1B-Think(1.25×)
IFEval⁹90.859.780.085.678.4
IFBench⁹55.922.040.933.940.6
Multi-IF¹⁰67.243.266.968.253.4

多轮对话#

相对增益最大的是多轮、有状态的交互,BotPsy 在五项多轮基准中的四项领先(图 6)。在 BFCL v4 多轮上,它从 7.5 升至 46.1,几乎是 Qwen3.5-2B-Think(23.8)的两倍;在 ACEBench Agent 上从 7.9 升至 28.3(Qwen3.5-2B-Think:16.2)。在 τ²-bench 上,它在零售场景将基座模型翻倍(67.8 对 33.9,略领先于 Qwen3.5-2B-Think 的 65.5),在电信场景达到 82.5——该场景要求智能体在多轮中引导用户进行故障排查(MiniCPM5-1B-Think:74.0;Qwen3.5-2B-Think:69.3)。它也是五个模型中最可靠的:单次调用(BFCL non-live:83.0)以及在没有合适工具时不调用工具(BFCL 幻觉:86.1)。

图 6:多轮智能体任务:BFCL v4 多轮、ACEBench Agent、τ²-bench(零售、电信)和 τ³-bench(银行)。BotPsy 在五项基准中的四项领先;在 τ³-banking 上,所有模型都低于 5。

薄弱环节#

BotPsy 的薄弱环节是开放式搜索,以及少数仍由 Qwen3.5-2B-Think 领先的领域。BotPsy 的 BrowseComp-Plus 得分 4.5 是五个模型中最好的,但绝对值较低;在 BFCL 网络搜索(14.0)和记忆(16.3)上,它落后于 Qwen3.5-2B-Think(19.8 和 26.1)。在 Claw-Eval 上,BotPsy 明显优于基座(46.5 对 39.3),但仍略低于 Qwen3.5-2B-Think(48.9)。在 ACEBench 的特殊案例(不完整或错误请求)上,Qwen3.5-2B-Think 也领先(58.0 对 51.3),不过 BotPsy 在此远高于其基座(13.7)。τ³-banking 是 BotPsy 唯一未领先的多轮基准:没有模型超过 5(BotPsy 4.1,与基座相同;Qwen3.5-2B-Think 4.8)。

适用场景:应用级表现拆解#

BotPsy 可以处理多种用例和场景。图 7 按应用组拆解基准场景,区分简单场景(单轮、一次工具调用)和复杂场景(多轮或多工具)。本节引用的总体得分是对所有场景取平均;图 7 底行是七个组的未加权均值,因此数字有所不同。

单次工具调用在各处都表现良好#

在每个样本量有意义的应用组中,简单场景得分 70–79(Communication & Social 仅 6 个)。总体而言,BotPsy 得分 75,比基座模型(54)高约 21 分,略高于 Qwen3.5-2B-Think(70)。

图 7:按应用组划分的每场景平均得分(0–100,越高越好),左侧为简单场景,右侧为复杂场景。n 给出每组简单/复杂场景数;底行是七个组的未加权均值。

最大增益来自多步任务#

在复杂场景上,BotPsy 总体得分 39.5,基座为 17.9,Qwen3.5-2B-Think 为 30.8。增益最大的是 Communication & Social(61 对基座 13)、Commerce & Services(58 对 27)和 Device & System Management(46 对 15)。Qwen3.5-2B-Think 仅在 Personal Productivity & Work 领先(64 对 58,38 个场景,主要是 Claw-Eval),而 MiniCPM5-1B-Think 在 Communication & Social 略高(61.5 对 60.5)。多步任务得分仍低于单次调用,这仍是更难任务的主要限制。

多步信息检索是弱项#

复杂的 Information Retrieval & Research 场景得分 15(单次调用:79)。其中多数是 BrowseComp-Plus 深度研究问题,对该尺寸区间的每个模型都很难(基座:9;Qwen3.5-2B-Think:14)。

推理效率#

BotPsy 用远少于基座的推理达成正确答案,在多轮智能体任务上也用更少的轮次。这与我们在整个训练中对推理效率的明确关注一致。以下所有比较都在相同问题或任务上进行(即五个模型都正确回答或解决的任务),因此难度差异不会驱动数字。推理词元按各模型自己的分词器计数。

图 8:在 GPQA Diamond、MMLU-Pro、IFEval 和 IFBench 上,准确率与每个正确答案所需推理词元的关系。词元在五个模型都正确回答的问题上测量;准确率基于全部问题。左上角更优;虚线为帕累托前沿。

推理更短,准确率更高。 与基座相比,BotPsy 在 GPQA Diamond(3,690 对 11,563)、MMLU-Pro(1,912 对 5,105)、IFEval(3,148 对 4,433)和 IFBench(4,204 对 11,576)上每个正确答案所用推理词元少 1.4–3.1 倍,同时在四项上得分都更高(图 8)。它并非处处最短:LFM2.5-1.2B-Think 在 MMLU-Pro、IFEval 和 IFBench 上推理更短,MiniCPM5-1B-Think 在 IFEval 和 IFBench 上更短,但它们在每一项上的准确率都低于 BotPsy。

图 9:在 τ²-bench 零售和电信上,通过率与每个已解决任务所需助手轮次的关系。轮次在五个模型都解决的任务上测量;通过率基于全部任务。左上角更优;虚线为帕累托前沿。

多轮智能体任务中轮次少于基座。 在五个模型都解决的 τ²-bench 任务上,BotPsy 所需的助手轮次少于基座(图 9):

  • τ²-retail:10.7 轮,基座为 11.7 轮(少 9%),Qwen3.5-2B-Think 为 10.6 轮。
  • τ²-telecom:13.1 轮,基座为 17.6 轮(少 26%),Qwen3.5-2B-Think 为 13.8 轮(少 5%)。

与此同时,它通过的任务数是基座的 2.0 倍(零售)和 2.6 倍(电信)。MiniCPM5-1B-Think 在零售上轮次更少(8.7),但仅通过 9.9% 的零售任务。

预期用途与局限#

BotPsy 的开发旨在推进最先进水平,并支持研究和教育用途。基于我们工作开发的模型可能适用于以下领域任务:设备与系统管理(设置、文件与文档、时钟与闹钟)、个人生产力与工作(日历与任务、电子邮件、协作工具)、通信(消息)、信息检索与研究(网络搜索、天气、新闻)、媒体与生活(视频、音乐、食谱与健身、照片)以及商业与服务(地图与旅行、金融、购物与配送)。由于参数量小,它最适合低到中等难度的任务。

BotPsy 主要以英语训练和测试,英语是推荐语言。它也在 Multi-IF 上评估,覆盖另外七种语言(中文、法语、印地语、意大利语、葡萄牙语、俄语和西班牙语):它在其中大多数语言上表现良好,但在印地语和俄语上得分低得多。BotPsy 是一个小型语言模型,会犯错。它不适用于安全关键或高风险的自动化决策,也不适用于涉及金钱、个人信息、健康和其他敏感主题的应用。

引用#

@misc{botpsy2026,
  title = {BotPsy: On-Device Personal Assistant with a Sub-Billion-Parameter Agentic Language Model},
  author = {{Tether Data, S.A. de C.V. d.b.a. Tether AI Research}},
  year = {2026},
  note = {Hugging Face blog}
}

参考文献#

[1] Yu, Qiying, et al. "DAPO: An Open-Source LLM Reinforcement Learning System at Scale." Advances in Neural Information Processing Systems 38 (2025): 113222–113244.

[2] Zhang, Shaokun, et al. "Nemotron-Research-Tool-N1: Exploring Tool-Using Language Models with Reinforced Reasoning." International Conference on Learning Representations (2026).

[3] Qian, Cheng, et al. "ToolRL: Reward is All Tool Learning Needs." Advances in Neural Information Processing Systems 38 (2025).

评估脚注#

所有得分均为百分比(越高越好)。

所有模型均在思考(推理)模式下评估。

所有使用外部 API 的基准于 2026 年 11 月 3 日运行。

¹ BFCL v4:总体得分使用官方加权公式计算(40% Agentic、30% Multi-Turn、10% Live、10% Non-Live、10% Hallucination),对 3 次运行取平均。

² ACEBench:总体准确率。所有模型都在函数调用(FC)模式下评估;2 次运行的均值。

³ τ-bench:τ²-bench(零售、电信)与 τ³-bench(银行)的平均值,不含航空;3 次运行的均值。

⁴ Claw-Eval:官方平均任务得分,每个任务得分为安全 ×(0.8 × 完成度 + 0.2 × 稳健性);3 次运行的均值。

⁵ BrowseComp-Plus:准确率,所有模型最多 30 步。

⁶ ToolSandbox:8 个设置上的平均相似度得分。

⁷ GPQA Diamond:全部 198 道题的准确率,3 次运行的均值,启用思考。

⁸ MMLU-Pro:准确率。

⁹ IFEval、IFBench:提示级严格准确率。

¹⁰ Multi-IF:3 次运行的均值。