从回答质量，到任务完成率

01成功定义在任务开始之前

一个会使用工具的模型，可以生成流畅说明，却没有把数据更新到正确位置。因此，智能体评估需要先规定可观察的完成条件。对数据加工任务，可能是目标表结构、记录范围与质量规则；对资料整理任务，则可能是引用有效性与结论覆盖。

任务集应固定初始状态、工具版本、输入资料与资源预算，并明确哪些动作不可接受。若只按最后一句回答打分，会遗漏重复写入、越权访问和未完成的中间步骤。

02分别观察结果、过程与成本

τ-bench 提供了一个有价值的研究视角：让智能体在用户交互、工具与领域规则共同构成的环境中执行，再对照目标检查最终数据库状态。它同时关注多次运行的可靠性。这里借鉴评估思路，不将第三方基准结果当作壹典的实验成绩。

面向企业任务的评估可以分为三个记录层：结果层判断产物是否达标；过程层检查工具权限、约束与证据；成本层记录调用量、延迟和人工介入。三层分别保留，便于解释一个方案为什么适合或不适合某类任务。

03重复执行揭示稳定性

单次成功不足以说明稳定性。相同任务应在独立、可复现的初始环境中多次运行，记录每一次的结果分布。成功率、连续多次成功与至少一次成功回答的是不同问题，不能混作同一个指标。

还需要主动引入工具超时、空结果、版本冲突与权限不足等扰动。能够在正常路径完成任务，与能够在环境变化后可靠停止、询问或恢复，是不同层次的能力。

• 终态：任务目标是否满足，产物是否能使用。
• 一致性：独立重复运行是否保持可靠。
• 恢复性：扰动后是否有正确的后续动作。

04比较拓扑时固定条件

多智能体并不天然优于单智能体。比较顺序执行、并行分工与独立复核时，应固定模型、工具、任务集与可比的预算。额外协作可能降低某类错误，也可能增加信息传递损耗与调用成本。

消融实验可依次移除复核节点、外部记忆或结构化产物约束，观察失败类型如何改变。对于评审分歧，需要保留可检查的输入与输出证据，避免使用不可审计的“模型觉得更好”作为唯一依据。

05让评估报告能够复查

一份可复查的报告需要说明任务来源、采样方法、环境版本、完成准则、运行次数与失败案例；如果使用人工判断，还应交代评审准则与分歧处理方式。成本与稳定性的取舍需要并列展示，不能由一个总分掩盖。

本页是一套评估方法设计，没有填写未经实验验证的性能数字。后续结果应绑定实际运行记录和适用范围，再进入技术报告；这样才能让研究结论与工程能力逐步对应。