workbuddy logo

评测工具

使用前须知

批量评测面向全体智能体开发者开放,用于验证专家、技能的效果。开发者选择待评测资产和一组用例后,平台自动执行评测,提供总分、通过率、主要问题和运行日志,供开发者迭代参考。

批量评测不做安全审核与内容审核检测,评测结果不作为资产发布依据。

使用入口与流程

进入开放平台左侧导航的「批量评测」菜单,其下包含「评测管理」与「评测集管理」两个页面。

首次使用按以下顺序操作:准备并上传评测集 → 等待校验通过 → 创建并启动评测任务 → 查看和导出结果。

使用额度与计费

  • 当前为免费体验,每位开发者每日可启动 10 次评测,次日重置,不接入积分体系。
  • 每次「启动」或「重新开始」占用 1 次额度;任务取消后,已占用的次数不返还。
  • 当日额度用完后,无法启动新任务或重新开始评测,需等待次日额度重置。

准备并上传评测集

评测集是评测任务的用例来源。本章说明如何下载模板、准备文件、上传并确认校验结果。

下载评测集模板

进入「批量评测 / 评测集管理」,点击右上角「新建评测集」,在弹窗中点击「下载测评模板」获取评测集模板。

准备评测集文件

评测集由用例、默认评分设置和可选输入文件组成。以下以模板中的两条用例说明填写方式:盘货用例携带输入文件,文案字符限制用例演示单条用例自定义评分规则。维度、权重和阈值均为示例配置,不代表平台固定规则;字段说明仅覆盖该示例,非完整接口规范。

文件结构

评测集根目录/
├── cases.jsonl
├── header.json
└── workspace/
    └── case_001/
        └── supply_catalog.csv
成员是否必填说明
cases.jsonl必填用例集合:包括题目,预期答案,逐维度评分细则
header.json必填提供评测集级默认设置:默认评分维度、默认权重、默认分数合算规则
workspace/选填部分用例的输入文件(如货盘表、邮件草稿等),按 case_NNN 分目录

填写 header.json:设置评测集默认规则

先填写评测集名称,再配置默认评分维度、权重和阈值。示例内容如下,可作为 header.json 的起始模板:

{
  "dataset_name": "marketing-skill-eval",
  "profile": {
    "dimensions": [
      {
        "key": "task_completion",
        "name": "任务完成度",
        "weight": 0.45
      },
      {
        "key": "instruction_follow",
        "name": "指令遵循",
        "weight": 0.3
      },
      {
        "key": "factuality",
        "name": "事实准确性",
        "weight": 0.15
      },
      {
        "key": "rule_compliance",
        "name": "规则合规",
        "weight": 0.1
      }
    ],
    "aggregation": {
      "pass_threshold": 60,
      "excellent_threshold": 85
    }
  }
}
字段示例填写说明
dataset_namemarketing-skill-eval评测集名称,替换为便于识别的名称。
profile.dimensions四个评分维度每个对象包含 key(维度标识)、name(展示名称)、weight(权重)。用例评分细则通过 key 对应维度。
profile.dimensions[].weight0.45 / 0.30 / 0.15 / 0.10示例权重合计为 1。可按业务重点调整,建议保持合计为 1。
profile.aggregation.pass_threshold60通过阈值;示例设为 60,不代表平台统一通过线。
profile.aggregation.excellent_threshold85优秀阈值;示例设为 85,不代表平台统一优秀线。

填写 cases.jsonl:定义每条用例

每行是一个完整 JSON 对象,描述一次用户任务及其预期结果。JSON 对象之间只换行、不加逗号,也不要包在数组中。填写时让用户问题、预期结果和评分细则采用同一判断标准。

字段内容类型填写说明
case_name字符串用例名称,如盘货或文案字符限制,便于在报告中识别。
user_question字符串实际发给被测资产的用户问题。说明输入、操作要求、输出格式及限制。
expected字符串可核对的预期结果,不必是唯一标准答案;应明确哪些行为或结果算完成任务。
difficulty / case_type字符串示例难度为 easy,类型使用 negative、boundary。分别用于描述难度和测试场景;完整可选值及校验要求以平台模板为准。
checklist_by_dim维度标识 → 字符串数组每个维度需要检查的具体事项。键应与该用例使用的评分维度标识一致。
anchors_by_dim维度标识 → 分数与说明说明不同分数对应的表现。示例使用字符串键 0、5.0、10.0,分别描述未完成、部分完成、完成良好。
dimension_weights维度标识 → 数值用例级评分权重。盘货用例未填写此项,沿用默认配置;文案用例设置了自己的五维权重。
aggregation对象用例级阈值配置,可设置 pass_threshold、excellent_threshold;未指定的规则沿用 header.json。
input_files对象数组有附加输入文件时声明,每个对象用 rel 指向评测集包内文件。示例无文件用例省略此项。

上传并确认校验结果

在「新建评测集」弹窗中填写评测集名称、上传文件并提交。评测集提交形态支持目录或整包 zip;zip 根目录应与评测集模板一致,不要再套一层文件夹。

上传成功后,系统自动生成评测集 ID。评测集名称允许重名,以评测集 ID 区分。

上传后,评测集进入「校验中」状态,预计约 2 分钟完成校验,期间不可用于发起评测。校验通过后,状态变为「可使用」。

校验失败时,系统会展示具体行号与字段错误;按提示修正文件后重新上传。

创建并管理评测任务

新建评测任务

进入「批量评测 / 评测管理」,点击右上角「新建评测任务」打开弹窗。

填写以下三项必填内容,并选择已通过校验的评测集:

字段是否必填说明
任务名称必填不超过 50 个字符
评测资产必填可在搜索框输入关键词过滤已上传资产
评测集必填可在搜索框输入关键词过滤已上传评测集

点击「启动评测」后,系统校验今日剩余评测次数;校验通过即创建任务并自动开始评测。额度规则见「使用额度与计费」。

查看任务与重新开始

在「评测管理」列表查看任务状态。任务完成后,点击「查看结果」进入评测报告。

需要再次评测时,可通过任务列表中的「重新开始」入口操作;次数占用及取消后的额度处理规则见「使用额度与计费」。

解读与导出评测结果

查看报告

评测报告包含以下四部分:

  • 总分与统计:展示本次评测总分(百分制),以及用例数、通过数、失败数、通过率和总耗时。
  • 主要问题:按严重度排序的问题清单,每条关联具体用例,便于定位对应运行日志。
  • 运行日志:各用例的执行过程记录,界面中也称 Trace。

查看用例详情

点击运行日志表格中的用例行,进入该用例详情页,查看用户输入和运行日志。可结合主要问题清单,定位需要调整的资产行为。

导出与分享

HTML 报告:点击报告底部「导出报告」,生成自包含 HTML 单文件,可直接打开、转发或归档。文件包含任务元信息、积分消耗、总分与统计、主要问题和运行日志全表。

联系客服