评测工具
使用前须知
批量评测面向全体智能体开发者开放,用于验证专家、技能的效果。开发者选择待评测资产和一组用例后,平台自动执行评测,提供总分、通过率、主要问题和运行日志,供开发者迭代参考。
批量评测不做安全审核与内容审核检测,评测结果不作为资产发布依据。
使用入口与流程
进入开放平台左侧导航的「批量评测」菜单,其下包含「评测管理」与「评测集管理」两个页面。
首次使用按以下顺序操作:准备并上传评测集 → 等待校验通过 → 创建并启动评测任务 → 查看和导出结果。
使用额度与计费
- 当前为免费体验,每位开发者每日可启动 10 次评测,次日重置,不接入积分体系。
- 每次「启动」或「重新开始」占用 1 次额度;任务取消后,已占用的次数不返还。
- 当日额度用完后,无法启动新任务或重新开始评测,需等待次日额度重置。
准备并上传评测集
评测集是评测任务的用例来源。本章说明如何下载模板、准备文件、上传并确认校验结果。
下载评测集模板
进入「批量评测 / 评测集管理」,点击右上角「新建评测集」,在弹窗中点击「下载测评模板」获取评测集模板。
准备评测集文件
评测集由用例、默认评分设置和可选输入文件组成。以下以模板中的两条用例说明填写方式:盘货用例携带输入文件,文案字符限制用例演示单条用例自定义评分规则。维度、权重和阈值均为示例配置,不代表平台固定规则;字段说明仅覆盖该示例,非完整接口规范。
文件结构
评测集根目录/
├── cases.jsonl
├── header.json
└── workspace/
└── case_001/
└── supply_catalog.csv| 成员 | 是否必填 | 说明 |
|---|---|---|
cases.jsonl | 必填 | 用例集合:包括题目,预期答案,逐维度评分细则 |
header.json | 必填 | 提供评测集级默认设置:默认评分维度、默认权重、默认分数合算规则 |
workspace/ | 选填 | 部分用例的输入文件(如货盘表、邮件草稿等),按 case_NNN 分目录 |
填写 header.json:设置评测集默认规则
先填写评测集名称,再配置默认评分维度、权重和阈值。示例内容如下,可作为 header.json 的起始模板:
{
"dataset_name": "marketing-skill-eval",
"profile": {
"dimensions": [
{
"key": "task_completion",
"name": "任务完成度",
"weight": 0.45
},
{
"key": "instruction_follow",
"name": "指令遵循",
"weight": 0.3
},
{
"key": "factuality",
"name": "事实准确性",
"weight": 0.15
},
{
"key": "rule_compliance",
"name": "规则合规",
"weight": 0.1
}
],
"aggregation": {
"pass_threshold": 60,
"excellent_threshold": 85
}
}
}| 字段 | 示例 | 填写说明 |
|---|---|---|
| dataset_name | marketing-skill-eval | 评测集名称,替换为便于识别的名称。 |
| profile.dimensions | 四个评分维度 | 每个对象包含 key(维度标识)、name(展示名称)、weight(权重)。用例评分细则通过 key 对应维度。 |
| profile.dimensions[].weight | 0.45 / 0.30 / 0.15 / 0.10 | 示例权重合计为 1。可按业务重点调整,建议保持合计为 1。 |
| profile.aggregation.pass_threshold | 60 | 通过阈值;示例设为 60,不代表平台统一通过线。 |
| profile.aggregation.excellent_threshold | 85 | 优秀阈值;示例设为 85,不代表平台统一优秀线。 |
填写 cases.jsonl:定义每条用例
每行是一个完整 JSON 对象,描述一次用户任务及其预期结果。JSON 对象之间只换行、不加逗号,也不要包在数组中。填写时让用户问题、预期结果和评分细则采用同一判断标准。
| 字段 | 内容类型 | 填写说明 |
|---|---|---|
| case_name | 字符串 | 用例名称,如盘货或文案字符限制,便于在报告中识别。 |
| user_question | 字符串 | 实际发给被测资产的用户问题。说明输入、操作要求、输出格式及限制。 |
| expected | 字符串 | 可核对的预期结果,不必是唯一标准答案;应明确哪些行为或结果算完成任务。 |
| difficulty / case_type | 字符串 | 示例难度为 easy,类型使用 negative、boundary。分别用于描述难度和测试场景;完整可选值及校验要求以平台模板为准。 |
| checklist_by_dim | 维度标识 → 字符串数组 | 每个维度需要检查的具体事项。键应与该用例使用的评分维度标识一致。 |
| anchors_by_dim | 维度标识 → 分数与说明 | 说明不同分数对应的表现。示例使用字符串键 0、5.0、10.0,分别描述未完成、部分完成、完成良好。 |
| dimension_weights | 维度标识 → 数值 | 用例级评分权重。盘货用例未填写此项,沿用默认配置;文案用例设置了自己的五维权重。 |
| aggregation | 对象 | 用例级阈值配置,可设置 pass_threshold、excellent_threshold;未指定的规则沿用 header.json。 |
| input_files | 对象数组 | 有附加输入文件时声明,每个对象用 rel 指向评测集包内文件。示例无文件用例省略此项。 |
上传并确认校验结果
在「新建评测集」弹窗中填写评测集名称、上传文件并提交。评测集提交形态支持目录或整包 zip;zip 根目录应与评测集模板一致,不要再套一层文件夹。
上传成功后,系统自动生成评测集 ID。评测集名称允许重名,以评测集 ID 区分。
上传后,评测集进入「校验中」状态,预计约 2 分钟完成校验,期间不可用于发起评测。校验通过后,状态变为「可使用」。
校验失败时,系统会展示具体行号与字段错误;按提示修正文件后重新上传。
创建并管理评测任务
新建评测任务
进入「批量评测 / 评测管理」,点击右上角「新建评测任务」打开弹窗。
填写以下三项必填内容,并选择已通过校验的评测集:
| 字段 | 是否必填 | 说明 |
|---|---|---|
| 任务名称 | 必填 | 不超过 50 个字符 |
| 评测资产 | 必填 | 可在搜索框输入关键词过滤已上传资产 |
| 评测集 | 必填 | 可在搜索框输入关键词过滤已上传评测集 |
点击「启动评测」后,系统校验今日剩余评测次数;校验通过即创建任务并自动开始评测。额度规则见「使用额度与计费」。
查看任务与重新开始
在「评测管理」列表查看任务状态。任务完成后,点击「查看结果」进入评测报告。
需要再次评测时,可通过任务列表中的「重新开始」入口操作;次数占用及取消后的额度处理规则见「使用额度与计费」。
解读与导出评测结果
查看报告
评测报告包含以下四部分:
- 总分与统计:展示本次评测总分(百分制),以及用例数、通过数、失败数、通过率和总耗时。
- 主要问题:按严重度排序的问题清单,每条关联具体用例,便于定位对应运行日志。
- 运行日志:各用例的执行过程记录,界面中也称 Trace。
查看用例详情
点击运行日志表格中的用例行,进入该用例详情页,查看用户输入和运行日志。可结合主要问题清单,定位需要调整的资产行为。
导出与分享
HTML 报告:点击报告底部「导出报告」,生成自包含 HTML 单文件,可直接打开、转发或归档。文件包含任务元信息、积分消耗、总分与统计、主要问题和运行日志全表。
