以下两个问题看起来存在于 Workspace-Bench Lite CN 的任务元数据中。它们可能导致与模型能力无关的误判,或让 harness 生成与题面、rubric 不一致的交付要求。
Task 269:Markdown 任务与 DOCX 输出合同冲突
建议 review 的官方仓库文件:
evaluation/tasks_lite/269/metadata.json
观察到的合同不一致:
task 要求模型生成 2024 年 12 月客户对账分析报告.md,并将报告保存到 /销售管理/月度对账。
- 第 1 条 rubric 明确检查
2024 年 12 月客户对账分析报告.md。
output_files 却声明为 2024 年 12 月客户对账分析报告.docx。
file_dep_graph.to 同样指向 2024 年 12 月客户对账分析报告.docx。
影响:
如果 harness 根据 output_files 生成提交约束,模型可能被要求只提交 DOCX;但题面和 rubric 实际要求 Markdown。这会诱导模型产出错误格式,或者导致评测器漏看已经按业务路径保存的有效 Markdown 报告。
建议的官方修复:
- 将
output_files 改为 2024 年 12 月客户对账分析报告.md。
- 将
file_dep_graph.to 同步改为相同的 Markdown 文件名。
- 如果评测器只读取提交目录,应明确要求或 staging 业务路径中的 Markdown 到评测可见目录,而不是引入 DOCX-only 的额外合同。
Task 346:Rubric 将“当前日期”写死为过期日期
建议 review 的官方仓库文件:
evaluation/tasks_lite/346/metadata.json
观察到的问题:
task 要求模型完成固定资产报废流程和库存临期汇总,但没有定义一个固定业务日期。
- 第 5 条 rubric 写成:
输出表格中报废资产申请日期是否填写为当前日期(2026-04-07)。
影响:
在 2026-04-07 之后运行评测时,如果模型正确使用评测运行当天日期,仍可能因为 rubric 中写死的旧日期被判错。
建议的官方修复:
- 如果期望固定业务日期,应在
task 中明确指定必须使用 2026-04-07。
- 如果期望使用运行时当前日期,应将 rubric 改为动态表达,例如
评测运行当天日期,并由评测器在运行时解析为当天日期。
以下两个问题看起来存在于 Workspace-Bench Lite CN 的任务元数据中。它们可能导致与模型能力无关的误判,或让 harness 生成与题面、rubric 不一致的交付要求。
Task 269:Markdown 任务与 DOCX 输出合同冲突
建议 review 的官方仓库文件:
evaluation/tasks_lite/269/metadata.json观察到的合同不一致:
task要求模型生成2024 年 12 月客户对账分析报告.md,并将报告保存到/销售管理/月度对账。2024 年 12 月客户对账分析报告.md。output_files却声明为2024 年 12 月客户对账分析报告.docx。file_dep_graph.to同样指向2024 年 12 月客户对账分析报告.docx。影响:
如果 harness 根据
output_files生成提交约束,模型可能被要求只提交 DOCX;但题面和 rubric 实际要求 Markdown。这会诱导模型产出错误格式,或者导致评测器漏看已经按业务路径保存的有效 Markdown 报告。建议的官方修复:
output_files改为2024 年 12 月客户对账分析报告.md。file_dep_graph.to同步改为相同的 Markdown 文件名。Task 346:Rubric 将“当前日期”写死为过期日期
建议 review 的官方仓库文件:
evaluation/tasks_lite/346/metadata.json观察到的问题:
task要求模型完成固定资产报废流程和库存临期汇总,但没有定义一个固定业务日期。输出表格中报废资产申请日期是否填写为当前日期(2026-04-07)。影响:
在 2026-04-07 之后运行评测时,如果模型正确使用评测运行当天日期,仍可能因为 rubric 中写死的旧日期被判错。
建议的官方修复:
task中明确指定必须使用2026-04-07。评测运行当天日期,并由评测器在运行时解析为当天日期。