Skip to content

Workspace-Bench Lite CN Task 269 and 346 Review Issue #24

Description

@eissac

以下两个问题看起来存在于 Workspace-Bench Lite CN 的任务元数据中。它们可能导致与模型能力无关的误判,或让 harness 生成与题面、rubric 不一致的交付要求。

Task 269:Markdown 任务与 DOCX 输出合同冲突

建议 review 的官方仓库文件:

  • evaluation/tasks_lite/269/metadata.json

观察到的合同不一致:

  • task 要求模型生成 2024 年 12 月客户对账分析报告.md,并将报告保存到 /销售管理/月度对账
  • 第 1 条 rubric 明确检查 2024 年 12 月客户对账分析报告.md
  • output_files 却声明为 2024 年 12 月客户对账分析报告.docx
  • file_dep_graph.to 同样指向 2024 年 12 月客户对账分析报告.docx

影响:

如果 harness 根据 output_files 生成提交约束,模型可能被要求只提交 DOCX;但题面和 rubric 实际要求 Markdown。这会诱导模型产出错误格式,或者导致评测器漏看已经按业务路径保存的有效 Markdown 报告。

建议的官方修复:

  • output_files 改为 2024 年 12 月客户对账分析报告.md
  • file_dep_graph.to 同步改为相同的 Markdown 文件名。
  • 如果评测器只读取提交目录,应明确要求或 staging 业务路径中的 Markdown 到评测可见目录,而不是引入 DOCX-only 的额外合同。

Task 346:Rubric 将“当前日期”写死为过期日期

建议 review 的官方仓库文件:

  • evaluation/tasks_lite/346/metadata.json

观察到的问题:

  • task 要求模型完成固定资产报废流程和库存临期汇总,但没有定义一个固定业务日期。
  • 第 5 条 rubric 写成:输出表格中报废资产申请日期是否填写为当前日期(2026-04-07)

影响:

在 2026-04-07 之后运行评测时,如果模型正确使用评测运行当天日期,仍可能因为 rubric 中写死的旧日期被判错。

建议的官方修复:

  • 如果期望固定业务日期,应在 task 中明确指定必须使用 2026-04-07
  • 如果期望使用运行时当前日期,应将 rubric 改为动态表达,例如 评测运行当天日期,并由评测器在运行时解析为当天日期。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions