Skip to content

[文档] livecodebench的指导文档中目录结构缺失code_generation_lite.py文件 #134

@Mitchellax

Description

@Mitchellax

文档位置(可指定多个文档链接)

https://gitee.com/aisbench/benchmark/blob/master/ais_bench/benchmark/configs/datasets/livecodebench/README.md

当前内容描述

在{工具根路径}/ais_bench/datasets目录下执行tree code_generation_lite/查看目录结构,若目录结构如下所示,则说明数据集部署成功。
code_generation_lite
├── test6.jsonl
├── test5.jsonl
├── test4.jsonl
├── test3.jsonl
├── test2.jsonl
└── test.jsonl

修改建议

目录结构中应添加:

code_generation_lite.py

附加信息

livecodebench数据集区分版本的,所以数据集需要clone下来(包含版本信息),理论上所有东西都有。

文档中缺少livecodebench/code_generation_lite文件,该py脚本中包含了版本信息和数据导入逻辑。缺失该文件导致数据集加载时失败。

Metadata

Metadata

Assignees

Labels

content_check_passedissue content check passeddocumentationImprovements or additions to documentation

Type

No type

Projects

No projects

Milestone

No milestone

Relationships

None yet

Development

No branches or pull requests

Issue actions