Skip to content

[Bug] livecodebench测精度 测完解析有error有什么已知问题吗? #124

@zhangguinan

Description

@zhangguinan

操作系统及版本

ubuntu

安装工具的python环境

在anaconda/miniconda创建的python虚拟环境

python版本

3.10

AISBench工具版本

3.0.20251103

AISBench执行命令

ais_bench --models vllm_api_general_chat --datasets livecodebench_code_generate_lite_gen_0_shot_chat --debug

模型配置文件或自定义配置文件内容

不涉及配置文件问题

预期行为

回显正常

实际行为

]01/28 10:35:02 - AISBench - INFO - ---- test_runner stdout ----
unable to get function error = (<class 'AttributeError'>, AttributeError("module 'tmp_sol' has no attribute 'maxEnergyBoost'"), <traceback object at 0xffff0fcc3c00>)
{"res": [-2], "meta": {"error": "(<class 'AttributeError'>, AttributeError("module 'tmp_sol' has no attribute 'maxEnergyBoost'"), <traceback object at 0xffff0fcc3c00>)", "error_code": -1, "error_message": "Unable to extract code"}, "error": null}

前置检查

  • 我已读懂主页文档的快速入门,无法解决问题
  • 我已检索过FAQ,无重复问题
  • 我已搜索过现有Issue,无重复问题
  • 我已更新到最新版本,问题仍存在

Metadata

Metadata

Assignees

No one assigned

    Labels

    bugSomething isn't workingcontent_check_passedissue content check passed

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions