如何衡量自进化的效果

[PeterXiaTian]

如题。有客观的评测方法吗？

[tluma]

根据项目文档，自进化效果的衡量有两种主要方式：

1. 运行时质量监控指标

系统在执行过程中自动追踪以下指标（全栈质量监控）：

层级	指标
Skill	应用率、完成率、有效率、回退率
工具调用	成功率、延迟、标记问题
代码执行	执行状态、错误模式

这些指标会触发自动进化：当工具成功率下降时，系统自动批量进化相关 Skill。

2. GDPVal 基准测试（客观评测方法）

项目提供了完整的评测框架（gdpval_bench/README.md）：

两阶段设计：

• Phase 1（冷启动）：顺序执行任务，Skill 逐步积累
• Phase 2（热启动）：使用 Phase 1 积累的完整 Skill 库重新运行

核心评测指标：

• 收入捕获率 — 实际获得报酬 / 任务最大价值
• 质量分数 — 基于 ClawWork 评估协议
• Token 消耗变化 — Phase 2 vs Phase 1

实测结果（50 项任务 vs ClawWork 基线）：

指标	结果
收入提升	4.2×
Token 节省	45.9%
平均质量	70.8% (+30pp)

详细类别效果：合规类 +18.5pp、工程类 +8.7pp、文档类 Token 减少 56%。

如需复现，可运行：

python -m gdpval_bench.calc_subset_performance