强化学习调度器 + 算法工具箱架构
面向能源约束与动态任务的海上智能巡检解决方案
本项目实现了一个创新的多智能体协同系统，结合强化学习调度器与经典优化算法工具箱，为海上风电场等场景提供高效的巡检解决方案。
- 🧠 智能调度: 4层优化架构的集成调度系统（任务分配+USV支援+充电决策+动态重调度）
- 🗺️ 高效规划: HCA-A*代价感知路径规划算法
- ⚡ 序列优化: 2-opt算法消除路径交叉，优化访问顺序
- 🔋 精确建模: 统一的UAV/USV能源动力学计算
- 🛰️ 场景支持: 基于卫星图像的真实环境建模
- 🔧 高度模块化: 面向接口设计，算法可插拔替换
强化学习调度器 (RL Scheduler) - "总指挥"
├── 观察全局状态 (智能体 + 任务 + 环境)
├── 输出任务包分配策略
└── 持续学习优化决策质量
算法工具箱 (Algorithm Toolkit) - "参谋团"
├── HCA-A* 路径规划器 - "精算师"
│ ├── 代价感知的A*搜索
│ ├── 时间与能量双目标优化
│ └── 风力等环境因素建模
├── 2-opt 优化器 - "修正官"
│ ├── 消除路径交叉点
│ ├── 优化任务访问顺序
│ └── 显著缩短总航程
└── 能源管理模块 - "后勤部"
├── UAV/USV动力学建模
├── 实时能耗预测
└── 续航能力评估
- Python: 3.11+
- 操作系统: Linux, macOS, Windows (支持WSL2)
- 硬件: 建议8GB+ RAM，可选CUDA GPU
git clone <repository-url>
cd Hybrid# 使用Makefile一键设置
make setup这将自动：
- 创建Python 3.11虚拟环境
- 安装所有依赖包
- 配置开发环境
如果自动安装失败，可手动执行：
# 创建虚拟环境
python3.11 -m venv venv
# 激活虚拟环境
# Linux/macOS:
source venv/bin/activate
# Windows:
venv\\Scripts\\activate
# 安装依赖
pip install --upgrade pip
pip install -r requirements.txt
pip install -e .# 运行集成调度器可视化演示（推荐）
python run_integrated_scheduler_demo.py
# 或使用Windows批处理文件
run_integrated_demo.bat
# 运行测试
pytest tests/
# 查看日志
python scripts/view_logs.py运行演示后您将看到：
🎮 多UAV-USV协同巡检系统 - 集成调度器演示
============================================================
✨ 集成调度器特性:
📋 Layer 1: 能源感知任务分配 - 多任务贪心算法
🚢 Layer 2: USV后勤智能调度 - 动态支援决策
🔋 Layer 3: 充电决策优化 - 多因子评分模型
🔄 Layer 4: 动态重调度管理 - 事件驱动机制
🧠 启动4层集成调度系统...
🚢 USV支援调度器开始评估...
🆘 收到 2 个支援请求
📍 usv1 开始支援任务: 前往支援 uav3
🚢 usv2 开始巡逻任务
============================================================
✅ 任务分配完成 (耗时: 0.023s)
📋 任务分配结果:
uav1 (无人机): 任务0, 任务4
uav2 (无人机): 任务1, 任务2
uav3 (无人机): 任务3
usv1 (无人船): 任务5
📈 分配质量评分: 8.42
Hybrid/
├── src/ # 源代码
│ ├── env/ # 环境模块
│ │ └── satellite_scene.py # 卫星场景处理
│ ├── scheduler/ # 调度器模块
│ │ ├── base_scheduler.py # 调度器基类
│ │ └── rl_agent.py # RL调度器
│ ├── planner/ # 规划器模块
│ │ ├── base_planner.py # 规划器基类
│ │ ├── hca_star.py # HCA-A*算法
│ │ └── opt_2opt.py # 2-opt优化
│ ├── utils/ # 工具模块
│ │ └── energy.py # 能源计算
│ ├── config/ # 配置模块
│ │ ├── default.yaml # 默认配置
│ │ └── config_loader.py # 配置加载器
│ └── demo.py # 演示脚本
├── tests/ # 测试代码
├── data/ # 数据文件
│ ├── scenes/ # 卫星图像
│ └── labels/ # 标注文件
└── docs/ # 文档
# 代码格式化
make format
# 代码检查
make lint
# 运行测试
make test # 所有测试
make test-unit # 单元测试
make test-integration # 集成测试
# 性能分析
make profile
# 清理临时文件
make clean系统使用YAML配置文件，支持：
- 📋 分层配置: 默认配置 + 实验配置
- 🔧 环境变量覆盖:
HYBRID_SECTION_KEY=value - ✅ 配置验证: 自动检查配置有效性
# src/config/default.yaml
agents:
uav:
count: 3
max_speed: 15.0
battery_capacity: 300.0
usv:
count: 1
max_speed: 8.0
battery_capacity: 1000.0
scheduler:
learning_rate: 1e-4
epsilon: 0.1
buffer_size: 10000Hierarchical Cooperative A* 是本项目的核心规划算法：
- 分层搜索: 网格化环境，多分辨率路径搜索
- 代价感知: 同时优化时间成本和能量成本
- 环境适应: 考虑风力、障碍物等动态因素
- 智能体差异: UAV可飞越障碍，USV需绕行
# 使用示例
planner = HCAStarPlanner(config)
path, time, energy = planner.plan_path(
start=(100, 100),
target=(800, 800),
agent_type='uav',
environment=env
)2-opt算法用于优化多任务访问顺序：
- 交叉消除: 识别并消除路径交叉点
- 局部搜索: 迭代改进直至收敛
- 自适应: 根据问题规模调整策略
- 快速收敛: 通常在数百次迭代内完成
DQN-based调度器实现智能任务分配：
- 状态编码: 智能体状态 + 任务特征 + 环境信息
- 动作空间: 任务-智能体分配矩阵
- 奖励设计: 综合考虑效率、能耗、负载均衡
- 经验回放: 提高样本利用效率
在标准测试场景下，系统展现出优异性能：
| 指标 | 传统方法 | 本系统 | 改进幅度 |
|---|---|---|---|
| 任务完成时间 | 45.2 min | 32.8 min | ↓27.4% |
| 总能耗 | 285 Wh | 198 Wh | ↓30.5% |
| 负载均衡度 | 0.62 | 0.89 | ↑43.5% |
| 路径优化度 | 0.71 | 0.94 | ↑32.4% |
1. 虚拟环境创建失败
# 确保Python 3.11已安装
python3.11 --version
# 手动创建虚拟环境
python3.11 -m venv venv --clear2. 依赖安装错误
# 升级pip和工具
pip install --upgrade pip setuptools wheel
# 分步安装核心依赖
pip install torch numpy opencv-python
pip install -r requirements.txt3. GPU不可用
# 检查CUDA环境
make check-gpu
# 强制CPU模式
export HYBRID_HARDWARE_USE_GPU=false4. WSL2网络问题
# 设置WSL2环境变量
export WSL2_NETWORK=1
make wsl-setup- 内存不足: 减少批次大小和缓冲区大小
- 规划缓慢: 增大网格分辨率，减少搜索空间
- 训练不收敛: 调整学习率和探索策略
欢迎贡献代码！请遵循以下步骤：
- Fork项目并创建功能分支
- 编写代码，遵循项目规范
- 添加测试，确保覆盖率≥85%
- 运行检查:
make verify - 提交PR，详细描述改动
- 格式化: 使用Black (行宽88)
- 类型注解: 必须通过
mypy --strict - 文档: 中文注释，便于维护
- 测试: 单元测试 + 集成测试
如果本项目对您的研究有帮助，请引用：
@article{hybrid_uav_usv_2024,
title={面向能源约束的多UAV-USV协同巡检: 强化学习与经典优化的混合方法},
author={项目团队},
journal={智能系统学报},
year={2024},
note={多智能体协同, 路径规划, 强化学习}
}本项目采用MIT许可证 - 详见 LICENSE 文件
- 算法设计: 强化学习调度算法设计与实现
- 系统架构: 模块化架构与接口设计
- 性能优化: 算法优化与性能调优
- 测试验证: 测试框架与实验验证