微调时遇到的问题

[shouji000]

大佬您好：
拜读您的著作“lightvla”后，深感钦佩。便想着深入学习您的工作，在学习过程中，遇到了一些小问题。我在用您提供的指令进行训练时（如下）
torchrun
--standalone
--nnodes 1
--nproc-per-node 1
vla-scripts/finetune.py
--vla_path ./pretrained_checkpoint/openvla-7b
--data_root_dir ./libero
--dataset_name libero_spatial_no_noops
--run_root_dir ./pretrained_checkpoint/CXF-LightVLA-libero-spatial-20251222
--use_l1_regression True
--use_diffusion False
--use_film False
--num_images_in_input 2
--use_proprio True
--batch_size 8
--learning_rate 5e-4
--num_steps_before_decay 100000
--max_steps 150005
--save_freq 10000
--save_latest_checkpoint_only False
--image_aug True
--lora_rank 32
随后进行验证，指令如下
python experiments/robot/libero/run_libero_eval.py --pretrained_checkpoint ./pretrained_checkpoint/CXF-LightVLA-libero-10-20251218/openvla-7b+libero_10_no_noops+b8+lr-0.0005+lora-r32+dropout-0.0--image_aug2025-12-19\ 09:41:48.546572--30000_chkpt --task_suite_name libero_10 --save_rollout_video false
出现了下图所示的问题

模型只留下了极少部分的token，成功率也很低，不知道这是啥问题导致的。

[may210297]

感谢你的关注和详细的说明！😊
我注意到你在微调时用的是libero_spatial_no_noops，但在验证时切换到了libero_10。建议在同一个task suite里进行微调和评估。

[Promisery]

您好，我注意到您使用了如下超参数

--nproc-per-node 1
--num_steps_before_decay 100000
--max_steps 150005

即使用单卡训练了15万步

而我们使用的是

--nproc-per-node 8
--num_steps_before_decay 30000
--max_steps 40005

即使用8卡训练了4万步

二者相比，您的训练过程Batch Size更小，迭代步数更大，容易发生过拟合，因此，如果您有条件的话，建议使用我们提供的超参数进行训练，如果您只有单卡的话，可以尝试使用以下超参数

--num_steps_before_decay 30000
--max_steps 40005
--grad_accumulation_steps 8

理论上应该能达到一样的效果

[shouji000]

是否可以建个交流群呀，对你们的工作非常感兴趣 在 2025-12-29 15:32:49，"Titong Jiang" ***@***.***> 写道： Promisery left a comment (LiAutoAD/LightVLA#19) 您好，我注意到您使用了如下超参数

…

--nproc-per-node 1 --num_steps_before_decay 100000 --max_steps 150005 即使用单卡训练了15万步 而我们使用的是

--nproc-per-node 8 --num_steps_before_decay 30000 --max_steps 40005 即使用8卡训练了4万步 二者相比，您的训练过程Batch Size更小，迭代步数更大，容易发生过拟合，因此，如果您有条件的话，建议使用我们提供的超参数进行训练，如果您只有单卡的话，可以尝试使用以下超参数

--num_steps_before_decay 30000 --max_steps 40005 --grad_accumulation_steps 8 理论上应该能达到一样的效果 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[Promisery]

交流群管理起来比较麻烦，有问题的话欢迎在Issue里提，或者给我发邮件也行

[shouji000]

交流群管理起来比较麻烦，有问题的话欢迎在Issue里提，或者给我发邮件也行

好的，谢谢大佬

[shouji000]

共做了四次实验，分别是
1.基于openvla-7b，在lightvla框架下，训练了40000步
2.基于openvla-7b，在lightvla框架下，训练了150000步
3.基于openvla-7b-oft-finetuned-libero-spatial（openvla-7b模型利用oft方式在libero-spatial数据上进行微调），在lightvla框架下，训练了150000步
4.基于openvla-7b，在lightvla框架下，训练320000步
其中目前只有第3次实验达到预期效果，如下图

其他三次，测试效果基本上是下图这样的，视觉token会被裁剪的非常多

torchrun
--standalone
--nnodes 1
--nproc-per-node 1
vla-scripts/finetune.py
--vla_path ./pretrained_checkpoint/openvla-7b
--data_root_dir ./libero
--dataset_name libero_spatial_no_noops
--run_root_dir ./pretrained_checkpoint/CXF-LightVLA-libero-spatial-20251222
--use_l1_regression True
--use_diffusion False
--use_film False
--num_images_in_input 2
--use_proprio True
--batch_size 8
--learning_rate 5e-4
--num_steps_before_decay 30000
--max_steps 40005
--save_freq 10000
--save_latest_checkpoint_only False
--image_aug True
--lora_rank 32

torchrun
--standalone
--nnodes 1
--nproc-per-node 1
vla-scripts/finetune.py
--vla_path ./pretrained_checkpoint/openvla-7b
--data_root_dir ./libero
--dataset_name libero_spatial_no_noops
--run_root_dir ./pretrained_checkpoint/CXF-LightVLA-libero-spatial-20251222
--use_l1_regression True
--use_diffusion False
--use_film False
--num_images_in_input 2
--use_proprio True
--batch_size 8
--learning_rate 5e-4
--num_steps_before_decay 100000
--max_steps 150005
--save_freq 10000
--save_latest_checkpoint_only False
--image_aug True
--lora_rank 32

torchrun
--standalone
--nnodes 1
--nproc-per-node 1
vla-scripts/finetune.py
--vla_path ./pretrained_checkpoint/openvla-7b-oft-finetuned-libero-spatial
--data_root_dir ./libero
--dataset_name libero_spatial_no_noops
--run_root_dir ./pretrained_checkpoint/CXF-LightVLA-libero-spatial-20251225
--use_l1_regression True
--use_diffusion False
--use_film False
--num_images_in_input 2
--use_proprio True
--batch_size 8
--learning_rate 5e-4
--num_steps_before_decay 100000
--max_steps 150005
--save_freq 10000
--save_latest_checkpoint_only False
--image_aug True
--lora_rank 32

torchrun
--standalone
--nnodes 1
--nproc-per-node 1
vla-scripts/finetune.py
--vla_path ./pretrained_checkpoint/openvla-7b
--data_root_dir ./libero
--dataset_name libero_spatial_no_noops
--run_root_dir ./pretrained_checkpoint/CXF-LightVLA-libero-spatial-20251229
--use_l1_regression True
--use_diffusion False
--use_film False
--num_images_in_input 2
--use_proprio True
--batch_size 8
--learning_rate 5e-4
--num_steps_before_decay 200000
--max_steps 320005
--save_freq 10000
--save_latest_checkpoint_only False
--image_aug True
--lora_rank 32

大佬可以帮我解答一下这个疑问嘛

[Promisery]

共做了四次实验，分别是 1.基于openvla-7b，在lightvla框架下，训练了40000步 2.基于openvla-7b，在lightvla框架下，训练了150000步 3.基于openvla-7b-oft-finetuned-libero-spatial（openvla-7b模型利用oft方式在libero-spatial数据上进行微调），在lightvla框架下，训练了150000步 4.基于openvla-7b，在lightvla框架下，训练320000步 其中目前只有第3次实验达到预期效果，如下图

其他三次，测试效果基本上是下图这样的，视觉token会被裁剪的非常多 torchrun --standalone --nnodes 1 --nproc-per-node 1 vla-scripts/finetune.py --vla_path ./pretrained_checkpoint/openvla-7b --data_root_dir ./libero --dataset_name libero_spatial_no_noops --run_root_dir ./pretrained_checkpoint/CXF-LightVLA-libero-spatial-20251222 --use_l1_regression True --use_diffusion False --use_film False --num_images_in_input 2 --use_proprio True --batch_size 8 --learning_rate 5e-4 --num_steps_before_decay 30000 --max_steps 40005 --save_freq 10000 --save_latest_checkpoint_only False --image_aug True --lora_rank 32

torchrun --standalone --nnodes 1 --nproc-per-node 1 vla-scripts/finetune.py --vla_path ./pretrained_checkpoint/openvla-7b --data_root_dir ./libero --dataset_name libero_spatial_no_noops --run_root_dir ./pretrained_checkpoint/CXF-LightVLA-libero-spatial-20251222 --use_l1_regression True --use_diffusion False --use_film False --num_images_in_input 2 --use_proprio True --batch_size 8 --learning_rate 5e-4 --num_steps_before_decay 100000 --max_steps 150005 --save_freq 10000 --save_latest_checkpoint_only False --image_aug True --lora_rank 32

torchrun --standalone --nnodes 1 --nproc-per-node 1 vla-scripts/finetune.py --vla_path ./pretrained_checkpoint/openvla-7b-oft-finetuned-libero-spatial --data_root_dir ./libero --dataset_name libero_spatial_no_noops --run_root_dir ./pretrained_checkpoint/CXF-LightVLA-libero-spatial-20251225 --use_l1_regression True --use_diffusion False --use_film False --num_images_in_input 2 --use_proprio True --batch_size 8 --learning_rate 5e-4 --num_steps_before_decay 100000 --max_steps 150005 --save_freq 10000 --save_latest_checkpoint_only False --image_aug True --lora_rank 32

torchrun --standalone --nnodes 1 --nproc-per-node 1 vla-scripts/finetune.py --vla_path ./pretrained_checkpoint/openvla-7b --data_root_dir ./libero --dataset_name libero_spatial_no_noops --run_root_dir ./pretrained_checkpoint/CXF-LightVLA-libero-spatial-20251229 --use_l1_regression True --use_diffusion False --use_film False --num_images_in_input 2 --use_proprio True --batch_size 8 --learning_rate 5e-4 --num_steps_before_decay 200000 --max_steps 320005 --save_freq 10000 --save_latest_checkpoint_only False --image_aug True --lora_rank 32

大佬可以帮我解答一下这个疑问嘛

在训练LightVLA的时候，请使用已经微调过的OFT checkpoint，可以从这里找到，不要用OpenVLA checkpoint。

LightVLA本身是比较容易出现模式坍塌的，也就是你看到的每次只选出来几个token，模型需要有一个比较好的基础能力才能保证LightVLA不坍塌，所以需要用已经微调过的OFT checkpoint，用OpenVLA checkpoint就很容易爆。

另外，就像我之前说的，请加入--grad_accumulation_steps 8参数来让batch size和我们的设置保持一致。