请问trl、transformers版本，因为使用最新版会报错

[moyitech]

[yyc25]

同问

[MilkDargon]

最近 trl 刚刚更新并删除了 tokenizer 参数。简答修改即可：

- trainer = DPOTrainer(model, args=training_args, train_dataset=dataset, tokenizer=tokenizer)
+ trainer = DPOTrainer(model, args=training_args, train_dataset=dataset, processing_class=tokenizer)

[wuanjunruc]

最近 trl 刚刚更新并删除了 tokenizer 参数。简答修改即可：

- trainer = DPOTrainer(model, args=training_args, train_dataset=dataset, tokenizer=tokenizer)
+ trainer = DPOTrainer(model, args=training_args, train_dataset=dataset, processing_class=tokenizer)

好像还是不行

[wuanjunruc]

最近 trl 刚刚更新并删除了 tokenizer 参数。简答修改即可：

- trainer = DPOTrainer(model, args=training_args, train_dataset=dataset, tokenizer=tokenizer)
+ trainer = DPOTrainer(model, args=training_args, train_dataset=dataset, processing_class=tokenizer)

可以发一下版本吗

[MilkDargon]

最近 trl 刚刚更新并删除了 tokenizer 参数。简答修改即可：

- trainer = DPOTrainer(model, args=training_args, train_dataset=dataset, tokenizer=tokenizer)
+ trainer = DPOTrainer(model, args=training_args, train_dataset=dataset, processing_class=tokenizer)

可以发一下版本吗

我昨天刚刚安装的transformers=4.49.0 trl=0.15.2。我将tokenizer参数更改为processing_class后就可以运行了

[moyitech]

最近 trl 刚刚更新并删除了 tokenizer 参数。简答修改即可：

- trainer = DPOTrainer(model, args=training_args, train_dataset=dataset, tokenizer=tokenizer)
+ trainer = DPOTrainer(model, args=training_args, train_dataset=dataset, processing_class=tokenizer)

可以发一下版本吗

我昨天刚刚安装的transformers=4.49.0 trl=0.15.2。我将tokenizer参数更改为processing_class后就可以运行了

感谢感谢！我去试试

[1sunyu1]

你好，请问transformers=4.49.0 trl=0.15.2安装后，train_reward.py可以通过tokenizer参数更改为processing_class后运行，但是train_ppo.py会出现TypeError: PPOConfig.init() got an unexpected keyword argument 'kl_penalty'，请问要运行train_ppo.py需要怎么在源码的基础上做什么修改？如能回复，十分感谢

[MilkDargon]

你好，请问transformers=4.49.0 trl=0.15.2安装后，train_reward.py可以通过tokenizer参数更改为processing_class后运行，但是train_ppo.py会出现TypeError: PPOConfig.init() got an unexpected keyword argument 'kl_penalty'，请问要运行train_ppo.py需要怎么在源码的基础上做什么修改？如能回复，十分感谢

抱歉，这个问题我没有遇到过，一个可能的问题是trl的版本问题，不过你可以进trl中的PPOConfig里面看看它当前需要传入的参数，核查一下--kl_penalty是否存在更名的情况。

[1sunyu1]

很高兴得到您及时的回复，我现在在查trl中PPOConfig的参数，kl_penalty确实失效了，但是train_ppo.py有很多地方都因为版本问题而无法运行，请问您是只运行了train_reward.py这一文件吗？还是也运行了train_ppo.py?都运行了的话，方便附一份您的安装的库版本吗？

[MilkDargon]

抱歉，我那个电脑最近不在我身边，我记得当时我是都运行了。你可以看看那些库版本的参数换成啥名字了

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2025年4月25日(周五) 上午9:57 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [RethinkFun/trian_ppo] 请问trl、transformers版本，因为使用最新版会报错 (Issue #1) 1sunyu1 left a comment (RethinkFun/trian_ppo#1) 很高兴得到您及时的回复，我现在在查trl中PPOConfig的参数，kl_penalty确实失效了，但是train_ppo.py有很多地方都因为版本问题而无法运行，请问您是只运行了train_reward.py这一文件吗？还是也运行了train_ppo.py?都运行了的话，方便附一份您的安装的库版本吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[smilebetterworld]

trl=0.10.1，transformers=4.45.0， 可以正常运行

[1sunyu1]

trl=0.10.1，transformers=4.45.0，已验证，可以正常运行，感谢@smilebetterworld提供的帮助

[shun-qi]

trl=0.10.1，transformers=4.45.0， 可以正常运行

thanks bro , u r right !

[laujianmin]

修改以下两处关键位置，可以避免CUDA Error，在最新版的trl，transformers，和bitsandbytes库上成功运行。

model = AutoModelForSequenceClassification.from_pretrained(model_path,
                                                           num_labels=1,
                                                           quantization_config=bnb_config,
                                                           device_map="auto",   # 重要！！！  否则严重的CUDA Error。
                                                           )

# UNCHANGED CODE
........

trainer = RewardTrainer(
    model=model,
    # tokenizer=tokenizer,   # 该参数已经被弃用，推荐使用  processing_class
    processing_class=tokenizer,
    args=config,
    train_dataset=dataset
)