posts/20250508121432-%E6%A8%A1%E4%BB%BF%E5%8F%AF%E4%BB%A5%E4%BA%A7%E7%94%9F%E6%99%BA%E8%83%BD%E5%90%97/

[utterances-bot]

E2E Self-Driving: 模仿可以产生智能吗？

self-reflections of Zhenfei Yang

https://www.yangzhenfei.com/posts/20250508121432-%E6%A8%A1%E4%BB%BF%E5%8F%AF%E4%BB%A5%E4%BA%A7%E7%94%9F%E6%99%BA%E8%83%BD%E5%90%97/

[WANG-KX]

不考虑感知问题，world model + 构造的难例 是不是一个思路。
world model 本身应该无法解决问题，相当于把 self Driving 的问题丢给了 world model training 了，只要是现阶段的深度学习，就存在一些长尾问题，极端场景问题，这些可能是 world model 学不出来的。但是 world model 可以作为仿真环境的载体，一方面提升模型基础能力，另一方面可以基于 world model 构造更多的 case，创造各种极端场景。这样训练出来的网络应对现实场景可能会更轻松些。

[dvorak0]

不考虑感知问题，world model + 构造的难例 是不是一个思路。 world model 本身应该无法解决问题，相当于把 self Driving 的问题丢给了 world model training 了，只要是现阶段的深度学习，就存在一些长尾问题，极端场景问题，这些可能是 world model 学不出来的。但是 world model 可以作为仿真环境的载体，一方面提升模型基础能力，另一方面可以基于 world model 构造更多的 case，创造各种极端场景。这样训练出来的网络应对现实场景可能会更轻松些。
@WANG-KX

我有几个想法。

1. 深度学习有没有长尾问题呢，我觉得是没有的，但是对应要解决的是现在的模型或者方法能不能吃长尾数据。现在视觉only的模型没有scaling law，我觉得就是一个很负面的线索，再多的数据，模型吃不进去了，所以才变成长尾问题了。对应的正面线索是，加上Language的模态，似乎模型都变得可以持续scale。
2. “world model作为载体”，感觉就是这样了。具体的说，用world model生成许多围绕模仿样本的采样，然后依旧要求模型输出模仿的结果。我觉得问题二里面后两篇确实已经算是这么做了。

后面几天又看了看，感觉这个想法已经有很多很多实际的code了。