llm模型未使用onnx ?

[janbox70]

看了一下，目前主要是 flow + hift 两个模型转为了onnx。llm模型仍用了torch？

[Lourdle]

LLM 模块这个仓库任然使用 PyTorch。LLM 是个魔改的 Qwen，ONNX 也可以用，导出也很容易，只是使用有点麻烦，要自己做 KV 缓存管理绑定在 GPU。在我的 C++ 程序中我是用自己魔改的 llama.cpp 推理的。