学术研究讨论

[heihei-nie]

作者您好！您的代码与论文研究思路都非常出色。但是我想请问一下，若使用LLM进行调整，在实际应用中，时效性是不是不会很好，因为大模型推理可能就会花上两三秒。

[pangay]

是的，这是现在面临的问题，有一些相关思路，包括 VLA，微调离线大模型，有一些本地部署的大模型现在推理速度可以达到 1 s 内