Skip to content

建议对大体量的请求做文本拆分处理 #56

@Auunes

Description

@Auunes

进行ai报告生成的时候经常会断开
后台查看每次请求的输入tokens基本都在70w以上,甚至有接近100万的,并且每个请求耗时都相当长

Image 从软件的请求日志来看,频繁出现400 Input token exceeded,或者524超时,亦或者没报错但没返回的情况 感觉是因为输入tokens太大了,报错的应该都是输入tokens破百万的

v3.6.3开始出现这种问题,v3.6.2还是正常的,不知道是否跟更新有关

建议对大体量的请求做拆分或者尝试优化

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions