Incorporar limitación de palabras (tokens) de entrada

[ldelreguero]

Verifiqué que no hay limitación en la cantidad de palabras a ingresar como entrada de un mensaje en los chats.

De hecho, repetí 50.000 veces la palabra "palabra" y no hubo error al enviar mensaje.

Según https://platform.openai.com/tokenizer esas 50.000 repeticiones implicarían 100002 tokens.

Creo que sería óptimo limitar la cantidad de caracteres para evitar llegar al límite de tokens soportados como input.

ChatGPT visualiza el siguiente mensaje cuando se intenta enviar la misma cantidad de texto:

[rabelenda]

Hola @ldelreguero , gracias. Si, me parece que esta bueno implementar esta funcionalidad. Lo dejamos marcado para el backlog. El tema es que hay varias consideraciones a tener en cuenta y no es tan sencillo como uno se podria imaginar a priori (inclusion de archivos, parseo parcial de los archivos, archivos con imagenes, contexto previo, etc). Pero estaria bueno si motrar un indicador de hasta donde va a ser capaz de procesar el agente, asi el usuario puede entender el comportamiento del agente cuando responde y tambien de ante mano ajustar la información que se le da al agente y hacer un mejor uso del mismo.