Отправлять сообщение "Обработка запроса в процессе" при большом тайминге запроса к БЗ

[stewkk]

@stewkk , ещё ряд предложений:

• сделать режим рабочий, в котором выводится только один (основной) ответ, для теста скорости. Основным пока оставить тестовый, с логами и тремя вариантами (пока работаем с БЗ, он идеален для этой цели). Посмотреть по таймаутам, и если модель в среднем в рабочем режиме думает больше, чем 30 секунд, добавлять пояснение, что ответ готовится.

• аналогично с formalize - неплохо бы предупреждать пользователя о том, что происходит (формализация, передача в интерпретатор, проверка модели в smt-решателе).

Originally posted by @TonitaN in #73

Блокируется #103

[BaldiSlayer]

ну оно у нас всегда теперь отправляется, так что кажется можем закрыть

[BaldiSlayer]

@stewkk закроем?

[stewkk]

@stewkk закроем?

так там идея была дополнительно юзеру писать после n секунд, что его запрос еще в обработке

[BaldiSlayer]

@stewkk закроем?

так там идея была дополнительно юзеру писать после n секунд, что его запрос еще в обработке

а, ну тогда не закрываем

[BaldiSlayer]

ну ваще кстати при пустой очереди я +- посмотрел, за 4-5 секунд отвечает в быстром режиме. За 9-11 в /multimodels. Вроде как-то так..

[BaldiSlayer]

@stewkk закроем?

так там идея была дополнительно юзеру писать после n секунд, что его запрос еще в обработке

ну халява кстати, делается с помощью контекста

шлем запрос в LLM, в соседней горутине что-то типа

go func(someCtx context.Context) {
  select {
    case <-time.After(30 * time.Second):
      // редачим сообщение и говорим, что мы еще 
      // не обработали и чел еще в очереди
      // наверное есть смысл еще сюда воткнуть mutex, а то будет смешно, если мы сначала воткнем
      // ответ LLM, а потом поменяем на то, что чел еще в очереди)) 
    case <-someCtx.Done():
  }
}(someCtx)

ну и типа делаем cancel(), когда получили ответ от LLM модуля