You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
orquestrador/app/services
Vitor Hugo Belorio Simão 3bc23e63d1 perf(llm): reduzir latência com warmup, cache e execução não bloqueante
- inicializa Vertex AI uma única vez por processo
- adiciona cache de modelos GenerativeModel por nome
- adiciona cache da conversão de tools para formato Vertex
- executa send_message em asyncio.to_thread para não bloquear o loop async
- adiciona método warmup no LLMService (best effort)
- executa warmup no startup da API FastAPI
- executa warmup no startup do Telegram Satellite

🎯 Resultado esperado:
- menor latência no primeiro request (cold start)
- menor overhead por requisição subsequente
- melhor throughput em cenários concorrentes
1 month ago
..
__pycache__ 🚧 Desenvolvendo a estrutura inicial do envio de mensagem. Endpoint POST com a mensagem e o ID do usuário. 2 months ago
handlers.py feat(review-api): adicionar fluxos de listar, cancelar e remarcar revisao 1 month ago
llm_service.py perf(llm): reduzir latência com warmup, cache e execução não bloqueante 1 month ago
orchestrator_config.py ♻️ refactor(orquestrador): migrar decisoes para LLM e isolar memoria por assunto 1 month ago
orquestrador_service.py ♻️ refactor(orquestrador): migrar decisoes para LLM e isolar memoria por assunto 1 month ago
tool_registry.py feat(review-api): adicionar fluxos de listar, cancelar e remarcar revisao 1 month ago
user_service.py feat(users): vincular operacoes ao usuario com user_id e ownership 1 month ago