Commit Graph

6 Commits (3bc23e63d18f321a2ec7da42182800a9fee2d75e)

Author SHA1 Message Date
Vitor Hugo Belorio Simão 3bc23e63d1 perf(llm): reduzir latência com warmup, cache e execução não bloqueante
- inicializa Vertex AI uma única vez por processo
- adiciona cache de modelos GenerativeModel por nome
- adiciona cache da conversão de tools para formato Vertex
- executa send_message em asyncio.to_thread para não bloquear o loop async
- adiciona método warmup no LLMService (best effort)
- executa warmup no startup da API FastAPI
- executa warmup no startup do Telegram Satellite

🎯 Resultado esperado:
- menor latência no primeiro request (cold start)
- menor overhead por requisição subsequente
- melhor throughput em cenários concorrentes
1 month ago
Vitor Hugo Belorio Simão e6ce076785 📝 docs(comments): documentar fluxos, rotas e configuracoes do servico 1 month ago
Vitor Hugo Belorio Simão e68b32a177 ♻️ refactor: Migrando a integração de dados fictícios para FakerAPI e ajustando a chamada das tools no Vertex AI. 2 months ago
Vitor Hugo Belorio Simão 37fa127a80 ♻️ refactory: Ajustando o código para o deploy (remoção provisória do user_id para testes). 2 months ago
Vitor Hugo Belorio Simão 49356c0e5b 💡 docs: Inserindo comentários referente as principais funcionalidades relacionadas as Tools e ao LLMService. 2 months ago
Vitor Hugo Belorio Simão 68fbdb605c feat: Desenvolvendo os serviços relacionados a acessar o Vertex AI, se comunicar com o modelo, registrar as Tools do sistema e gerenciar as mesmas conforme a solicitação do modelo. 2 months ago