You cannot select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
- inicializa Vertex AI uma única vez por processo
- adiciona cache de modelos GenerativeModel por nome
- adiciona cache da conversão de tools para formato Vertex
- executa send_message em asyncio.to_thread para não bloquear o loop async
- adiciona método warmup no LLMService (best effort)
- executa warmup no startup da API FastAPI
- executa warmup no startup do Telegram Satellite
🎯 Resultado esperado:
- menor latência no primeiro request (cold start)
- menor overhead por requisição subsequente
- melhor throughput em cenários concorrentes
|
1 month ago | |
|---|---|---|
| .. | ||
| __pycache__ | 2 months ago | |
| handlers.py | 1 month ago | |
| llm_service.py | 1 month ago | |
| orchestrator_config.py | 1 month ago | |
| orquestrador_service.py | 1 month ago | |
| tool_registry.py | 1 month ago | |
| user_service.py | 1 month ago | |