Shishi lança TokenFleet e corta latência de inferência em 32% — provedores brasileiros de IA podem reduzir custo de GPU

A Shishi Technology apresentou durante a Conferência Nacional de Computação de Alto Desempenho CCF 2026 o TokenFleet, um framework de agendamento distribuído para clusters de GPU que, segundo dados da própria empresa, reduz a latência P95 do primeiro token em 32,4% em cargas de inferência. O produto combina três módulos — TokenPilot, FleetMind e SLOMax — para rotear requisições, coordenar capacidade entre data centers e governar cargas mistas. O anúncio chega num momento em que provedores brasileiros de nuvem e startups de IA dependem cada vez mais de capacidade computacional importada ou contratada de operadores chineses, e qualquer ganho de eficiência nessa camada tende a repercutir no preço final do token vendido no Brasil. O problema que o TokenFleet ataca é conhecido por quem opera clusters de GPU: filas de requisições e ociosidade de recursos podem coexistir no mesmo ambiente. Um data center pode ter instâncias com fila longa enquanto outra unidade geográfica opera abaixo da capacidade. Requisições curtas de diálogo competem com processamento de documentos longos e tarefas de lote offline, e timeouts, cancelamentos e recálculos consomem recursos sem gerar entregas qualificadas. A Shishi Technology posiciona o TokenFleet como uma camada de decisão que casa pedidos de negócio com capacidade produtiva, usando como métrica central a produção efetiva de tokens — aquela concluída com sucesso e dentro dos requisitos de nível de serviço. O TokenPilot é o módulo de roteamento. Ele estima simultaneamente o ganho de reutilização de cache KV e o custo de enfileiramento antes de decidir para qual instância enviar cada requisição. A lógica é evitar que todas as requisições com prefixo longo convirjam para a mesma instância só porque ela tem alto acerto de cache, o que poderia transformar economia de computação em tempo de espera. O FleetMind coordena capacidade entre data centers, e o SLOMax cuida de admissão, governança de filas e alocação para cargas mistas. Os dados de ajuste do GLM5.3 fornecidos pela Shishi indicam que, nas condições de cluster e carga testadas, o roteamento com latência prevista reduziu a latência P95 do primeiro token em 32,4%. Por que isso chega ao Brasil: o mercado brasileiro de inferência de IA ainda é pequeno em escala, mas cresce rápido e depende de três fontes de capacidade — hyperscalers estrangeiras, provedores nacionais de nuvem e, em menor grau, contratos de capacidade com operadores chineses. Empresas brasileiras que treinam ou fazem fine-tuning de modelos abertos chineses, como as famílias Qwen e GLM, e que alugam GPU em data centers asiáticos, sentem diretamente qualquer melhoria de eficiência na camada de agendamento. O impacto direto é indireto, via pressão competitiva: se operadores chineses conseguem entregar mais tokens efetivos por GPU, o custo por token no mercado internacional tende a cair, e provedores brasileiros que não acompanharem a eficiência perdem margem ou competitividade. Reguladores como a ANEEL não são tocados, mas a Receita Federal acompanha a tributação de serviços de nuvem importados, e o BNDES tem linhas de financiamento para data centers locais que precisam justificar seu custo por unidade de processamento. Os dados mostram que o ganho de 32,4% foi medido em condições específicas de cluster e carga, com o modelo GLM5.3, e não necessariamente se replica em qualquer ambiente. Na leitura do CBI, o movimento da Shishi Technology indica que a competição no setor de infraestrutura de IA está migrando da corrida por mais GPUs para a corrida por eficiência no uso das GPUs existentes. Isso é relevante para o Brasil porque o país ainda depende de importação de hardware e de capacidade estrangeira, e ganhos de software podem compensar parcialmente a restrição de acesso a chips avançados. Eventos anteriores, como a otimização de frameworks de inferência por parte de provedores chineses em 2024 e 2025, já haviam sinalizado essa direção, mas o TokenFleet traz números concretos de latência e uma arquitetura de três módulos que pode se tornar referência para operadores de menor escala. O que acompanhar: primeiro, a publicação de benchmarks independentes do TokenFleet em cargas reais, não apenas nos dados fornecidos pela Shishi. Segundo, se provedores brasileiros de nuvem ou startups de IA anunciarem parcerias ou testes com o framework nos próximos meses. Terceiro, a evolução do preço por token de inferência no mercado internacional, especialmente para modelos abertos chineses, que serve como termômetro da pressão de eficiência sobre o mercado brasileiro.