Ponte entre modelos de IA corta custo de inferência em 95% — adoção no Brasil ganha novo impulso

Uma startup chinesa de apenas quatro meses, a Mostik, anunciou uma técnica que permite a um pequeno modelo de linguagem — o Qwen 3.5, da Alibaba, com 4 bilhões de parâmetros, executado em um celular — atingir desempenho próximo ao de um modelo massivo na nuvem, o GLM 5.2, da Zhipu, com 753 bilhões de parâmetros, no benchmark ARC-AGI 3. De acordo com a equipe, composta por 15 pessoas, das quais 12 são doutores, incluindo o matemático russo Stanislav Smirnov, vencedor da Medalha Fields, a solução cria uma ponte treinada que transmite os estados ocultos do modelo grande diretamente para o modelo pequeno, eliminando a necessidade de o modelo maior gerar texto. Os pesos de ambos os modelos permanecem congelados; apenas a ponte é treinada. Os resultados divulgados indicam que o modelo de 4B compensa cerca de 50% da diferença de desempenho em relação ao modelo de 753B, aumenta sua precisão em 25% e, em subconjuntos de problemas mais complexos, o ganho chega a 2 vezes. O custo de inferência do lado do modelo grande é reduzido para aproximadamente 1/20 do original, pois ele processa a entrada e transmite seus estados internos, mas não executa a decodificação de tokens, etapa mais cara do processo. Os detalhes técnicos ainda não foram publicados, e a startup afirmou que não os divulgará enquanto a competição estiver em andamento. Este é um fato objetivo: uma demonstração relevante de eficiência computacional, ainda pendente de validação por pares e de confirmação independente em larga escala. Os dados fornecidos pela empresa indicam ganhos expressivos, mas não há ainda evidências públicas suficientes para afirmar que a técnica funciona em todas as condições operacionais. Na avaliação do CBI, o anúncio deve ser lido com entusiasmo cauteloso: o histórico chinês de startups de IA em estágio inicial frequentemente inclui resultados impressionantes em benchmarks que depois enfrentam dificuldades de reprodutibilidade em cenários reais.