IA chinesa cria ponte entre modelos grandes e pequenos — custo de inferência cai 95% para empresas brasileiras

Uma startup chinesa de apenas 4 meses, a Mostik, anunciou uma técnica que permite a um pequeno modelo de linguagem (Qwen 3.5, da Alibaba, com 4B de parâmetros) rodando em um celular atingir desempenho próximo ao de um modelo massivo (GLM 5.2, da Zhipu, com 753B de parâmetros) na nuvem, no benchmark ARC-AGI 3. A solução, que ainda não teve detalhes técnicos divulgados, constrói uma 'ponte' que transmite os estados ocultos do modelo grande para o pequeno, eliminando a necessidade de geração de texto pelo modelo maior. Para o mercado brasileiro, o impacto é direto: a redução do custo de inferência para cerca de 1/20 do valor original pode viabilizar a adoção de IA avançada em aplicações locais que hoje são inviáveis financeiramente.

A Mostik, fundada há quatro meses com uma equipe de 15 pessoas (12 delas doutores), incluindo o matemático russo Stanislav Smirnov, vencedor da Medalha Fields, demonstrou uma abordagem inovadora para a colaboração entre modelos de IA. Em vez de permitir que um modelo grande 'explique' o raciocínio a um modelo pequeno via texto, a técnica da startup transmite diretamente os 'estados ocultos' — as representações internas que o modelo grande constrói antes de gerar um token. No processo tradicional, ao gerar um token, um modelo grande descarta cerca de 2 megabytes de informação de estado interno, mantendo apenas 17 bits (o token em si). A Mostik construiu uma 'ponte' treinada que permite que esses estados ocultos sejam transmitidos diretamente ao modelo pequeno, que então gera a resposta final. Os pesos de ambos os modelos permanecem congelados; apenas a ponte é treinada. Segundo a equipe, essa solução permite que um modelo de 4B compense cerca de 50% da diferença de desempenho em relação a um modelo de 753B, aumentando sua precisão em 25% e, em subconjuntos de problemas mais complexos, o ganho chega a 2 vezes. O custo de inferência do lado do modelo grande é reduzido para cerca de um vigésimo do original, pois ele não precisa gerar texto, apenas processar a entrada e transmitir seus estados internos.