Modelo aberto chinês corta memória de IA em 99% — startups brasileiras podem rodar agentes em GPU única

Um consórcio liderado pela Yanxin Matrix, subsidiária da Yanshan Technology, com participação da HKUST e da Carnegie Mellon University (CMU), lançou como open source o EdgeRock-4B, modelo de linguagem que mantém o consumo de KV Cache fixo em 72 MiB independentemente do tamanho do contexto — de 4K a 256K tokens. Na prática, uma única GPU Hopper de 80GB roda 512 vias de raciocínio longo simultaneamente, com throughput de saída de 12.124 tokens por segundo, 6,42 vezes o desempenho do Qwen3.5-4B, modelo de origem. A taxa média de aprovação no AIME 2024–2026 fica em 82,9%, contra no máximo 18,8% dos modelos de estado limitado avaliados. Pesos e código de inferência já estão disponíveis, com suporte a texto e imagem.

O anúncio foi feito nesta semana por Yanxin Matrix, braço da Yanshan Technology, em parceria com a Universidade de Ciência e Tecnologia de Hong Kong (HKUST) e a Carnegie Mellon University (CMU). O EdgeRock-4B é um modelo de 4 bilhões de parâmetros cuja inovação central está na arquitetura de memória: em vez de o KV Cache crescer linearmente com o número de tokens gerados — como ocorre nos modelos convencionais —, ele permanece fixo em 72 MiB por sequência, mesmo sob contexto de 256K. O resultado prático é que uma GPU de 80GB, que com o Qwen3.5-4B atenderia apenas 64 requisições simultâneas a 1.889 tokens/s, passa a suportar 512 vias concorrentes a 12.124 tokens/s. Os pesos e o código de inferência foram liberados em open source, com suporte a entradas de texto e imagem.

Por que isso chega ao Brasil: o custo de inferência de modelos de linguagem é hoje o principal gargalo para startups brasileiras que tentam construir agentes de IA — de atendimento ao cliente a análise de crédito e automação jurídica. A maior parte dessas empresas não tem capital para clusters de GPUs e depende de APIs estrangeiras cobradas em dólar, o que encarece o produto final e expõe o negócio à variação cambial. Um modelo aberto que roda 512 sessões simultâneas em uma única placa de 80GB reduz drasticamente o custo por requisição e viabiliza operações em nuvem nacional ou até on-premise. O impacto direto é indireto, via redução de custo de infraestrutura de IA: empresas brasileiras de tecnologia, fintechs, healthtechs e prestadores de serviços jurídicos que hoje pagam por token em dólar podem migrar parte de suas cargas para modelos abertos hospedados localmente. Reguladores como o Banco Central, no âmbito do open finance, e a ANPD, na discussão sobre tratamento de dados em modelos generativos, ganham um novo cenário técnico: processamento local com memória previsível facilita a conformidade com a LGPD.

Os dados mostram que o EdgeRock-4B preserva capacidade de raciocínio — 82,9% de aprovação média no AIME 2024–2026 — enquanto elimina o crescimento do KV Cache, algo que nem a compressão de 6x anunciada pelo Google neste ano havia conseguido. Na leitura do CBI, isso indica uma mudança de paradigma: a indústria vinha tratando o problema por dois caminhos — comprimir cada token (MLA, quantização, TurboQuant) ou adotar modelos de estado limitado com memória fixa, mas com perda severa de raciocínio. O EdgeRock ataca a raiz ao desacoplar memória de comprimento de contexto, o que pode pressionar fornecedores de GPU e provedores de API a reverem preços. Para o Brasil, o sinal é que a barreira de capital para IA generativa cai — e quem depende exclusivamente de APIs estrangeiras precisa reavaliar seu stack nos próximos meses.

O que acompanhar: primeiro, a publicação de benchmarks independentes do EdgeRock-4B em tarefas de português, já que o modelo foi avaliado majoritariamente em inglês e chinês; segundo, o movimento de provedores de nuvem brasileiros (AWS São Paulo, Google Cloud, Azure Brasil e provedores nacionais) na oferta de instâncias otimizadas para esse tipo de modelo; terceiro, a resposta de fornecedores de GPU e de APIs comerciais em termos de preço por token, que deve se materializar nos próximos dois trimestres.