IA local decepciona vs. versão oficial — empresas brasileiras que rodam modelos próprios precisam recalibrar expectativas

Um experimento detalhado revelou por que modelos de IA implantados localmente podem ser 'mais burros' que as versões oficiais, mesmo com os mesmos pesos e hardware. A causa: variações na pilha de software de inferência, como o backend de atenção e a precisão do cache KV, que alteram os tokens gerados. Para empresas brasileiras que estão adotando IA local por questões de soberania de dados ou custo, isso significa que a qualidade do modelo pode variar significativamente dependendo da configuração técnica, exigindo testes rigorosos antes da adoção em produção. Um usuário do fórum Level1Techs, identificado como thr3e, conduziu uma série de experimentos usando o modelo Qwen3.6-27B em uma GPU RTX PRO 6000 Blackwell, capturando logits completos em mais de 100.000 tokens. Logits são as pontuações brutas que o modelo calcula para cada token candidato antes da amostragem. A descoberta central é que, embora os logits sejam um produto matemático puro, pequenas diferenças na precisão da aritmética de ponto flutuante, na ordem de acumulação e no conjunto de instruções do hardware podem causar desvios nos valores finais. Quando esse desvio é grande o suficiente para mudar o token com maior probabilidade, o modelo apresenta diferenças perceptíveis. O experimento focou no estágio de 'backend de atenção' no fluxo de inferência, comparando três opções oferecidas pelo vLLM: FlashAttention 2, Flash Inference e Triton Attention. Com tudo o mais idêntico, os três backends produziram saídas idênticas nos primeiros milhares de tokens, mas divergências começaram a aparecer conforme o contexto crescia. Em um caso rastreado, o FlashAttention 2 errou ao configurar uma interface GigabitEthernet0/0/1.201 em um roteador Cisco, escolhendo GigabitEthernet0/1/4 e executando comandos errados em chamadas de ferramenta subsequentes. Para o Brasil, onde empresas de setores como agronegócio, finanças e manufatura estão cada vez mais interessadas em implantar modelos de IA localmente para garantir privacidade de dados e reduzir dependência de nuvens estrangeiras, essa descoberta é um alerta crítico. A escolha da pilha de software pode impactar diretamente a qualidade das operações, especialmente em tarefas que dependem de chamadas de ferramentas, como automação de processos e análise de dados. A quantização do cache KV também se mostrou um fator de risco: o cache KV INT4 teve uma taxa de inversão Top-1 que disparou em contextos longos, tornando as chamadas de ferramentas irrecuperáveis, enquanto o INT8 apresentou inversões, mas conseguiu se recuperar. Apenas o cache KV BF16 permaneceu estável. Na leitura do CBI, isso indica que a adoção de IA local no Brasil não pode ser feita sem uma fase rigorosa de testes e validação. Os dados mostram que a configuração técnica é tão importante quanto a escolha do modelo em si. Empresas brasileiras que já estão investindo em infraestrutura de IA local, ou planejando fazê-lo, precisam incluir em seus cronogramas testes extensivos com diferentes backends e configurações de quantização para garantir que o modelo atenda aos padrões de qualidade necessários. O que acompanhar: a evolução das ferramentas de inferência, como o vLLM, que podem melhorar a consistência entre backends; a publicação de benchmarks específicos para o português; e o surgimento de consultorias locais especializadas em otimização de IA.