Strattum研究：Company Brain层使AI每问token消耗降至三分之一、准确率升至93%

Strattum | Imagem: Divulgação Uma pesquisa da McKinsey indica que os gastos quase quadruplicam na passagem de iniciativas isoladas para a adoção em toda a organização, reforçando a necessidade de gerenciar o consumo de tokens e os gastos com a tecnologia com mais eficiência. Uma forma de conter essa conta é conectar os modelos de IA a um Company Brain , camada que conecta e organiza informações corporativas, reduzindo o consumo de tokens e aumentando a precisão das respostas. Um estudo com 12 modelos de IA de seis provedores feito pela Strattum , startup que desenvolveu uma solução para a otimizar a infraestrutura de dados corporativos, mostrou uma queda no consumo médio por pergunta de 163 mil para 55 mil tokens, cerca de um terço do volume original. Ao mesmo tempo, a acurácia média das respostas passou de 75% para 93%. O levantamento avaliou 6.120 respostas a 51 perguntas, em um ambiente que simulava a operação de uma empresa brasileira de software, com 60 clientes e informações distribuídas entre cinco sistemas. Cada modelo recebeu as mesmas perguntas e teve acesso aos mesmos dados, com configurações e limites idênticos. A diferença estava no caminho que a IA usava para encontrar as informações. Em um deles, ela consultava diretamente os sistemas da empresa. Em outro, acessava os dados previamente organizados pelo Company Brain . O benefício foi especialmente expressivo nas perguntas que exigiam cruzar informações de três ou mais sistemas. Nessas tarefas, a acurácia média passou de 66% para 91%. Considerando todas as perguntas, a proporção de respostas totalmente corretas, que acertaram todos os itens exigidos pelo teste, cresceu de 68% para 88%. “Desde o início reservamos parte do time e do orçamento para pesquisa. Claude e Codex estão disponíveis para qualquer empresa. O que construímos em cima deles, testado com método científico, o cliente não encontra em outro lugar. Este benchmark é o primeiro resultado desse trabalho que tornamos público”, conta Rafael Viana , cofundador e CTO da Strattum . O que deixa a resposta de um modelo cara? O avanço na precisão das respostas está relacionado à forma como as informações são disponibilizadas para consulta. Para investigar a queda de satisfação de um cliente, por exemplo, a IA precisa muitas vezes reunir evidências distribuídas entre diferentes sistemas. Imagine um caso comum nas empresas. Um gestor pergunta à IA por que a satisfação de um cliente caiu. A resposta existe, mas está espalhada por quatro sistemas. Na ferramenta de pesquisa, a nota do cliente aparece caindo de 9 para 5 em três ciclos. Na plataforma de atendimento, aparecem nove chamados abertos no mesmo período, todos reclamando de lentidão no fechamento do faturamento. No CRM, dá para ver que quem abriu esses chamados foram três pessoas da área financeira do cliente. No Google Drive, o contrato garante que o fechamento sai em até cinco dias úteis. Só juntando as quatro partes a IA chega à resposta: o cliente está insatisfeito porque o prazo do contrato não está sendo cumprido. Cada uma dessas buscas e cruzamentos consome tokens. Nesse caso, a IA também precisa reconhecer que os registros encontrados nas diferentes fontes se referem ao mesmo cliente. Uma empresa pode aparecer com um nome no CRM, um código no financeiro e um endereço de site na pesquisa de satisfação. Se essas identificações não forem relacionadas, o modelo pode deixar de reunir informações importantes para a resposta. O Company Brain realiza essa preparação antes da consulta. Conecta os sistemas, padroniza formatos e identifica as correspondências entre os registros, associando cada cliente a seus contatos, chamados, faturas e contratos. Quando recebe uma pergunta, o modelo acessa essa estrutura de relações e obtém as informações relevantes, reduzindo a necessidade de percorrer buscas e tabelas nos diferentes sistemas, o que consome mais tokens. Esse funcionamento também beneficiou os modelos de IA mais avançados, que mantiveram ou melhoraram sua acurácia com menor consumo. Entre os sete que já apresentavam acurácia igual ou superior a 90% na conexão direta aos sistemas, a média avançou de 96% para 99%, enquanto o consumo por pergunta caiu de 173 mil para 56 mil tokens. Na prática, essa redução aparece na fatura. Imagine uma empresa que faz 10 mil perguntas por mês a um modelo de ponta que cobre US$ 5 por milhão de tokens. Com o consumo médio medido no estudo sem o Company Brain, de 173 mil tokens por pergunta, a conta fica perto de R$ 43,6 mil por mês. Com ele, o mesmo modelo usa 56 mil tokens por pergunta e a conta cai para cerca de R$ 14,1 mil. Se a empresa trocar para o Claude Haiku 4.5, que chegou a 93% de acurácia com o Company Brain, a estimativa fica em torno de R$ 2,7 mil. “Quando a IA erra, a reação comum é pagar por um modelo maior. No estudo, o que mais mudou o resultado foi a organização dos dados antes da pergunta”, explica Kadu Monguilhott , cofundador e CEO da Strattum . Modelos mais baratos ganham capacidade A preparação das informações também ampliou a capacidade de modelos que inicialmente tinham dificuldades para responder às perguntas. Entre os cinco com acurácia inferior a 90% na conexão direta aos sistemas, a média passou de 46% para 85%. Nesse grupo, a proporção de respostas totalmente corretas cresceu de 35% para 74%. O Claude Haiku 4.5 elevou sua acurácia de 59% para 93%. O resultado indica que, nas tarefas avaliadas, o Company Brain permitiu a um modelo mais barato alcançar uma faixa de precisão que só era possível por modelos mais robustos. Os três modelos com menor acurácia inicial, entre 19% e 39%, passaram a registrar índices de 75% a 81%. O GPT-5 Nano, o mais barato da rodada, apresentou o maior salto, de 19% para 79%, mais de quatro vezes o índice original. Com o Company Brain , todos os 12 modelos superaram 70% de acurácia. O ranking dos 12 modelos, com custo e acurácia de cada um, está no estudo completo.