Avaliar ferramentas de IA: o teste que substitui a demonstração

A decisão de contratar uma ferramenta de IA em marketing costuma ser tomada a partir de uma demonstração de trinta minutos, conduzida pelo fornecedor, com dados escolhidos por ele.

Isso não é má-fé — é o formato padrão de venda de software. O problema é que uma demonstração otimizada mostra exatamente o caso em que a ferramenta funciona bem, e nada sobre o caso em que ela vai ser usada.

Este artigo é sobre montar uma avaliação que responda a pergunta que importa: isso funciona com o meu material?

A pergunta que vem antes de qualquer ferramenta

Antes de comparar opções: que problema você está resolvendo, e ele é de ferramenta?

Boa parte das frustrações com IA em marketing vem de contratar uma solução para um problema que é de processo ou de dado. Três exemplos frequentes:

"Precisamos produzir mais conteúdo." Se o gargalo é revisão e aprovação, produzir rascunhos mais rápido só aumenta a fila.

"Precisamos qualificar melhor os leads." Se o CRM não registra o desfecho de cada oportunidade de forma estruturada, não há do que aprender — nenhum modelo produz sinal a partir de dado ausente.

"Precisamos personalizar em escala." Se você não tem informação diferente sobre cada conta, a personalização vai ser cosmética independentemente da ferramenta.

O teste que substitui a demonstração

A avaliação útil tem uma característica: usa o seu material, não o do fornecedor.

Monte o conjunto de teste antes de ver qualquer ferramenta

Vinte a trinta casos reais da sua operação, escolhidos com critério:

• Cinco casos fáceis — os que qualquer ferramenta deveria acertar. Se erra aqui, elimina.
• Dez casos típicos — o que aparece no dia a dia.
• Cinco casos difíceis — ambíguos, com informação faltando, fora do padrão.
• Cinco casos que deveriam ser recusados — onde a resposta certa é "não sei" ou "não se aplica".

O último grupo é o mais revelador e o que ninguém testa. Uma ferramenta que sempre produz uma resposta confiante, inclusive quando não deveria, é mais perigosa que uma que às vezes se recusa.

Defina o gabarito antes de rodar

Para cada caso, qual seria a resposta certa. Escrito antes.

Sem gabarito prévio, a avaliação vira leitura de saídas plausíveis — e plausibilidade é justamente o que esses sistemas otimizam. Você vai achar tudo razoável.

Rode o mesmo conjunto em todas as opções

Inclusive na alternativa de não usar ferramenta nenhuma: quanto tempo leva fazer à mão, e com que qualidade? É a linha de base, e frequentemente ela vence.

O que avaliar além do resultado

A qualidade da saída é o critério óbvio. Cinco outros determinam se a ferramenta vai ser usada em seis meses.

Consistência entre execuções

Rode o mesmo caso três vezes. Se as respostas variam muito, você não pode construir processo em cima — cada execução exige revisão completa.

Variação é esperada e tolerável em rascunho de texto. Em classificação, é inaceitável: o mesmo lead não pode receber notas diferentes dependendo do dia.

Como ela erra

Mais importante que a taxa de acerto. Uma ferramenta que erra de forma reconhecível é utilizável; uma que erra de forma plausível é perigosa.

Nos casos difíceis, olhe: o erro seria percebido por quem revisa? Se a resposta errada parece tão boa quanto a certa, o custo de revisão anula o ganho.

O que acontece com os seus dados

Cinco perguntas, respondidas por escrito: os dados são usados para treinamento? Por quanto tempo ficam armazenados? Onde? Quem tem acesso do lado do fornecedor? Como excluir?

Planos de consumidor e contratos corporativos costumam diferir exatamente nisso, e a diferença entre um e outro pode ser essa cláusula.

O esforço de integração

Uma ferramenta que exige exportar planilha, processar e importar de volta vai ser usada duas vezes. O atrito de uso determina a adoção mais que a qualidade.

O que acontece quando você sai

Consegue exportar o que produziu? As configurações e os prompts são seus? Se a ferramenta encerrar, o que você perde?

As três categorias, e o que muda em cada uma

"Ferramenta de IA para marketing" cobre coisas muito diferentes, e o critério de avaliação não é o mesmo.

As que geram texto

Rascunho de artigo, variação de anúncio, resposta de e-mail. A saída é lida por uma pessoa antes de sair.

O que importa: quanto do texto sobrevive à edição, e se o vocabulário soa como o seu. Uma ferramenta que produz texto correto e genérico economiza pouco, porque a reescrita para dar personalidade consome o tempo economizado.

O risco é baixo, porque há revisão no caminho — desde que ela realmente aconteça.

As que classificam ou pontuam

Qualificação de lead, categorização de chamado, priorização de conta. A saída alimenta uma decisão, frequentemente sem revisão.

O que importa: consistência entre execuções e comportamento nos casos ambíguos. Aqui a variação é inaceitável, e a taxa de erro precisa ser medida contra um gabarito real.

O risco é maior, porque ninguém confere caso a caso. Um erro sistemático de classificação passa meses despercebido.

As que executam

Enviam e-mail, atualizam registro, respondem a cliente. A saída vira fato no mundo.

O que importa: o que acontece quando erra, e se dá para reverter. Um rascunho ruim você descarta; um e-mail errado já foi enviado.

O risco é o mais alto, e a avaliação precisa incluir o cenário de falha: quantas pessoas seriam afetadas por um erro antes de alguém perceber?

Por que a distinção importa na compra

Uma ferramenta da primeira categoria pode ser avaliada em uma tarde e trocada sem custo. Uma da terceira exige teste em ambiente controlado, limite de alcance e registro auditável — e o esforço de implantação é ordens de grandeza maior.

Confundir as duas é como a mesma decisão de compra acaba sendo tomada com o mesmo rigor para coisas de risco completamente diferente.

Como medir a qualidade sem se enganar

Duas armadilhas específicas.

A primeira impressão engana. Saídas de IA são projetadas para parecer boas na leitura rápida — estrutura correta, tom adequado, vocabulário apropriado. A avaliação precisa ser contra o gabarito, item por item, não por impressão geral.

Quem avalia precisa conhecer o assunto. Uma pessoa que não domina o tema não consegue distinguir uma resposta correta de uma plausível. Se o especialista não tem tempo de avaliar, esse é o custo real de adotar a ferramenta — não a assinatura.

Um formato simples de pontuação

A última linha merece peso desproporcional. Uma ferramenta com 80% de acerto e 5% de erro convincente pode ser pior que uma com 60% de acerto e nenhum — porque o erro que passa vira conteúdo publicado.

A conta que decide

O cálculo honesto tem quatro parcelas, e a maioria das análises considera só a primeira.

Custo da assinatura. Simples e visível.

Custo de revisão. Se toda saída precisa ser conferida por alguém que conhece o assunto, esse tempo entra na conta. Frequentemente é maior que a assinatura.

Custo de implantação e aprendizado. Configurar, integrar, treinar o time, descobrir o que funciona. Costuma levar semanas e não aparece em nenhuma proposta.

Custo do erro que passa. Difícil de estimar e não é zero. Um número inventado numa proposta comercial, uma afirmação incorreta sobre um concorrente.

Do outro lado, o ganho: horas economizadas, multiplicadas pelo custo dessas horas. Se o resultado for próximo, a resposta é não — porque as parcelas de custo são subestimadas com mais frequência que superestimadas.

Vale acrescentar uma parcela de custo que costuma ficar de fora e é a mais desconfortável: a dependência que se cria. Uma equipe que passa um ano usando uma ferramenta para uma tarefa perde a prática de fazê-la, e a capacidade de avaliar se a saída está boa se deteriora junto. Se a ferramenta encerrar, mudar de preço ou piorar, o custo de sair não é só a migração — é reconstruir uma competência.

Isso não é argumento contra adotar. É argumento para manter, dentro do time, alguém que continue conseguindo fazer sem — e para que a revisão seja feita por essa pessoa, não por quem só sabe operar a ferramenta.

Construir em cima do modelo, em vez de contratar

Uma alternativa que quase não é considerada e frequentemente sai melhor: em vez de contratar uma ferramenta que embrulha um modelo, usar o modelo diretamente.

Quando isso faz sentido

Quando a tarefa é bem definida e repetitiva. Classificar transcrições, extrair campos de documentos, agrupar respostas de formulário. São tarefas em que a interface da ferramenta acrescenta pouco.

Quando o volume é baixo. Assinaturas costumam ter piso mensal. Uso direto é cobrado por consumo, e para algumas centenas de operações por mês a diferença é grande.

Quando você quer controle do que é enviado. Uma ferramenta intermediária decide o que manda ao modelo; no uso direto, você decide.

Quando não faz

Quando ninguém sabe programar. Parece óbvio e é ignorado com frequência: sem alguém capaz de manter aquilo, você criou uma dependência de uma pessoa.

Quando a ferramenta resolve a parte difícil. Algumas embrulham trabalho real — integração com sistemas, tratamento de dado, interface para quem não é técnico. Aí o valor não é o modelo, é o resto.

O caminho intermediário

Fazer o piloto com uso direto, para descobrir se a tarefa funciona e o que ela exige. Se funcionar e o volume crescer, aí avaliar ferramenta com esse conhecimento na mão.

Isso inverte a ordem usual — testar a hipótese antes de comprar a solução — e reduz muito o risco de contratar algo que não resolve.

Perguntas que separam fornecedor sério de embrulho

Uma parte relevante das ferramentas vendidas como "IA para marketing" é uma camada fina sobre um modelo de terceiro. Isso não é problema em si — o problema é pagar preço de produto por algo que é interface.

Cinco perguntas que revelam onde está o valor:

"O que vocês fazem além de chamar o modelo?" Uma resposta honesta menciona coisas concretas: tratamento do dado de entrada, validação da saída, integração com sistemas, conhecimento de domínio embutido. Uma resposta evasiva é informação.

"Qual modelo vocês usam, e o que acontece quando ele muda?" Fornecedores sérios têm resposta para isso, porque modelos mudam e a saída muda junto. Quem não tem processo de reavaliação vai passar a variação para você sem aviso.

"Como vocês medem a qualidade internamente?" Se existe um conjunto de avaliação e ele é rodado a cada mudança, isso é sinal de operação madura. Se a resposta é sobre satisfação de clientes, não há medição.

"O que a ferramenta faz quando não sabe?" A resposta ideal descreve um comportamento específico — sinaliza incerteza, recusa, pede mais contexto. "Ela sempre entrega uma resposta" é um alerta.

"Posso rodar o meu conjunto de teste antes de assinar?" A resposta a essa pergunta costuma decidir a avaliação sozinha. Fornecedor que resiste a ser testado com material do cliente está protegendo alguma coisa.

Um sinal indireto

Repare em quanto do material de venda fala sobre o modelo por trás e quanto fala sobre o problema que resolve. Ferramentas que se vendem pela tecnologia frequentemente não têm o que dizer sobre o resultado.

Os erros mais comuns na avaliação

Testar com o exemplo do fornecedor. Ele foi escolhido porque funciona.

Avaliar sem gabarito. Produz aprovação de tudo que parece razoável.

Não testar os casos difíceis. É onde as ferramentas se diferenciam; nos fáceis, todas acertam.

Ignorar a variação entre execuções. Uma boa saída na demonstração pode ser sorte.

Não incluir a alternativa manual. Sem linha de base, qualquer resultado parece bom.

Decidir por quem avalia melhor a tecnologia, não o resultado. Quem entende do assunto sabe se a resposta está certa; quem entende da ferramenta sabe se ela é impressionante. São coisas diferentes.

O piloto que revela o que a avaliação não mostra

Passar no conjunto de teste não garante que a ferramenta será usada. Entre aprovar e adotar existe um espaço onde a maioria das contratações morre.

Rode em produção paralela por um mês

A ferramenta processa o trabalho real, e o processo antigo continua funcionando. Ninguém depende dela ainda.

Isso revela coisas que o teste controlado não mostra: como ela se comporta com o material bagunçado do dia a dia, quanto tempo a revisão realmente consome, e se as pessoas lembram de usar.

Meça três coisas durante o piloto

Tempo real por tarefa, incluindo revisão. Cronometrado, não estimado. A estimativa sempre favorece a ferramenta nova.

Proporção de saídas aproveitadas. Se metade é descartada, o ganho é metade do prometido — e a frustração de descartar consome mais do que o número sugere.

Quantas pessoas usam sem ser lembradas. É o indicador que melhor prediz se a adoção sobrevive ao fim do piloto.

O critério de decisão, escrito antes

O que faria você adotar, e o que faria desistir. Definido no começo, porque no fim do piloto existe pressão para justificar o tempo investido — e é fácil encontrar razões para continuar.

O que fazer se o piloto for morno

Resultado morno é o mais comum e o mais difícil de interpretar: funciona, economiza algum tempo, e ninguém fica entusiasmado.

Nesse caso a pergunta útil não é se a ferramenta é boa. É se o mesmo esforço de implantação, aplicado a outra coisa, renderia mais. Frequentemente renderia — e o custo de manter uma ferramenta morna é permanente.

Depois de contratar

A avaliação não termina na assinatura. Três práticas que evitam o cenário mais comum — a ferramenta é contratada, usada por dois meses e abandonada em silêncio.

Reavalie com o mesmo conjunto de teste, a cada semestre. Os modelos por trás dessas ferramentas mudam sem aviso, e o resultado pode melhorar ou piorar. Ter o conjunto guardado torna isso um exercício de uma hora.

Acompanhe o uso real, não a licença. Quantas pessoas usam, com que frequência, para quê. Assinatura paga e não usada é o desperdício mais comum em software.

Registre os erros que passaram. Quando alguém encontrar um erro publicado que veio da ferramenta, registre. Três ou quatro casos ao longo de um ano mudam a conta.

Duas semanas até a decisão

1. Dia 1 — descreva o problema sem mencionar IA. Se não sobrar problema, pare aqui.
2. Dias 2 e 3 — monte o conjunto de teste com os quatro grupos de casos e escreva o gabarito.
3. Dia 4 — estabeleça a linha de base. Quanto tempo e com que qualidade se faz à mão hoje.
4. Dias 5 a 8 — rode o conjunto em duas ou três opções, três vezes cada caso.
5. Dia 9 — leia os contratos. As cinco perguntas sobre dados, respondidas por escrito.
6. Dia 10 — faça a conta completa, com as quatro parcelas de custo.
7. Guarde o conjunto de teste para a reavaliação semestral.

O passo 3 é o mais pulado e o que mais evita compra ruim. Sem saber quanto custa fazer à mão, não há como saber se a ferramenta melhora alguma coisa — e a resposta, em vários casos, é que ela troca um trabalho conhecido por um trabalho de revisão equivalente.