← Todos os posts

· 8 min de leitura

Como saber se o seu juiz (LLM-as-a-judge) acerta: as métricas por trás do eval

Accuracy, precision, recall, F1, support e kappa, cada uma respondendo a uma pergunta.

Capa do post: Evals de IA, parte 4. Como saber se o seu juiz acerta. Accuracy, precision, recall, F1, support e kappa: uma pergunta por métrica. Ao lado, os números do exemplo: accuracy 92%, recall 70%, precision 58% e kappa 0,59.

Na parte 3, terminamos com uma pergunta: se o LLM juiz também erra, como saber se dá para confiar nele?

A resposta curta é: comparando as decisões dele com as de uma pessoa. A resposta longa é este texto, porque “comparar” pode ser feito de vários jeitos, e alguns deles enganam.

Lembra do exemplo? Um juiz que aprova tudo concorda com a pessoa em 90% dos casos, se 90% das respostas forem boas. Parece ótimo, e ele não pegou nenhum erro. O problema não é o juiz, é o número que escolhemos olhar.

Neste texto, vamos ver as métricas mais usadas para avaliar um juiz. Sem fórmula assustadora: cada uma responde a uma pergunta diferente.

O exemplo

Voltamos ao assistente do app de delivery. O critério do juiz é o mesmo da parte 3: a resposta oferece uma solução concreta, como reenvio ou reembolso?

Uma pessoa leu 100 conversas e marcou cada resposta como boa ou ruim. Ela encontrou 90 boas e 10 ruins. Depois, o juiz avaliou as mesmas 100.

Um detalhe de vocabulário antes de seguir: nas métricas, o caso “positivo” é o que você quer encontrar. Aqui, queremos encontrar respostas ruins. Então “positivo” é a resposta ruim, e o juiz “acerta um positivo” quando reprova uma resposta que de fato é ruim. Parece invertido, mas é só isso: positivo é o que o juiz está procurando.

A tabela de acertos e erros

Toda decisão do juiz cai em uma de quatro situações:

  • Reprovou e a resposta era ruim: acertou. São 7 casos.
  • Reprovou, mas a resposta era boa: alarme falso. São 5 casos.
  • Aprovou, mas a resposta era ruim: deixou passar. São 3 casos.
  • Aprovou e a resposta era boa: acertou. São 85 casos.

Tabela de acertos e erros com 100 respostas: o que a pessoa disse cruzado com o que o juiz decidiu. Das 10 respostas ruins, o juiz reprovou 7 (acertou, verdadeiro positivo, TP) e aprovou 3 (deixou passar, falso negativo, FN). Das 90 boas, reprovou 5 (alarme falso, falso positivo, FP) e aprovou 85 (acertou, verdadeiro negativo, TN). As caixas do alarme falso e do deixou passar estão em vermelho.

As caixas vermelhas são os erros do juiz.

Essa tabela tem um nome técnico, matriz de confusão, e todas as métricas a seguir saem dela. Os nomes em inglês que você vai encontrar por aí são:

  • verdadeiro positivo (true positive, TP): reprovou e era ruim;
  • falso positivo (false positive, FP): reprovou, mas era boa;
  • falso negativo (false negative, FN): aprovou, mas era ruim;
  • verdadeiro negativo (true negative, TN): aprovou e era boa.

Accuracy: quantas vezes o juiz concordou com a pessoa?

A conta: acertos divididos pelo total. (7 + 85) / 100 = 92%.

O que mostra: a concordância geral. É o número mais intuitivo, e por isso o mais usado.

Onde engana: quando um tipo de resposta é muito mais comum que o outro. Com 90 respostas boas, um juiz que aprova tudo tem 90% de accuracy sem pegar nenhum erro. O nosso juiz tem 92%, só 2 pontos a mais, e ele pegou 7 dos 10 erros. A accuracy quase não mostra essa diferença.

Recall: das respostas ruins, quantas o juiz pegou?

A conta: ruins que o juiz reprovou, divididas por todas as ruins. 7 / 10 = 70%.

O que mostra: quanto dos erros reais o juiz consegue encontrar. O juiz que aprova tudo tem recall de 0%, e aqui a armadilha dos 90% desaparece.

Quando importa mais: quando deixar passar um erro custa caro. Se a resposta ruim pode fazer um cliente perder dinheiro, você quer um recall alto, mesmo que o juiz dê alguns alarmes falsos.

Na parte 3, falamos de duas taxas: das respostas ruins, quantas o juiz reprovou, e das boas, quantas ele aprovou. A primeira é o recall. A segunda tem o nome de especificidade (ou true negative rate): 85 / 90 = 94%.

Precision: quando o juiz reprova, quantas vezes ele está certo?

A conta: reprovações corretas divididas por todas as reprovações. 7 / (7 + 5) = 58%.

O que mostra: se dá para confiar quando o juiz aponta um problema. Aqui, de cada 10 alertas, cerca de 4 são alarme falso.

Quando importa mais: quando cada alerta gera trabalho. Se toda reprovação vai para uma pessoa revisar, uma precision baixa significa gente gastando tempo com respostas que estavam boas.

Recall e precision costumam puxar para lados opostos. Um juiz mais rigoroso pega mais erros (recall sobe), mas reprova mais respostas boas (precision cai). Um juiz mais tolerante faz o contrário.

F1: o equilíbrio entre os dois

A ideia: o F1 junta precision e recall num número só. Mas, em vez da média simples, ele usa a média harmônica, que pune quem é ótimo numa ponta e péssimo na outra.

A conta: 2 × precision × recall / (precision + recall). Aqui, 2 × 58% × 70% / (58% + 70%) = 64%.

Por que não a média simples? Pense num juiz que reprova tudo. Ele pega todas as 10 respostas ruins, então o recall é de 100%. Mas das 100 reprovações, só 10 estavam certas, então a precision é de 10%.

  • Média simples: (100% + 10%) / 2 = 55%. Parece um juiz razoável.
  • F1: 2 × 100% × 10% / (100% + 10%) = 18%. Mostra que ele não serve.

A média simples deixa um número muito alto compensar um muito baixo. A média harmônica não: se uma das duas despenca, o F1 despenca junto. Quando as duas estão próximas, como no nosso juiz (58% e 70%), o F1 fica perto da média simples.

O que mostra: se o juiz consegue encontrar erros sem gerar alarme falso demais, ao mesmo tempo.

Onde engana: ele esconde qual dos dois está fraco. Um F1 de 64% pode vir de recall alto e precision baixa, ou o contrário, e essas situações pedem correções diferentes. Use o F1 para comparar versões do juiz, mas olhe precision e recall antes de decidir o que mudar.

Support: quantos casos sustentam esse número?

A conta: nenhuma, é só a contagem. Aqui, o support é 10 respostas ruins e 90 boas.

O que mostra: quanta evidência existe por trás de cada métrica. É a métrica mais ignorada e uma das mais importantes.

Por que importa: o nosso recall de 70% vem de 10 casos. Se o juiz tivesse pegado só mais um, o recall pularia para 80%. Com tão poucos exemplos, a diferença entre duas versões do juiz pode ser só sorte. Antes de comemorar uma melhora, confira se existem casos suficientes para ela significar alguma coisa.

Kappa de Cohen: concordância descontando o acaso

A ideia: se o juiz decidisse no chute, mas respeitando a proporção de reprovações dele, ele ainda concordaria com a pessoa muitas vezes, só por sorte. O kappa mede quanto da concordância vai além desse acaso.

A conta, de forma simples:

  • O juiz concordou com a pessoa em 92% dos casos.
  • Pelo acaso, com essas proporções de aprovação e reprovação, esperaríamos cerca de 80% de concordância.
  • O kappa olha só para o que sobra entre o acaso e a concordância perfeita. Aqui, fica em 0,59.

Como ler: 1 é concordância perfeita, 0 é o mesmo que o acaso. Uma escala comum (Landis e Koch, 1977) chama 0,41 a 0,60 de concordância moderada e 0,61 a 0,80 de substancial. Ela é uma convenção, não uma regra, mas ajuda a ter referência.

O teste do juiz que aprova tudo: accuracy de 90% e kappa de 0. O kappa denuncia na hora que esse juiz não sabe nada além do que o acaso já daria.

Um uso a mais: o kappa também serve para comparar duas pessoas avaliando as mesmas respostas. Se nem elas concordam, o problema provavelmente está no critério, não no juiz.

Qual métrica olhar primeiro?

Depende de qual erro custa mais caro no seu produto:

  • Deixar passar uma resposta ruim é grave? Olhe primeiro o recall.
  • Cada alerta gera trabalho para alguém? Olhe a precision.
  • Quer comparar versões do juiz com um número só? Use o F1 ou o kappa, mas abra os números antes de decidir.
  • Sempre: confira o support. E desconfie de accuracy quando as respostas boas forem a grande maioria.

E uma regra que vale para todas: meça o juiz em casos que você não usou para ajustar o prompt dele. Se os exemplos do prompt também estão na medição, qualquer métrica vai parecer melhor do que é.

Resumo das métricas do exemplo, uma pergunta por métrica. Accuracy, 92%: quantas vezes o juiz concordou com a pessoa? Engana quando quase tudo é bom. Recall, 70%: das respostas ruins, quantas o juiz pegou? Precision, 58%: quando o juiz reprova, quantas vezes está certo? F1, 64%: junta precision e recall pela média harmônica, e pune quem é ótimo numa ponta e péssimo na outra. Support, 10: quantos casos sustentam o número? Poucos casos, pouca confiança. Kappa, 0,59: quanto da concordância vai além do acaso? 0 é chute, 1 é perfeito.

Cada número responde a uma pergunta diferente.

O que levar daqui

  • Um juiz se avalia comparando as decisões dele com as de uma pessoa, e todas as métricas saem da tabela de acertos e erros.
  • Accuracy é intuitiva, mas engana quando quase todas as respostas são boas.
  • Recall: das respostas ruins, quantas o juiz pegou.
  • Precision: quando o juiz reprova, quantas vezes está certo.
  • F1 junta os dois pela média harmônica, que pune quem é ótimo numa ponta e péssimo na outra. Mas esconde qual dos dois está fraco.
  • Support diz quantos casos sustentam cada número.
  • Kappa mostra quanto da concordância vai além do acaso.
  • A métrica certa depende de qual erro custa mais caro no seu produto.

Referências

  • Hamel Husain e Shreya Shankar. AI Evals: Everything You Need to Know. hamel.dev, 2025. https://hamel.dev/blog/posts/evals-faq/
  • Jacob Cohen. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement, 1960.
  • J. Richard Landis e Gary G. Koch. The Measurement of Observer Agreement for Categorical Data. Biometrics, 1977.

Também publicado no Medium.

← Todos os posts