Camilla Correia
Blog
Como saber se o seu juiz (LLM-as-a-judge) acerta: as métricas por trás do eval
Accuracy, precision, recall, F1, support e kappa, cada uma respondendo a uma pergunta.
LLM como juiz (LLM-as-a-judge): quem avalia a resposta?
O que é um LLM juiz, como escrever o critério que ele usa, onde ele erra e por que o próprio juiz também precisa ser avaliado.
“Eval” virou uma palavra sobrecarregada
Benchmark, juiz, teste A/B e dashboard não são a mesma coisa.
O que é eval? Como saber se o seu produto de IA está funcionando?
Eval é o processo de verificar se um sistema de IA faz o que deveria fazer. Por que avaliar IA é diferente de testar software, o problema dos erros silenciosos e como começar.