Camilla Correia

Blog

  1. · 8 min de leitura

    Como saber se o seu juiz (LLM-as-a-judge) acerta: as métricas por trás do eval

    Accuracy, precision, recall, F1, support e kappa, cada uma respondendo a uma pergunta.

  2. · 9 min de leitura

    LLM como juiz (LLM-as-a-judge): quem avalia a resposta?

    O que é um LLM juiz, como escrever o critério que ele usa, onde ele erra e por que o próprio juiz também precisa ser avaliado.

  3. · 5 min de leitura

    “Eval” virou uma palavra sobrecarregada

    Benchmark, juiz, teste A/B e dashboard não são a mesma coisa.

  4. · 6 min de leitura

    O que é eval? Como saber se o seu produto de IA está funcionando?

    Eval é o processo de verificar se um sistema de IA faz o que deveria fazer. Por que avaliar IA é diferente de testar software, o problema dos erros silenciosos e como começar.