Camilla Correia

Sobre

Foco atual

Pipelines de avaliação de LLMs

Design e implementação de pipelines de avaliação de LLMs no Jusbrasil, combinando três frentes:

1. 01

   Avaliação Automática

   Desenvolvimento de judges para avaliar conteúdo gerado por LLMs contra critérios jurídicos específicos.

2. 02

   Human-in-the-loop

   Plataforma de avaliação manual integrada, coletando feedback humano para validação e otimização contínua.

3. 03

   Data-Driven Optimization

   Uso rigoroso de benchmarks quantitativos e ferramentas de avaliação para decisões de deployment.

Projetos pessoais

Projetos pessoais

Experiência

Experiência

1. dez. de 2024 a atual

   Jusbrasil

   Senior Software Engineer

   Atuo no time de Eval, dedicado à avaliação e qualidade de conteúdo gerado por LLMs, construindo ferramentas e pipelines que mensuram precisão, relevância e confiabilidade em cenários jurídicos:

   • Judges automáticos para avaliação contínua contra critérios jurídicos versionados (contrato, régua e goldenset), incluindo calibração contra anotação humana.
   • Plataforma de avaliação com human-in-the-loop, do framework de critérios à coleta de feedback, usada para validar judges e identificar edge cases.
   • Pipelines batch de eval em Airflow/BigQuery, com amostragem reprodutível, execução paralela em pods e série histórica auditável de exposição a erros em produção.
   • Análise de causa raiz de falhas de avaliação e de taxonomia de alucinação, propondo correções estruturais no pipeline.
   • Decisão baseada em evidência quantitativa para liberação de mudanças de prompt e de judge, com comparação antes/depois sob dataset e régua fixos.

   • Microserviços
   • Microfrontends
   • Monorepos
   • React
   • GraphQL
   • Scala
   • Java
   • Go
   • Python
   • Kafka
   • Elasticsearch
   • GCP / AWS
   • Docker / K8s

2. jan. de 2022 a dez. de 2024

   Jusbrasil

   Mid-level Software Engineer (Pleno)

   • Elasticsearch
   • Docker

3. mai. de 2021 a jan. de 2022 · Remoto

   PicPay

   Mid-level Front-End Software Engineer (Pleno)

   • Angular
   • React
   • Design System
   • Nx / Monorepo
   • Akita
   • BEM
   • Storybook
   • New Relic
   • Mixpanel
   • Jest
   • Cypress

4. set. de 2020 a mai. de 2021 · Freelance · Remoto

   Cubos Academy

   Monitora de Lógica de Programação e Front-end

   Instrutora em curso intensivo de programação (6 meses): ReactJS, JavaScript, HTML, CSS.

5. ago. de 2020 a mai. de 2021 · Estágio · Remoto

   Cubos Tecnologia

   Front-end Developer

   • ReactJS
   • TypeScript
   • React Hooks
   • Mobx
   • Sass
   • Ant Design

6. out. de 2019 a ago. de 2020 · Salvador · Híbrido

   Diel Energia

   Front-end Developer

   • HTML
   • CSS
   • JavaScript
   • Bootstrap
   • Amazon S3

Skills e ferramentas

IA & LLMOps

• Avaliação de LLMs
• Prompt Engineering
• LLMOps
• Claude Code
• Cursor
• GitHub Copilot

Front-end

• JavaScript
• React
• GraphQL

Back-end

• Python
• Scala
• Java

Infraestrutura

• Google Cloud
• AWS
• Docker
• Kubernetes

Dados

• Airflow
• Kafka
• Elasticsearch

Monitoramento

• Prometheus
• Graylog
• Grafana
• Metabase

Bancos de dados

• PostgreSQL
• MySQL
• SQLite
• Bigtable