Este projeto está em andamento. Descrições, métodos e resultados podem ser atualizados após novas validações.
Conteúdo educacional e informativo. Não constitui consultoria jurídica, orientação para caso concreto nem posição institucional. Exemplos e análises utilizam apenas fontes legítimas e dados públicos, agregados ou adequadamente anonimizados.
Pergunta de pesquisa
Minutas elaboradas por modelos de linguagem com RAG são juridicamente confiáveis?
Motivação
Tribunais e escritórios já usam modelos de linguagem para redigir minutas. Antes de confiar nelas, é preciso medir, com um protocolo replicável, onde elas acertam, onde erram e quão estáveis são as respostas.
Dados
- Conjunto de casos-teste e gabaritos elaborados com revisão jurídica humana (em definição)
Metodologia
- Benchmark de modelos de linguagem com e sem recuperação de contexto
- Avaliação em sete dimensões: correção jurídica, fundamentação, atualização normativa, citações, alucinações, consistência e estabilidade
Limitações
- Projeto em estruturação; ainda não há repositório público nem resultados.
Implicações
- Critérios objetivos para políticas de uso de IA generativa no Judiciário.
Produtos aplicados previstos (possível extensão, sujeita a registro)
- Protocolo público de avaliação de minutas geradas por IA