ftr-bertimbau-large
Este modelo é uma versão fine-tuned do BERTimbau-large (um modelo BERT pré-treinado em português) especializado na triagem de petições iniciais do contexto jurídico brasileiro. Ele classifica trechos de documentos nas categorias Tese Jurídica (0), Fato (1) ou Ruído (2).
O modelo foi treinado e avaliado utilizando um corpus institucional inédito contendo mais de 25 mil trechos de petições iniciais reais, provenientes do Tribunal de Justiça do Estado de Goiás (TJGO). O objetivo é auxiliar a triagem de documentos nos fluxos de trabalho judiciais, otimizando o tempo de processamento.
Publicação
🏆 Aceito para publicação no ENIAC 2026 (Encontro Nacional de Inteligência Artificial e Computacional).
📄 Artigo: "Fact, Legal Thesis, and Noise: Comparing Classical ML, BERT, and LLMs for Triage of Initial Petitions in Brazilian Portuguese".
🔗 DOI: [A DEFINIR EM BREVE]
Resultados e Métricas (Conjunto de Teste)
O modelo obteve desempenho no estado da arte ao separar as três classes (Tese, Fato e Ruído) em documentos não estruturados, demonstrando excelente adaptação ao dialeto jurídico brasileiro.
Métricas Gerais:
- Acurácia: 0.990
- Macro-F1: 0.990
- Precisão Macro: 0.990
- Recall Macro: 0.990
F1-Score por Classe:
- Fato: 0.986
- Tese Jurídica: 0.985
- Ruído (Cabeçalhos, rodapés, etc.): 0.999
Nota: Erros do modelo estão concentrados quase que exclusivamente em trechos altamente ambíguos onde a narração de um evento factual se mistura indissociavelmente com a invocação de um dispositivo legal. Avaliações com especialistas do tribunal confirmaram que tais casos geram incerteza até mesmo entre profissionais de direito (Fleiss' kappa = 0.46 nestes recortes difíceis).
Como Usar
Você pode utilizar este modelo diretamente com a biblioteca transformers:
1from transformers import AutoTokenizer, AutoModelForSequenceClassification
2import torch
3
4tokenizer = AutoTokenizer.from_pretrained("Willgnner-Santos/ftr-bertimbau-large")
5model = AutoModelForSequenceClassification.from_pretrained("Willgnner-Santos/ftr-bertimbau-large")
6
7texto = "Narra a parte autora que sofreu um acidente de trânsito causado pela negligência da ré..."
8inputs = tokenizer(texto, return_tensors="pt", truncation=True, max_length=512)
9
10with torch.no_grad():
11 logits = model(**inputs).logits
12 predicao = torch.argmax(logits, dim=1).item()
13
14# Mapeamento oficial:
15# 0 = Tese Jurídica
16# 1 = Fato
17# 2 = Ruído
18print(f"Classe predita: {predicao}")
Detalhes do Treinamento
- Arquitetura Base:
neuralmind/bert-large-portuguese-cased (BERTimbau Large)
- Max Length: 512 tokens
- Batch Size: 48
- Learning Rate: 4.9e-5
- Epochs: 10 (com Early Stopping)
Limitações e Recomendações
- Limite de Contexto: O modelo processa até 512 tokens. Para textos mais longos, o texto deve ser truncado ou dividido em janelas menores.
- Privacidade: Todos os documentos utilizados no treinamento (do TJGO) passaram por um rigoroso processo de anonimização para mascarar entidades sensíveis (nomes, CPFs, valores, etc).
- Uso Responsável: O modelo serve como ferramenta de auxílio e suporte à triagem institucional e não deve substituir a análise humana final em tomadas de decisão sensíveis ou na avaliação do mérito jurídico.
