Projetado para oferecer detecção rápida e eficiente de idiomas, o modelo combina uma arquitetura compacta baseada em BERT com bom desempenho multilíngue, sendo adequado para sistemas em produção, APIs, aplicações móveis e dispositivos de borda (edge computing).

Nosso objetivo é disponibilizar uma solução open source, leve e acessível para identificação de idiomas, mantendo baixo custo computacional e facilidade de integração.

🚀 Destaques

🌍 Suporte para 15 idiomas
⚡ Inferência rápida
🪶 Arquitetura leve (~5 milhões de parâmetros)
📦 Aproximadamente 20 MB
🤗 Compatível com Hugging Face Transformers
🔓 Código aberto
💻 Ideal para produção, APIs e Edge Computing

📖 Visão Geral do Modelo

Propriedade	Valor
Arquitetura	BERT Encoder
Parâmetros	~5 milhões
Tamanho	~20 MB
Vocabulário	16.000 tokens
Comprimento máximo	128 tokens
Hidden Size	192
Camadas Transformer	6
Cabeças de Atenção	4
Camada Intermediária	512
Framework	PyTorch
Biblioteca	Hugging Face Transformers

🌐 Idiomas Suportados

Código	Idioma
en	Inglês
es	Espanhol
fi	Finlandês
fr	Francês
it	Italiano
ja	Japonês
ko	Coreano
nl	Holandês
pl	Polonês
pt	Português
ro	Romeno
ru	Russo
sv	Sueco
tr	Turco
zh	Chinês

Total: 15 idiomas.

📚 Dataset de Treinamento

O modelo foi treinado utilizando o dataset:

Comunidade-Synapse-BR/dataset-multilingue-750k

Características do conjunto de dados:

Aproximadamente 750 mil textos
15 idiomas
Distribuição balanceada
Textos codificados em UTF-8
Dados limpos e sem duplicações
Divisão em treino, validação e teste
Otimizado para identificação de idiomas

🎯 Casos de Uso

O Synapse-LangID pode ser utilizado em:

Identificação automática de idiomas
Pipelines de NLP
Motores de busca
Sistemas de tradução
Limpeza de datasets
Filtragem de documentos
Roteamento por idioma
Pré-processamento de texto
Organização de documentos
Aplicações de Inteligência Artificial

⚡ Instalação

pip install transformers torch

🤗 Exemplo utilizando Pipeline

python

from transformers import pipeline

classifier = pipeline(
    "text-classification",
    model="Comunidade-Synapse-BR/Synapse-LangID"
)

print(classifier("Olá, tudo bem?"))

💻 Exemplo em Python

python

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

repo = "Comunidade-Synapse-BR/Synapse-LangID"

tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSequenceClassification.from_pretrained(repo)

texto = "Olá, tudo bem?"

inputs = tokenizer(
    texto,
    return_tensors="pt",
    truncation=True,
    max_length=128
)

with torch.no_grad():
    outputs = model(**inputs)

probabilidades = outputs.logits.softmax(dim=-1)

classe = model.config.id2label[
    probabilidades.argmax().item()
]

print(classe)

📊 Exemplos de Predição

Texto	Idioma
Hello world	Inglês
Olá mundo	Português
Bonjour	Francês
Hola amigos	Espanhol
Ciao a tutti	Italiano
今日はいい天気ですね	Japonês
안녕하세요	Coreano
Привет	Russo

📈 Desempenho

O Synapse-LangID apresenta melhor desempenho em:

Frases completas
Parágrafos
Documentação
Notícias
Conversas do cotidiano

O desempenho pode diminuir em casos como:

Textos extremamente curtos
Frases com múltiplos idiomas
Sequências aleatórias de caracteres
Apenas números
Apenas emojis
Uso excessivo de gírias da internet

Novas métricas serão adicionadas em futuras versões.

⚠️ Limitações

Embora apresente bom desempenho em identificação automática de idiomas, nenhum classificador é perfeito.

O modelo pode apresentar dificuldades em situações como:

Mensagens muito curtas
Mistura de idiomas (code-switching)
Conteúdo ambíguo
Textos com pouca informação linguística

Para aplicações críticas, recomenda-se utilizar validação humana como camada adicional de segurança.

📂 Arquivos do Repositório

config.json
model.safetensors
tokenizer.json
tokenizer_config.json
special_tokens_map.json
README.md

📜 Licença

Este modelo é distribuído sob a licença Apache License 2.0.

Consulte o repositório para mais informações.

📚 Citação

Caso este modelo contribua para sua pesquisa ou projeto, considere citá-lo.

bibtex

@misc{synapse_langid_2026,
  title={Synapse-LangID},
  author={Comunidade Synapse BR},
  year={2026},
  publisher={Hugging Face}
}

🤝 Sobre a Comunidade Synapse BR

A Comunidade Synapse BR é uma iniciativa brasileira dedicada ao desenvolvimento de modelos de inteligência artificial, datasets e ferramentas de código aberto.

Nossa missão é tornar a inteligência artificial mais acessível por meio de tecnologias eficientes, leves e abertas, contribuindo para fortalecer a presença do Brasil no ecossistema global de IA.

Contribuições, sugestões e relatos de problemas são sempre bem-vindos.