You can deploy this model and start earning money today!

plvictor/
Theo-10M-PTBR-Chat

Name: Theo-10M-PTBR-Chat
Availability: InStock

Views

No views yet

Theo-10M · Chat

Menor que um app de celular. Consegue falar sobre a Bíblia.
Smaller than a phone app. Can talk about the Bible.

Sobre este modelo

Theo-10M-Chat é a versão conversacional do menor modelo da série — 7,4M de parâmetros, ajustado em ~19.000 exemplos de diálogo teológico via SFT (Supervised Fine-Tuning).

O resultado é surpreendente para o tamanho: o modelo entende o formato de conversa, mantém foco temático bíblico e responde de forma coerente em português. Não é perfeito — e nem deveria ser. Ele demonstra que é possível construir um assistente especializado extremamente leve, sem APIs externas, sem custo de inferência em nuvem.

Roda em CPU. Em tempo real. Com menos de 30 MB de peso.

🔗 Versão base (CPT): plvictor/Theo-10M-PTBR-Base

Para que serve?

Ambientes com recursos mínimos — CPU, edge, microcontroladores com inferência otimizada
Protótipos de chatbot cristão leve — resposta rápida, baixo custo
Estudo de SFT em modelos pequenos — como o fine-tuning transforma um modelo base
Comparação de qualidade — baseline para medir o ganho dos modelos maiores

Arquitetura e Treinamento

Parâmetro	Valor
Parâmetros reais	7,4M
Camadas	4 · d_model=256 · FFN=1.024
Contexto máximo	512 tokens
Vocabulário	16.000 tokens (BPE próprio)
SFT examples	~19.000 pares de conversação teológica
GPU	NVIDIA L40S 48 GB (RunPod)
SFT gerado com	Qwen 35B como modelo professor

Como usar

bash

git lfs install
git clone https://huggingface.co/plvictor/Theo-10M-Chat
cd Theo-10M-Chat
pip install -r requirements.txt

python chat.py

python

import torch
from config import get_config
from src.model import BabelTransformer

cfg   = get_config("babel_10M")
model = BabelTransformer(cfg)
ckpt  = torch.load("theo-10m-chat.pt", map_location="cpu", weights_only=False)
model.load_state_dict(ckpt["model_state_dict"], strict=False)
model.eval()

Limitações

Qualidade inferior aos modelos maiores da série — esperado e intencional
Janela de contexto de 512 tokens limita conversas longas
Pode perder coerência em turnos múltiplos
Não passou por RLHF ou filtragem de segurança

Autor

Paulo Victor Souza · plvictor.com · huggingface.co/plvictor

"No princípio era o Verbo." — João 1:1

plvictor/Theo-10M-PTBR-Chat