You can deploy this model and start earning money today!

henriqueimoveis/
Echoes-0

Name: Echoes-0
Availability: InStock

Views

No views yet

Echoes-0

henriqueimoveis/Echoes-0 é a primeira publicação do Echoes.

O que e isso

Esse modelo foi treinado do zero em PT-BR como um projeto pessoal/experimental. O checkpoint publicado aqui vem de checkpoints/echoes_ptbr_hammer_4060.pt.

Arquitetura

Parametros aproximados: 134.30M
Camadas: 12
Heads: 12
Embedding: 768
Contexto: 256 tokens
Vocabulario: 32000
Tokenizer: BPE proprio em PT-BR

Dados

Mistura principal usada neste checkpoint:

Madras1/corpus-ptbr-v1
dominguesm/Canarim-Instruct-PTBR-Dataset
rishiraj/portuguesechat

Dataset mix salvo no checkpoint: sft-heavy.

Status

Esse é um modelo experimental publicado para marcar a existencia do projeto. Ele pode responder bem em alguns casos e falhar feio em outros.

Como usar

python

from transformers import AutoModelForCausalLM, AutoTokenizer

repo_id = "henriqueimoveis/Echoes-0"
tokenizer = AutoTokenizer.from_pretrained(repo_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo_id, trust_remote_code=True)

prompt = "Usuario: Oi, Echoes. Quem e voce?\nEchoes:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=80, temperature=0.9, top_p=0.95)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Metadados do checkpoint

Step salvo: 8028
Melhor val loss historico: 3.603450618684292
Tokenizer BOS/EOS/PAD: <s> / </s> / <pad>