You can deploy this model and start earning money today!

Ignaciohhhhggfgjfrffd/
SLM-Unified-Expert-Finetuned

Name: SLM-Unified-Expert-Finetuned
Availability: InStock

Views

No views yet

Modelo: Ignaciohhhhggfgjfrffd/SLM-Unified-Expert-Finetuned

Detalles del Modelo

Este es un Small Language Model (SLM) con aproximadamente 51.21M de parámetros, entrenado desde cero.

Arquitectura

Capas: 8
Cabezales de Atención: 8
Dimensión de Embeddings: 512
Tamaño de Vocabulario: 50257
Tamaño de Contexto: 512

Proceso de Entrenamiento

Pre-entrenamiento: Entrenado sobre un corpus masivo y diverso de texto y código.
Afinamiento Unificado: Afinamiento sobre una mezcla de 10 datasets especializados.

Cómo Usar

python

from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "Ignaciohhhhggfgjfrffd/SLM-Unified-Expert-Finetuned"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)
messages = [{"role": "user", "content": "Escribe un poema corto sobre el universo."}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs, skip_special_tokens=False))