Este modelo es una versión ajustada mediante LoRA sobre deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, entrenado específicamente para responder preguntas relacionadas con la banda Soda Stereo.

🧠 Base

Modelo base: DeepSeek R1 Distill Qwen 1.5B
Tamaño: 1.5B parámetros
Adaptado usando: PEFT (LoRA)

🎯 Objetivo

Este modelo responde de manera precisa y contextual sobre:

Fechas importantes
Canciones famosas
Análisis de álbumes
Miembros de la banda

⚠️ Limitaciones

Responde cualquier tipo de pregunta pero no de forma acertada
Depende la forma en la que se pregunte responde de diferentes maneras
Al momento de preguntar tener en cuenta ortografía

🧪 Uso

python

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
from peft import PeftModel
import torch

def main():
    base_model = "deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B"
    lora_model = "jpoveda99/soda-stereo-expert-V2"

    # Detectar GPU si está disponible
    device = 0 if torch.cuda.is_available() else -1

    tokenizer = AutoTokenizer.from_pretrained(base_model, trust_remote_code=True)

    # Cargar modelo base
    model = AutoModelForCausalLM.from_pretrained(base_model, trust_remote_code=True)
    
    # Cargar modelo LoRA
    model = PeftModel.from_pretrained(model, lora_model)

    if device == 0:
        model.to("cuda")

    pipe = pipeline(
        "text-generation",
        model=model,
        tokenizer=tokenizer,
        device=device
    )

    def preguntar(texto):
        prompt = f"### Instrucción:\n{texto}\n### Entrada:\n\n### Respuesta:\n"
        output = pipe(prompt, max_new_tokens=128)[0]["generated_text"]
        respuesta = output.split("### Respuesta:")[-1].strip()
        print(f"Pregunta: {texto}\nRespuesta: {respuesta}\n")

    # Preguntas
    preguntar("¿Qué es Soda Stereo?")
    preguntar("en que año se formó Soda Stereo?")
    

if __name__ == "__main__":
    main()