from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# Charger modèle de base
base_model = AutoModelForCausalLM.from_pretrained(
    "microsoft/Phi-3-mini-4k-instruct",
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True
)

# Charger adaptateur LoRA
model = PeftModel.from_pretrained(base_model, "beartoryio/phi3-quelanimal-lora")

# Tokenizer
tokenizer = AutoTokenizer.from_pretrained("beartoryio/phi3-quelanimal-lora")

# Inférence
prompt = "<|user|>\nQuel animal me correspond ?\n<|end|>\n<|assistant|>\n"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=150)
print(tokenizer.decode(outputs[0]))

Dataset

Entraîné sur 8000 conversations générées avec profils DISC et animaux Zootopia.

Entraînement

Méthode : LoRA (r=8, alpha=16)
Epochs : 3
Batch size : 1 (gradient accumulation: 16)
Learning rate : 2e-4
GPU : RTX 4090 24GB
Durée : ~2h