You can deploy this model and start earning money today!

GustavoMaltaGuimaraesBrasil/
mistral-amazon-titles

Name: mistral-amazon-titles
Availability: InStock

safetensors

Views

No views yet

Mistral 7B – Fine-Tuned on Amazon Titles (FIAP Tech Challenge)

Este modelo foi treinado a partir do Mistral-7B Instruct (bnb-4bit) usando LoRA (Low-Rank Adaptation) sobre o dataset Amazon Titles – Subset 200k.

🎯 Objetivo

O modelo é especializado em responder perguntas sobre produtos da Amazon, gerando descrições baseadas nos títulos.

Exemplo:

Pergunta: O que é "Girls Ballet Tutu Neon Pink"?
Resposta: High quality 3 layer ballet tutu. 12 inches in length

🔧 Treinamento

Base model: unsloth/mistral-7b-instruct-v0.2-bnb-4bit
Método: LoRA + 4bit quantization
Frameworks: Unsloth, TRL
Hiperparâmetros principais:
- LoRA r = 16, alpha = 16, dropout = 0.05
- Batch size efetivo: 32 (4 × 8 acumulação)
- Learning rate: 3e-4
- Max steps: 250
- Warmup steps: 20

📊 Avaliação

Foram comparados Baseline (Mistral original) e Fine-Tuned em 200 exemplos de teste:

Métrica	Baseline	Fine-Tuned	Ganho
ROUGE-1	0.245	0.380	+55%
ROUGE-2	0.110	0.210	+91%
ROUGE-L	0.220	0.350	+59%
BERTScore	0.780	0.860	+10%

ROUGE-1 → mais palavras individuais corretas.
ROUGE-2 → mais pares de palavras coerentes.
ROUGE-L → maior similaridade estrutural.
BERTScore → respostas mais próximas semanticamente.

🚀 Uso

python

from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

# Carregar modelo
model_name = "GustavoMaltaGuimaraesBrasil/mistral7b_finetuned_amazon_titles"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

generator = pipeline("text-generation", model=model, tokenizer=tokenizer)

# Teste
pergunta = "O que é 'Girls Ballet Tutu Neon Pink'?"
resposta = generator(pergunta, max_new_tokens=50)
print(resposta[0]["generated_text"])

📌 Referência

Dataset: Amazon Titles – Subset 200k
Projeto: FIAP Tech Challenge – Foundation Models

GustavoMaltaGuimaraesBrasil/mistral-amazon-titles