You can deploy this model and start earning money today!

MINC01/
ITA-Mini-60M

Name: ITA-Mini-60M
Rating: 2.5 (11 reviews)

Mattimax/TinyChat-ITA

mit

Views

No views yet

🇮🇹 MINC01/ITA-Mini-60M

MINC01/ITA-Mini-60M è un modello linguistico causale da circa 60 milioni di parametri, ottimizzato per la conversazione in lingua italiana.
Il modello è stato addestrato su un dataset proprietario di dialoghi istruzione-risposta, con l’obiettivo di offrire buone capacità conversazionali in un formato leggero e facilmente distribuibile.

📌 Panoramica

Modello: Decoder-only (stile LLaMA)
Parametri: ~60M
Lingua principale: Italiano
Task principale: Chat / Istruzioni / Generazione testo
Contesto massimo: 512 token
Addestramento: Supervised Fine-Tuning (SFT)

🎯 Use Cases Previsti

Chatbot in lingua italiana
Assistenti locali / embedded
Prototipi di agenti conversazionali
Dataset labeling / data augmentation
Esperimenti di ricerca su modelli piccoli

Non è progettato per:

Ragionamento complesso multi-step
Applicazioni mission-critical
Produzione di contenuti ad alta affidabilità

🧠 Architettura

Transformer decoder-only
Causal Language Model
Embedding e blocchi compatibili con ecosistema LLaMA
Addestramento con masking delle parti prompt (solo risposta contribuisce alla loss)

📚 Dataset

Proprietario
~30.000 esempi
Struttura: coppie input → response
Dominio: conversazionale generale
Lingua: italiano

Pulizia applicata

Rimozione esempi vuoti
Parsing JSON validato
Scarto sequenze sopra la lunghezza massima

🏗️ Template Conversazionale


<|user|>
{testo_utente}
<|assistant|>
{risposta_modello}</s>

Il modello è sensibile a questo formato.

⚙️ Procedura di Training (Sintesi)

Fine-tuning supervisionato
Mixed Precision (AMP)
Gradient Accumulation
Gradient Checkpointing
AdamW optimizer
Cosine learning rate schedule con warmup

Parametri principali

Parametro	Valore
Batch size	8
Gradient accumulation	4
Learning rate	2e-5
Epochs	2
Weight decay	0.05
Warmup ratio	0.1
Max grad norm	1.0
Validation split	5%

📈 Valutazione

Metica: Cross-Entropy Loss su validation set
Non sono stati eseguiti benchmark standard (es. MMLU, HELM, etc.)

Il modello è stato validato esclusivamente tramite loss e test qualitativi manuali.

🧪 Limitazioni Note

Possibili allucinazioni
Conoscenza limitata
Sensibile al prompt
Ragionamento debole
Possibili bias presenti nel dataset proprietario

⚠️ Considerazioni Etiche

Il modello:

Può generare informazioni errate
Non deve essere usato come fonte autorevole
Non ha filtri di sicurezza avanzati

Responsabilità d’uso interamente a carico dell’utente.

🚀 Come Usare

python

from transformers import AutoTokenizer, AutoModelForCausalLM

tok = AutoTokenizer.from_pretrained("MINC01/ITA-Mini-60M")
model = AutoModelForCausalLM.from_pretrained("MINC01/ITA-Mini-60M")

prompt = "<|user|>\nScrivi una poesia sul mare.\n<|assistant|>\n"
inputs = tok(prompt, return_tensors="pt")

out = model.generate(**inputs, max_new_tokens=200)
print(tok.decode(out[0], skip_special_tokens=True))

🔁 Prompting Tips

Usare sempre il template
Istruzioni brevi e chiare
Una richiesta per volta
Evitare contesti troppo lunghi

👤 Autore

MINC01

📌 Citazione

@misc{minc01_ita_mini_60m,
  title = {MINC01/ITA-Mini-60M},
  author = {MINC01},
  year = {2026},
  publisher = {HuggingFace}
}