Descrizione:
PicoDAC è un modello di linguaggio compatto progettato per chat in lingua italiana. Basato su una architettura Transformer leggera, è ottimizzato per essere rapido e facilmente distribuibile. Questo modello è un esperimento ed è ancora in fase di sviluppo, quindi le prestazioni possono essere limitate rispetto a modelli più grandi e sofisticati.
Dataset di addestramento:
Questa versione migliorata del modello è stata addestrata sul dataset italian-dataset-mini
Obiettivo:
Fornire un prototipo di chatbot italiano leggero, utile per test, sperimentazioni e applicazioni dove la dimensione del modello e la velocità sono prioritarie rispetto alla qualità generativa.
Caratteristiche tecniche
Architettura: Transformer autoregressivo compatto
Dimensione del vocabolario: 1.920 token
Lunghezza massima del contesto: 64 token
Numero di strati (layers): 6
Numero di teste di attenzione: 6
Dimensione embedding: 240
Quantizzazione: int8 per la maggior parte dei pesi, con embedding e layernorm ottimizzati a bit più alti
Avvertenze e limitazioni
Questo modello è ancora sperimentale: può generare risposte incoerenti o incomplete.
Non è addestrato per conversazioni sensibili o contenuti critici.
Performance su testi lunghi o conversazioni complesse sono limitate a causa della breve lunghezza del contesto e della piccola dimensione del modello.
Uso previsto
Chatbot sperimentali in italiano
Applicazioni leggere dove la dimensione del modello è critica
Prototipazione e testing di modelli di dialogo
Nota: consigliato l’uso con input brevi e contesti semplici.
Integrazione consigliata
Applicazioni mobile: dimensione ridotta e quantizzazione riducono il consumo di RAM e storage.
Sperimentazione NLP: utile per test di prompt, fine-tuning leggero o per costruire dataset sintetici.
