Mattimax/DAC6-180M è un modello linguistico compatto (Edge AI) sviluppato da M.INC. Research e ottimizzato per applicazioni di chat e assistenza conversazionale in 10 lingue.
Il modello deriva da LiquidAI/LFM2.5-230M, appartenente alla famiglia dei Liquid Foundation Models (LFM), un'architettura progettata per offrire elevata efficienza computazionale, basso consumo di memoria e inferenza veloce anche su hardware limitato.
Attraverso un processo di fine-tuning, distillazione e pruning controllato, il modello è stato ridotto a circa 180 milioni di parametri attivi, mantenendo buone capacità conversazionali e risultando adatto all'esecuzione su smartphone, dispositivi edge e sistemi embedded.
Lingue supportate
Il modello è stato addestrato per supportare nativamente le seguenti lingue:
🇬🇧 Inglese (en)
🇸🇦 Arabo (ar)
🇨🇳 Cinese (zh)
🇫🇷 Francese (fr)
🇩🇪 Tedesco (de)
🇯🇵 Giapponese (ja)
🇰🇷 Coreano (ko)
🇪🇸 Spagnolo (es)
🇵🇹 Portoghese (pt)
🇮🇹 Italiano (it)
Caratteristiche principali
Architettura Liquid Foundation Model (LFM).
Circa 183,5 milioni di parametri attivi.
Ottimizzato per conversazioni e instruction following.
Supporto multilingue.
Elevata efficienza su CPU e dispositivi Edge AI.
Ridotto utilizzo di memoria rispetto ai Transformer tradizionali.
Ideale per utilizzo offline o su hardware con risorse limitate.
Architettura
A differenza dei tradizionali modelli Transformer, DAC6-180M sfrutta l'architettura Liquid Foundation Models, basata su operatori lineari dinamici e modelli a spazio di stato.
Questa architettura offre numerosi vantaggi:
complessità lineare rispetto alla lunghezza del contesto;
minore consumo di memoria RAM;
maggiore throughput durante l'inferenza;
migliore scalabilità su dispositivi embedded ed Edge AI.
Utilizzo
python
1from transformers import AutoModelForCausalLM, AutoTokenizer
23model_id ="Mattimax/DAC6-180M"45tokenizer = AutoTokenizer.from_pretrained(model_id)67model = AutoModelForCausalLM.from_pretrained(8 model_id,9 trust_remote_code=True10)1112messages =[13{14"role":"system",15"content":"Sei un assistente virtuale utile e conciso."16},17{18"role":"user",19"content":"Ciao! Quali sono i vantaggi dell'architettura LiquidAI?"20}21]2223prompt = tokenizer.apply_chat_template(24 messages,25 tokenize=False,26 add_generation_prompt=True27)2829inputs = tokenizer(30 prompt,31 return_tensors="pt"32).to(model.device)3334outputs = model.generate(35**inputs,36 max_new_tokens=150,37 temperature=0.738)3940response = tokenizer.decode(41 outputs[0][inputs.input_ids.shape[-1]:],42 skip_special_tokens=True43)4445print(response)
Prompt Template
Il modello utilizza il template ChatML fornito dal tokenizer.
text
1<|im_start|>system
2Sei un assistente virtuale utile e conciso.
3<|im_end|>
45<|im_start|>user
6Ciao! Come stai?
7<|im_end|>
89<|im_start|>assistant
10Ciao! Sto bene, grazie. Come posso aiutarti oggi?
11<|im_end|>
Prestazioni previste
DAC6-180M è stato progettato principalmente per:
chatbot offline;
assistenti virtuali;
automazione locale;
dispositivi Edge AI;
Raspberry Pi;
smartphone;
sistemi embedded;
applicazioni con memoria limitata.
Limitazioni
Come tutti i modelli di dimensioni contenute, DAC6-180M presenta alcune limitazioni:
può produrre allucinazioni su argomenti specialistici;
è meno performante rispetto ai modelli con miliardi di parametri nei compiti di ragionamento complesso;
le prestazioni migliori si ottengono in inglese e nelle lingue maggiormente rappresentate durante il pre-addestramento del modello base.
