Model Card for Modello Italia 9B INT4 group-size 128 cpu-optimized

• More information about Modello Italia: click here.

🚨 Disclaimers

• This is an UNOFFICIAL quantization of the OFFICIAL model checkpoint released by iGenius.
• This model is based also on the conversion made for HF Transformers by Sapienza NLP, Sapienza University of Rome.
• The original model was developed using LitGPT, therefore, the weights need to be converted before they can be used with Hugging Face transformers.

🚨 Terms and Conditions

• Note: By using this model, you accept the iGenius' terms and conditions.

🚨 Reproducibility

git clone https://github.com/fbaldassarri/model-conversion.git

cd model-conversion

mkdir models

cd models

huggingface-cli download --resume-download --local-dir sapienzanlp_modello-italia-9b --local-dir-use-symlinks False  sapienzanlp/modello-italia-9b

python3 main.py \
  --model_name  ./models/sapienzanlp_modello-italia-9b \
  --device 0 \
  --group_size 128 \
  --bits 4 \
  --iters 1000 \
  --deployment_device 'cpu' \
  --output_dir "./models/sapienzanlp_modello-italia-9b-int4" \
  --train_bs 1 \
  --gradient_accumulate_steps 8

🚨 Biases and Risks

Modello Italia è concepito per essere utilizzato da tutti e per adattarsi a una vasta gamma di casi d'uso. È stato progettato con l'obiettivo di essere accessibile a persone provenienti da background, esperienze e prospettive diverse. Modello Italia si rivolge agli utenti e alle loro esigenze senza inserire giudizi superflui o normative, riconoscendo al contempo che anche contenuti potenzialmente problematici in determinati contesti possono avere scopi validi in altri. Il rispetto per la dignità e l'autonomia di tutti gli utenti, specialmente in termini di libertà di pensiero ed espressione, è un pilastro fondamentale del suo design. Tuttavia, essendo una nuova tecnologia, Modello Italia comporta rischi legati al suo utilizzo. I test condotti finora sono stati eseguiti in italiano e non hanno potuto coprire tutte le possibili situazioni. Pertanto, come per tutti gli LLM, non è possibile prevedere in anticipo gli output di Modello Italia e il modello potrebbe in alcuni casi generare risposte imprecise, tendenziose o altre risposte discutibili. Prima di utilizzare Modello Italia in qualsiasi contesto, gli sviluppatori sono fortemente incoraggiati a eseguire test di sicurezza e adattamento specifici per le loro applicazioni.

• Biases in Large Language Models: Origins, Inventory, and Discussion

Model architecture

• The model architecture is based on GPT-NeoX.

Results