Un piccolo modello linguistico italiano da ~50 milioni di parametri, costruito interamente da zero — per capire come funziona un LLM, non per competere con i grandi. Ogni singolo pezzo è scritto a mano e compreso riga per riga: dal primo bigram in NumPy a un motore di autograd, dalla self-attention al tokenizer BPE byte-level, fino alla conversione in GGUF. Nessuna scatola nera, nessuna libreria di deep learning nascosta.

📦 Questo repo contiene il modello in formato GGUF (F32, 194 MB), pronto per llama.cpp, LM Studio, PocketPal (iOS/Android) e Ollama.

Cosa sa fare (onestamente)

✅ Scrive italiano fluente e grammaticalmente corretto
✅ Ha una voce narrativa (addestrato anche sui classici di Project Gutenberg)
✅ Risponde alle domande nel formato di un assistente
❌ Inventa i fatti con assoluta sicurezza — a 50M di parametri non c'è spazio per la conoscenza, solo per la lingua
❌ Non ragiona e si perde sui testi lunghi
❌ È un giocattolo didattico, non uno strumento affidabile

D: Cos'è la carbonara? R: La carbonara si trova in depositi di argilla e calcare...

(sì, la scambia per un minerale: il tokenizer la spezza vicino a "carbon-ato" e parte per la tangente. È esattamente il bello — e il limite — di un modello così piccolo.)

Come è nato

Pretraining su Wikipedia italiana (~1,1 miliardi di token) — impara la lingua
Continued-pretraining su Project Gutenberg italiano — prende la voce narrativa
SFT su istruzioni italiane — impara a rispondere

Architettura in stile GPT-2 (10 layer, 512 dim, 8 teste, contesto 512), tokenizer BPE byte-level da 16k, addestrato su una singola RTX 4080 Super.

Uso

llama.cpp

llama-cli --hf-repo nbdy88/ronklm-1 --hf-file ronklm1.gguf -p "C'era una volta"

Ollama (direttamente da HuggingFace)

ollama run hf.co/nbdy88/ronklm-1

LM Studio / PocketPal

Cerca nbdy88/ronklm-1 e scarica ronklm1.gguf.

Formato "assistente" (per fargli rispondere alle domande)

Il modello è stato istruito con questo template testuale — usalo per la modalità chat:

### Domanda:
{la tua domanda}

### Risposta:

Stop sequence consigliata: ### Domanda:

Come è fatto (codice sorgente)

Tutto il codice — autograd in NumPy, PyTorch, tokenizer BPE, pipeline del corpus, conversione GGUF — è scritto a mano e commentato. Il progetto include un explain.md che spiega ogni fase dai primi principi.

Limiti e uso responsabile

RonkLM-1 è un progetto didattico. Genera testo plausibile ma fattualmente inaffidabile: non usarlo per informazioni reali. Non ha filtri di sicurezza. È pensato per imparare e divertirsi.

RonkLM-1 è nato come progetto per imparare come funzionano i modelli linguistici partendo dai primi principi. Costruito capendo ogni riga di codice.