O objetivo é permitir inferência de alta performance em hardware extremamente limitado (CPU-only, sem GPU) através de compressão termodinâmica e montagem FUSE com mmap zero-copy.
1git clone https://github.com/MrJc01/crompressor-ia.git
2cd crompressor-ia
3# Coloque o .gguf na pasta models/
4./iniciar_chat_real.sh
1./llama-cli \
2 -m qwen2.5-crom-dna.gguf \
3 --threads 4 \
4 -c 512 -b 256 -n 512 \
5 --temp 0.1 \
6 --repeat_penalty 1.15 \
7 -cnv \
8 -p "You are CROM-IA, an AI assistant. Respond in Portuguese."
MIT — Livre para uso pessoal, acadêmico e comercial.