Tivaphraen/

LFM2-8B-A1B-smoltalk-GGUF

Ce dépôt contient les quantifications au format GGUF du modèle LiquidAI/LFM2-8B-A1B-smoltalk-LoRA.

⚙️ Paramètres de génération recommandés (LFM2) Temperature = 0.3 Min_p = 0.15 Repetition_penalty = 1.05

🛠️ Méthode de quantization merge_and_unload() de l'adaptateur LoRA dans le base model (PEFT >= 0.19.2.dev0, Transformers main) Conversion HF → GGUF BF16 via convert_hf_to_gguf.py Quantization via llama-quantize (llama.cpp)

📜 Licence Hérite de la licence du base model : LFM Open License v1.0.

🙏 Remerciements Liquid AI pour le base model et l'adaptateur LoRA HuggingFaceTB pour le dataset SmolTalk llama.cpp pour la quantization