Views
No views yet
Ce modèle n'est pas recommandé pour un usage en production. Il fait partie d'une série d'expérimentations sur la variante base (non-Instruct) de Qwen2.5-1.5B. Voir Luna-Protocol-1.5B-Discord-Dialogues (basé sur Qwen2.5-1.5B-Instruct) pour une version plus stable.
Qwen2.5-1.5B-Instruct), cette variante part du modèle base (unsloth/Qwen2.5-1.5B-bnb-4bit, non aligné assistant/RLHF), sur l'hypothèse qu'un modèle moins "formaté" en ton assistant laisserait le style Discord s'imprimer plus fortement, avec moins de dépendance au few-shot priming.r=16, lora_alpha=16, modules cibles standards (q/k/v/o_proj, gate/up/down_proj)chat_template ni comportement de fin de conversation (EOS) définis nativement. Un template ChatML minimal a été configuré manuellement (<|im_start|>role\n...content...<|im_end|>), avec <|im_end|> réutilisé comme EOS et pad token.assistant) dans cette v1 — voir 200k-base-v2 pour la correction apportée.<|im_end|> configuré comme EOS.assistant → luna), puis abandonné au profit d'un retour sur base Instruct suite à la persistance du problème.