LoreWeaver-2-LoRA_PREVIEW

[!WARNING] Attenzione: Questo modello è solo una anteprima di LoreWeaver-2 e potrebbe non essere completamente coerente, allineato o efficente. Fai inferenza con cautela. Non basarti su questo modello per creare finetunes o ricerche, per via della sua instabilità.

Altre versioni della famiglia LoreWeaver-2:

Architettura

• Backbone: EleutherAI/pythia-2.8b
• Hidden size: ~3200
• Layers: 26–32
• Heads: 32
• Rotary Embeddings (RoPE)
• RMSNorm
• SwiGLU
• KV-cache

Tokenizer (BPE GPT-Neo)

• Normalizzazione Unicode (NFKC)
• Vocab size (prevista): 50k–65k
• Lingue supportate: Inglese, Italiano, Francese, Tedesco, Spagnolo

Datasets utilizzati

• Datasets di RolePlay
  • Anthropic/hh-rlhf
  • teknium/OpenHermes-2.5
  • NousResearch/CharacterCodex
  • hieunguyenminh/roleplay
  • IlyaGusev/gpt_roleplay_realm
  • iamketan25/roleplay-instructions-dataset
  • Croc-Prog-HF/Creative-knowledge-for-Writing

Tecnologie di ottimizzazione dell'addestramento

Ottimizzazioni di memoria (VRAM)

• Gradient Checkpointing
• Mixed Precision: bf16/fp16 (rilevato automaticamente durante l'addestramento)
• Gradient Accumulation
• Ottimizzazione del'uso diretto della VRAM con Unsloth.
  • Unsloth FastLanguageModel, UnslothTrainer

Ottimizzazioni di attenzione

• FlashAttention 2
• TF32 (solo su Ampere+)
• AdamW fused (se disponibile)
• Weight decay selettivo

Ottimizzazioni del learning rate

• Cosine LR Scheduler
• Warmup lungo

Ottimizzazioni sul dataset

• Curriculum Learning (soft)
• Turn-aware training

Ottimizzazioni Semantiche

• Tone tokens
• Safe-stop token

Deep learning (Contextual Learning)