Hime ist ein LoRA-Finetuning von Qwen2.5-32B-Instruct, trainiert als Stage-1-Anchor-Modell der Hime Light Novel Translation Suite (v2.0.0) — einer lokalen Desktopanwendung für die Übersetzung japanischer Light Novels ins Englische mit Fokus auf Yuri-Genre. Das Modell läuft vollständig offline auf einer einzelnen GPU.

Als Anchor-Modell hat Qwen2.5-32B die stärkste japanische Sprachkompetenz unter den Stage-1-Draftern und dient als Referenz beim anschließenden Konsens-Merge.

Model Details


Developed by	Ninym06
Version	v2.0.0
Base Model	`unsloth/Qwen2.5-32B-Instruct-bnb-4bit`
Model Type	Causal LM — LoRA Adapter (QLoRA, NF4 4-bit)
Language	Japanese → English
License	Apache 2.0
Finetuned from	Qwen2.5-32B-Instruct

LoRA Configuration


Rank (r)	16
Alpha	32
Dropout	0.0
Target Modules	q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
Task Type	CAUSAL_LM
RSLoRA	No
DoRA	No

Training Details


Framework	Unsloth 2026.2.1 + TRL SFTTrainer
Quantization	NF4 4-bit (QLoRA)
Precision	bfloat16
Optimizer	AdamW 8-bit
Learning Rate	2e-5
LR Scheduler	Cosine
Warmup Ratio	0.1
Batch Size	1 (per device)
Gradient Accumulation	8
Max Sequence Length	2048
Epochs (planned)	3
Training Steps	12 400 / 17 709 (checkpoint, not final)
Best Eval Loss	0.9500 (@ step 12 400)
Total FLOPs	~5.66 × 10¹⁸
Hardware	NVIDIA RTX 5090 (32 GB VRAM) — 18.7 GB allocated
Training started	2026-03-28

Usage

With Unsloth (recommended)

python

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="Ninym06/hime-qwen2.5-32b-lora",
    max_seq_length=2048,
    load_in_4bit=True,
)
FastLanguageModel.for_inference(model)

messages = [
    {"role": "user", "content": "Translate the following Japanese text to English:\n\n「おはよう、ヒメ。今日もよろしくね」"}
]
inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to("cuda")
outputs = model.generate(input_ids=inputs, max_new_tokens=512)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

With PEFT + Transformers

python

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = "unsloth/Qwen2.5-32B-Instruct-bnb-4bit"
tokenizer = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, device_map="auto")
model = PeftModel.from_pretrained(model, "Ninym06/hime-qwen2.5-32b-lora")

Pipeline Context

Dieses Modell ist der Anchor-Drafter in Stage 1 der Hime v2.0.0-Pipeline:

Pre-processing
  ├── EPUB extraction
  ├── MeCab segmentation
  └── RAG context query (sqlite-vec + bge-m3)

Stage 1 — Parallel Drafts (4 models + 1 anchor)
  ├── Qwen2.5-32B             (LoRA — dieses Modell, stärkste JP-Kompetenz)
  ├── TranslateGemma-12B      (LoRA, MT-spezialisiert)
  ├── Qwen3.5-9B              (LoRA, schneller moderner Qwen)
  ├── llm-jp-3-7.2b-instruct3 (JP-first Diversity-Draft, kein Training)
  └── JMdict / MeCab          (algorithmischer Wörterbuch-Anchor)

Stage 2 — Consensus Merger
  └── TranslateGemma-27B      (merged alle 5 Inputs, vetoed Halluzinationen via JMdict)

Stage 3 — Polish
  └── Qwen3-30B-A3B MoE       (leichtes Editing, Style-Glättung — zero-shot)

Stage 4 — Reader Panel + Aggregator
  ├── 15× Qwen3.5-2B          (persona-basierte Leser via System Prompts)
  └── LFM2-24B-A2B            (Aggregator: okay / fix_pass / full_retry)

Post-processing
  └── EPUB export via ebooklib

Limitations

Checkpoint bei Step 12 400 von 17 709 — Training nicht abgeschlossen.
Leichte Überanpassungstendenzen auf dem Eval-Set; Curriculum Learning ist implementiert, benötigt ggf. Dataset-spezifisches Tuning.
Als Stage-1-Drafter für Yuri Light Novels optimiert — möglicherweise weniger geeignet für andere Genres oder Textsorten.
Ergebnisse sind als Erstentwurf konzipiert und werden durch die nachgelagerten Stages weiter verfeinert.