LoRA-SFT (bf16, keine Quantisierung) auf Basis von TildeAI/TildeOpen-30b-64k — ein deutschsprachiger, RAG-orientierter Lernassistent (Fuehrung / Vertrieb / Paedagogik) mit Kontextfenster bis 64k.

Training (zweiphasig)

Phase A (kurz/mittel, 8k): Nemotron-Instruction-Following-Chat (reasoning_off) + deutsche Wikipedia-Zusammenfassungen (Wirtschaft/Psychologie/Paedagogik) + Firmen-Single-Turn.
Phase B (Long-Context, bis 64k): Firmen-Multiturn + RAG-Dokumente, mit Distraktoren aufgefuellt.
Nur Anoynme Daten ohne Personen-/Firmenbezug.

Chat-Format

python

from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained(REPO)
model = AutoModelForCausalLM.from_pretrained(REPO, dtype="bfloat16", device_map="auto")
msgs = [{"role":"system","content":"... ## Kontextdokumente ... [DOK 1] ..."},
        {"role":"user","content":"Deine Frage"}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
print(tok.decode(model.generate(ids, max_new_tokens=600)[0][ids.shape[1]:], skip_special_tokens=True))

Attribution / Lizenz

Basismodell: TildeAI/TildeOpen-30b-64k.
Trainingsdaten enthalten NVIDIA Nemotron (Lizenz ODC-By) → Attribution erforderlich.

Limitierungen

Ausgaben koennen fehlerhaft sein; nicht fuer Rechts-/Finanz-/Medizin-Entscheidungen ungeprueft nutzen.

Bogula/pinktilde30b_64k

TildeOpen-30B · PINKpro (DE, 64k)

Training (zweiphasig)

Chat-Format

Attribution / Lizenz

Limitierungen

Bogula/
pinktilde30b_64k