Fine-tuned with LoRA on 10,000 German legal Q&A pairs (GerLayQA). Designed for use with RAG retrieval over German federal statutes for factually grounded answers.

Note: This is a research model. It does not constitute legal advice.

Supported Legal Domains

BGB (Civil Code) · StGB (Criminal Code) · ZPO (Civil Procedure) · GG (Basic Law) · HGB (Commercial Code) · ArbGG (Labor Courts)

Model Details

Component	Configuration
Architecture	Llama 3.2 3B (4-bit quantized, MLX)
Fine-tuning	LoRA (rank 16, 16 layers), merged into base
Training Data	10,000 German legal Q&A pairs
Framework	MLX (Apple Silicon)
Training	500 steps, loss 1.874
Format	MLX safetensors (4-bit)
Size	1.87 GB

Usage

MLX (Apple Silicon)

python

from mlx_lm import load, generate

model, tokenizer = load("jonprompter/german-legal-qa-3b")

messages = [
    {"role": "system", "content": "Du bist ein deutschsprachiger Rechtsassistent. Dies ist keine Rechtsberatung."},
    {"role": "user", "content": "Was besagt §823 BGB?"}
]

prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
response = generate(model, tokenizer, prompt=prompt, max_tokens=256)
print(response)

CLI

bash

pip install mlx-lm
mlx_lm generate --model jonprompter/german-legal-qa-3b --prompt "Was besagt §823 BGB?"

Example

Q: Was ist der Unterschied zwischen Mord und Totschlag im StGB?

A: Im StGB werden Mord und Totschlag in §211 und §212 geregelt. Mord (§211 StGB) erfordert das Vorliegen von Mordmerkmalen wie niedrige Beweggründe, Heimtücke, Grausamkeit oder gemeingefährliche Mittel. Die Strafe ist lebenslange Freiheitsstrafe. Totschlag (§212 StGB) ist die vorsätzliche Tötung ohne Mordmerkmale, mit einer Strafe von mindestens 5 Jahren Freiheitsstrafe.

Evaluation (with RAG)

Metric	Score
Token F1	0.218
BERTScore F1	0.652
Citation Accuracy	0.059

Best results achieved with RAG retrieval over 103K indexed German statute chunks.

Limitations

Best used with RAG retrieval for factual accuracy
German law only
Not a substitute for professional legal advice
4-bit quantized (MLX format) — for PyTorch use the LoRA adapter

Citation

bibtex

@software{german_legal_qa_2026,
  title={German Legal QA Assistant},
  author={jonprompter},
  year={2026},
  url={https://github.com/myaxyo/german-legal-qa}
}

jonprompter/german-legal-qa-3b

German Legal QA 3B