Ich stelle vor: Jacob 24b, das Flagschiff-Sprachmodell im Stil von "Leichter Sprache"; neu, vielseitig und ausreichend für alles, was die Zielgruppe Leichter Sprache benötigt.
Es basiert auf Mistral Small 3.2 und wurde mit Hilfe von LoRA-Fine-Tuning auf einem synthetischen Datensatz von Gesprächen trainiert.
Das Modell...
hat 24 Milliarden Parameter (davon ~92 Mio. als LoRA)
ist in 16-Bit-Präzision verfügbar
kann sowohl Text als auch Bilder verarbeiten (Multimodal)
kann Tools aufrufen (Tool-Use), um externe Aufgaben zu erledigen
nutzt das Mistral-Chat-Template
ist optimiert für die Erzeugung von leicht verständlichem Text im Stil von "Leichter Sprache"
Aufbau des Repositories
Dieses Repository enthält Jacob-24b in zwei verschiedenen Formaten:
als merged 16-bit-Modell
als puren LoRA-Adapter
Trainingsdetails
Trainiert wurde das Modell für ca. 40 Minuten auf einer einzelnen NVIDIA RTX PRO 6000-GPU mit 96 GB VRAM.
Der genutzte Datensatz ist eine interne, synthetische Sammlung an Konversationen mit nach Qualität gefilterten und der Leichten Sprache stark angenäherten Texten.
Es umfasst über 1k+ sich der Leichten Sprache annähernde Gespräche.
