This model is intended for conducting role-playing games using the GURPS system, as well as for consulting and assisting. This model was trained on an augmented dataset using the GURPS Basic Set rulebook.
Her main goal was initially to become an assistant consultant, as well as an assistant to the Game Master in the GURPS role-playing system, but she can also be used as a GM to conduct solo games as a player.
Notes
To be honest, it was very difficult to get mistral-nemo to produce more or less stable results. I tried my best to ensure maximum quality, I found nemo much harder to train than gemma2.
This release is a pure experiment, then I plan to improve the NightyGurps models until I bring them to perfection.
Recomendations
I highly recommend using this model with a temperature of 0.3, as it gives the most accurate answers according to the GURPS rules. And the temperature is 0.5-0.7 if you use this model as a GM, and you yourself as a player.
Parameters
Single rtx3090
rank 128
alpha 32
batch size 2
gradient accumulation steps 8
lora dropout 0.1
weight decay 0.2
learning rate 0.0001
max sequense lenght 4096
Prompting
This model uses the ChatML format! Don't forget to set it.
py
1"""<|im_start|>user
2Hi there!<|im_end|>
3<|im_start|>assistant
4Nice to meet you!<|im_end|>
5<|im_start|>user
6Can I ask a question?<|im_end|>
7<|im_start|>assistant
8"""
Credits
Made by PegasusYaY(AlexBefest)
RU Version 🇷🇺
Model description
Данная модель предназначена для проведения ролевых игр по системе GURPS, а также для консультирования и ассистирования. Эта модель была обучена на аугментированном наборе данных по книге правил GURPS Basic Set.
Главной её целью изначально было становление ассистентом-консультантом, а также помощником Гейм-мастера по ролевой системе GURPS, но её также можно использовать в качестве ГМа для проведения соло-партий в качестве игрока.
Notes
Честно говоря, было очень тяжело заставить mistral-nemo выдавать более-менее стабильный результат. Я пытался изо всех сил обеспечить максимальное качество, мне показалось, что nemo куда тяжелее обучать, чем gemma2.
Данный релиз является чистым экспериментом, далее я планирую совершенствовать модели NightyGurps, пока не доведу их до идеала.
Recomendations
Очень рекомендую использовать данную модель с температурой 0.3, так она даёт наиболее точные ответы по правилам GURPS. И температуру 0.5-0.7 если вы используете данную модель как ГМа, а сами выступаете в роли игрока.
Parameters
Single rtx3090
rank 128
alpha 32
batch size 2
gradient accumulation steps 8
lora dropout 0.1
weight decay 0.2
learning rate 0.0001
max sequense lenght 4096
Prompting
Данная модель использует формат ChatML! Не забудьте выставить его.
py
1"""<|im_start|>user
2Hi there!<|im_end|>
3<|im_start|>assistant
4Nice to meet you!<|im_end|>
5<|im_start|>user
6Can I ask a question?<|im_end|>
7<|im_start|>assistant
8"""
