Wojtekb30/

Bielik-7B-Instruct-v0.1-Math-Code-adapter

An adapter for Bielik 7B Instruct v0.1 trained on English datasets:

Base model: https://huggingface.co/speakleash/Bielik-7B-Instruct-v0.1

It might be little overfitted.

It was part of my MoE experiment that I abandoned - I wanted to use this adapter to create one of the experts in a MoE LLM. I decided to publish it because it was already trained and I'd feel bad to waste it.

Adapter dla Bielik 7B Instruct v0.1 wytrenowany na anglojęzycznych datasetach:

Oryginalny model: https://huggingface.co/speakleash/Bielik-7B-Instruct-v0.1

Adapter mógł ulec overfittingowi.

Była to część mojego porzuconego eksperymentu z modelem MoE - chciałem wykorzystać ten adapter do stworzenia jednego z ekspertów w modelu MoE. Ponieważ adapter został już wytrenowany i szkoda byłoby go zmarnować, publikuję go.