You can deploy this model and start earning money today!

test3333dsa/
miniVenus

pytorch

Views

No views yet

miniVenus

Dieses Modell ist eine Fine-Tuned Version des MiniLLM Transformers, trainiert auf Prompt-Answer Paaren.

Verwendung

Mit Python (HuggingFace)

python

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "test3333dsa/miniVenus"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

Modell-Details

Vocab Size: 8,000
Context Length: 256
Embedding Dimension: 256
Heads: 8
Layers: 6
Parameters: ~13M

Training

Pre-Training: 12,000+ Steps
Fine-Tuning: 8 Epochen auf QA-Paaren
Learning Rate: 5e-5 (Fine-Tuning)

Lizenz

Frei verwendbar für private und kommerzielle Projekte.