from transformers import AutoModelForCausalLM, AutoTokenizer
Laad het model en de tokenizer
model_name = "deepseek-ai/deepseek-1"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
Dataset
dataset = ["Hoi, hoe gaat het? kan ik je vandaag helpen iets te maken?"]
Tokenize de dataset
inputs = tokenizer(dataset, return_tensors="pt")
Train het model
model.train()
outputs = model(**inputs, labels=inputs["input_ids"])
loss = outputs.loss
loss.backward()
Sla het model op
model.save_pretrained("dutch1")
