from transformers import AutoTokenizer, TextStreamer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("mhenrichsen/hestenettetLM")
tokenizer = AutoTokenizer.from_pretrained("mhenrichsen/hestenettetLM")
streamer = TextStreamer(tokenizer, skip_special_tokens=True)


tokens = tokenizer(
    "Den bedste hest er en ", 
    return_tensors='pt'
)['input_ids']

# Generate output
generation_output = model.generate(
    tokens,
    streamer=streamer,
    max_length = 8194,
)

Eksempel: "Den bedste hest er en " bliver til: "Den bedste hest er en veltrænet hest."