from transformers import pipeline

pipe = pipeline(
    "text-generation",
    "timpal0l/Mistral-7B-v0.1-flashback-v2-instruct",
    device_map="auto"
)

text = """
Hur många ägg har jag? Jag hade 10 ägg, sen gav jag bort 5 ägg.
Sen fick jag 3 ägg av en kompis.
"""

generated = pipe(f"USER:{text}ASSISTANT:", max_length=512, temperature=0.6)
print(generated[0]["generated_text"].split("ASSISTANT: ")[1:][0])

Output:

html

Du har 8 ägg. Här är resonemanget:
Du börjar med 10 ägg
Du ger bort 5 ägg, vilket lämnar dig med 10 - 5 = 5 ägg
Sedan får du 3 ägg av en kompis, vilket gör att du har 5 + 3 = 8 ägg.

RichardErkhov/timpal0l_-_Mistral-7B-v0.1-flashback-v2-instruct-4bits

Original model description:

🐈‍⬛ Mistral-7B-v0.1-flashback-v2-instruct

How to use:

RichardErkhov/
timpal0l_-_Mistral-7B-v0.1-flashback-v2-instruct-4bits