from transformers import AutoTokenizer, AutoModelForCausalLM

Load the tokenizer and model

tokenizer = AutoTokenizer.from_pretrained("Dragneel/Phi-3-mini-Nepali-Text-Summarization-f16")

model = AutoModelForCausalLM.from_pretrained("Dragneel/Phi-3-mini-Nepali-Text-Summarization-f16")

Example input text

input_text = "Summarize Nepali Text in Nepali: काठमाडौंको बहिराव बसपार्कमा एक भयानक दुर्घटना घटेको थियो। रातको समय थियो र भारी बर्फ जम्मा भएको थियो।"

Tokenize the input text

input_ids = tokenizer.encode(input_text, return_tensors='pt')

Generate text with adjusted parameters

outputs = model.generate(input_ids, max_new_tokens=50)

Decode the generated tokens

generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(generated_text)