Views
No views yet
1!pip install peft
2!pip install transformers
3!pip install sentencepiece1from peft import PeftModel, PeftConfig
2from transformers import AutoModelForCausalLM,AutoTokenizer
3from transformers import pipeline
4
5base_model = "Sakonii/distilgpt2-nepali"
6adapter_model = "Bibek1129/distilgpt2-nepali-single-qs-generator"
7
8tokenizer = AutoTokenizer.from_pretrained(base_model)
9
10config = PeftConfig.from_pretrained(adapter_model)
11model = AutoModelForCausalLM.from_pretrained(base_model)
12model = PeftModel.from_pretrained(model, adapter_model)
13model = model.merge_and_unload()
14
15prompt = """तपाईं एउटा प्रश्न उत्पन्न गर्ने मोडेल हुनुहुन्छ। तपाइँलाई एक सन्दर्भ दिइएको हुन्छ र तपाइँ त्यसमा आधारित एउटा प्रश्न उत्पन्न गर्नुहुन्छ।
16
17### सन्दर्भ:
18राजनीति 'शहरका मामिलाहरू') गतिविधिहरूको सेट हो जुन समूहहरूमा निर्णय गर्न वा व्यक्तिहरू बीचको शक्ति सम्बन्धका अन्य रूपहरू, जस्तै स्रोत वा स्थितिको वितरणसँग सम्बन्धित छ। राजनीति र सरकारको अध्ययन गर्ने सामाजिक विज्ञानको शाखालाई राजनीति विज्ञान भनिन्छ।
19यसलाई "राजनीतिक समाधान" को सन्दर्भमा सकारात्मक रूपमा प्रयोग गर्न सकिन्छ जुन सम्झौता र अहिंसात्मक छ, वा वर्णनात्मक रूपमा "सरकारको कला वा विज्ञान" को रूपमा, तर प्राय: नकारात्मक अर्थ पनि बोक्छ। अवधारणालाई विभिन्न तरिकामा परिभाषित गरिएको छ, र यसलाई
20व्यापक रूपमा प्रयोग गर्ने वा सीमित रूपमा, प्रायोगिक वा सामान्य रूपमा, र यसको लागि द्वन्द्व वा सहयोग बढी आवश्यक छ कि छैन भन्ने बारेमा विभिन्न दृष्टिकोणहरूमा मौलिक रूपमा फरक फरक विचारहरू छन्।
21
22### प्रश्न:
23"""
24pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, max_new_tokens=64)
25
26def format_output(prompt,pipe):
27 inference = pipe(prompt)[0]["generated_text"]
28
29 # Select after प्रश्नहरू: and break line after each ?
30 inference = inference.split("प्रश्न:")[-1].replace("?","?\n")
31
32 # only take first question
33 index = inference.find("?")
34 inference = inference[:index+1]
35 return inference
36
37print(format_output(prompt, pipe))
38'''
39 Output:
40 राजनीतिक आन्दोलनमा, राजनीतिक कार्यसूचीको सन्दर्भमा कुन प्रकारको राजनीति महत्वपूर्ण छ?
41'''1config={
2 "alpha_pattern": {},
3 "auto_mapping": null,
4 "base_model_name_or_path": "Sakonii/distilgpt2-nepali",
5 "bias": "none",
6 "fan_in_fan_out": false,
7 "inference_mode": true,
8 "init_lora_weights": true,
9 "layers_pattern": null,
10 "layers_to_transform": null,
11 "lora_alpha": 64,
12 "lora_dropout": 0.05,
13 "modules_to_save": null,
14 "peft_type": "LORA",
15 "r": 32,
16 "rank_pattern": {},
17 "revision": null,
18 "target_modules": [
19 "c_proj",
20 "lm_head",
21 "c_fc",
22 "c_attn"
23 ],
24 "task_type": "CAUSAL_LM"
25}
26