Developed by Dr. Wai Yan, Burmese-GPT is a specialized large language model for the Burmese language, fine-tuned/pre-trained on the GPT-2 architecture, particularly the mGPT XL model. This model is primarily designed for text completion in Burmese, serving as a foundational base for fine-tuning a variety of natural language processing tasks within the Burmese language context.

How to Use the Model

bash

!pip install transformers

# Loading the Model:
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("WYNN747/Burmese-GPT")
model = AutoModelForCausalLM.from_pretrained("WYNN747/Burmese-GPT")

input_text = "မီးထွန်းပွဲတော်သည် သီ"
input_ids = tokenizer.encode(input_text, return_tensors='pt')
output = model.generate(input_ids, max_length=50)
print(tokenizer.decode(output[0], skip_special_tokens=True))


# [{'generated_text': 'မီးထွန်းပွဲတော် သည် သီတင်းကျွတ်လပြည့်နေ့တွင် ကျင်းပသော ရိုးရာပွဲတော်တစ်ခု ဖြစ်သည်။'}] 

Intended Use

This model, primarily designed for text completion in Burmese, serves as a foundational tool for a variety of NLP tasks. While its current primary function is to assist in generating and completing text, it holds significant potential for further applications. Researchers and developers can fine-tune this model on specialized datasets to extend its capabilities to other NLP applications, such as summarization and instruction-based tasks. It is important to note, however, that for high-stakes decisions or understanding domain-specific jargon, additional specialized training of the model is recommended to ensure accuracy and reliability.

Training Data

Burmese-GPT was trained on a comprehensive dataset of Burmese texts, curated by the author. This dataset, which includes literature, news, online articles, and content from Burmese Wikipedia, has been meticulously compiled to ensure a wide representation of the linguistic diversity and styles found in the Burmese language. The dataset, created by the author, is available for academic and research purposes upon request. Interested parties should contact the author to gain access to this valuable resource.

Ethical Considerations

Users should be aware of the inherent limitations and biases of language models. This model should be used responsibly, especially in sensitive applications, and is not intended for generating misleading or harmful content.

Limitations

The Burmese GPT performs well with general Burmese text but may not be as effective with highly technical or niche content. Users are advised to conduct thorough testing for their specific use cases.

Contact Information

LinkedIn: Dr. Wai Yan Nyein Naing
GitHub: WaiYanNyeinNaing

Acknowledgements

Credit and thanks to the creators of the mGPT-XL model for providing the foundational model. Their contributions have been instrumental in the development of the Burmese GPT.

........................................................................................................................................

Frequeny Asked Questions (FAQ) (In Burmese) Burmese GPT 🇲🇲နဲ့ ပါတ်သတ်ပြီး အမေးများတဲ့ (FAQ) တွေကို ရှင်းပြပေးထားပါတယ်

၁) Burmese GPT က Burmese Chat-GPT လား?

Burmese GPT က အမေး/အဖြေ ပြုလုပ်ဖို့ တည်ဆောက် ထားတဲ့ Chat application မဟုတ်သေးပါဘူး
Text Completion လို့ခေါ်တဲ့ ကိုယ်ပေးထားတဲ့ စာကြောင်းကို ဆက်ပြီးရေးပေးတဲ့ Based Language Model ဖြစ်ပါတယ်

၂) Burmese GPT (Text completion) model က ဘာအတွက်ရည်ရွယ်တာလဲ ?

မြန်မာနိုင်ငံနဲ့ ပါတ်သက်တဲ့ မေးခွန်းတွေ | အကြောင်းအရာတွေကို မြန်မာလိုမေးလို့ရနိုင်မဲ့ Application တွေကို တည်ဆောက်နိုင်ဖို့ မြန်မာ ဘာသာစကားကို ဝါကျ အထားအသို မှန်မှန် တည်ဆောက်နိုင်တဲ့ အခြေခံ Language Model လိုအပ်ပါတယ်
အခု open source လုပ်ပေးထားတဲ့ Burmese GPT (Text completion) model က မြန်မာစာဘာသာစကားကို အထားအသို ဝါကျမှန်မှန် တည်ဆောက်နိုင်တဲ့ AI Language model ပါ

ဒီလို Model ကို အခြေခံပြီး

Burmese Chat-GPT လို အမေးအဖြေ လုပ်လို့ရတဲ့ Application တွေ ,
မြန်မာစာကို Summaize လုပ် ပေးနိုင်မဲ့ Application တွေ
မြန်မာစာ နဲ့ ကဗျာရေးပေး စာရေးပေးတဲ့ Application တွေ ကို တည်ဆောက်နိုင်ပါတယ်

၃) Burmese GPT ကို Link ပေးထားတဲဲ့ Platform မှာ စမ်းတဲ့အခါ ဘာကြောင့် စာအပြည့် မပေါ်တာလဲ ? အဖြေ:

Hugging Face Platform က ဖော်ပြပေးနိုင်တဲ့ စကားလုံးအရေအတွက် ကန့်သက်ထားတာဖြစ်လို့ အပြည့်မပေါ်တာပါ ကိုယ် Generate လုပ်တဲ့ စာက complete မဖြစ်သေးရင် .. လက်ရှိ ရောက်နေတဲ့စာက Compute ထပ်နှိပ်ပေးပါ စာအပြည့်အဝကို စမ်းချင်ရင်တော့ API ခေါ်သုံးပြီးစမ်းလို့ရပါတယ်

၄) Burmese GPT က ဘယ်လိုမျိုး Data တွေကို အသုံးပြုပြီး Train လုပ်ထားလဲ ?

Burmese GPT က open accessible ဖြစ်တဲ့ Myanmar Wikipedia နဲ့ open Myanmar database တွေက အချက်အလက်တွေနဲ့ Train လုပ်ထားတဲ့အတွက် မြန်မာစကားလုံး အများစုကို နားလည် ပါတယ်

စာရေးဆရာတွေ အနုပညာရှင်တွေ ရဲ့ Intellectual Property ဖြစ်တဲ့ စာအုပ်တွေ , သီချင်းစာသားတွေ , အချက်အလက်တွေကို အသုံးမပြုထားတဲ့ အတွက် သူတို့နဲ့ ပါတ်သက်တဲ့ အချက်အလက်တွေကို Text Completion (စာဆက်ရေးခိုင်းရင်) မှန်ကန်မှာ မဟုတ်ပဲ AI က စိတ်ကူးယဉ် ဖန်တီးထားတဲ့ အကြောင်းအရာတွေသာ ထွက်လာမှာ ဖြစ်ပါတယ် (အကယ်လို့ Artist တွေ အနေနဲ့လဲ Burmese GPT မှာ ကိုယ်ဖန်တီးထားတဲ့ အနုပညာနဲ့ အချက်အလက်တွေကို ထည့်သွင်းချင်တယ်ဆိုရင် ဆက်သွယ်ပြီး Contribute လုပ်လို့ရပါတယ်)

၅) Burmese GPT မှာ အသုံးပြုထားတဲ့ Dataset ကို အသုံးပြုချင်တယ်ဆိုရင် ဘာတွေလိုအပ်မလဲ ?

Burmese Text ပေါင်း 55K (corpus) ပါဝင်တဲ့ Dataset ကိုလဲ Academic / Research / Open Community အတွက်လုပ်နေတဲ့ သူတွေကို Contribution လုပ်ပေးသွားဖို့ ရည်ရွယ်ပါတယ် (ကိုယ်လုပ်နေတဲ့ Project / Paper / Thesis information နဲ့ ကျနော့်ကိုဆက်သွယ်နိုင်ပါတယ်)

RichardErkhov/WYNN747_-_Burmese-GPT-v3-8bits

Original model description:

Features Update (Burmese-GPT-V3)

Model Description (Burmese-GPT-V3)