from unsloth import FastLanguageModel
import transformers


model, tokenizer = FastLanguageModel.from_pretrained(
        model_name = "zabir-nabil/Bangla-Hal-DPO",
        max_seq_length = 512,
        load_in_4bit = True,
    )
FastLanguageModel.for_inference(model) 

context = "কমিয়ে আনতে পারে স্ট্রোকের ঝুঁকি ঢাকা খাদ্যাভ্যাস স্ট্রোকের ঝুঁকি কমিয়ে আনতে পারে এজন্য খাবারের বিষয়ে সচেতনতা দরকার অধিক চর্বি ও কোলেস্টেরলযুক্ত খাবার কম খাওয়া উচিত বলে মত দিয়েছেন চিকিৎসকরা রোববার ২৯ অক্টোবর জাতীয় প্রেসক্লাবের ভিআইপি লাউঞ্জে বিশ্ব স্ট্রোক দিবস উপলক্ষে আয়োজিত স্ট্রোক প্রতিরোধে আপনার করণীয়গুলো কি শীর্ষক গোলটেবিল আলোচনা সভায় চিকিৎসকরা এ মত দেন আলোচনা সভার আয়োজন করে বাংলাদেশ স্ট্রোক অ্যাসোসিয়েশন বিএসএ সভায় অংশগ্রহণ করে বিভিন্ন অ্যাসোসিয়েশনের চিকিৎসকরা জানান স্ট্রোক শুধু হার্টের অসুখ এ ধারণা ঠিক নয় হার্টের অসুখের সঙ্গে ব্রেন স্ট্রোকের সম্পর্ক আছে বিশ্বে প্রতিবছর ১৭ মিলিয়ন মানুষের স্ট্রোক হয় তার মধ্যে ৬ ৫ মিলিয়ন লোকের মৃত্যু হয় দেশে মৃত্যুর প্রায় ১৬ শতাংশ শুধু স্ট্রোকজনিত তারা আরও জানান স্ট্রোক যেকোনো ব্যক্তির যেকোনো বয়সের মানুষের হতে পারে ভয়াবহ এ স্বাস্থ্য ঝুঁকি মোকাবেলায় সরকারের পাশাপাশি সবাইকে সচেতন হতে হবে স্ট্রোক প্রতিরোধে সবাইকে ধূমপান ত্যাগ মাদক ও মদ্যপান পরিহার করতে হবে অধিক পরিমাণে শাকসবজি খেতে হবে খাবার থেকে লবণ ও মাংসের পরিমাণ কমাতে হবে বাংলাদেশ স্ট্রোক অ্যাসোসিয়েশন বিএসএ আয়োজিত আলোচনায় অংশ নেন বঙ্গবন্ধু শেখ মুজিব মেডিকেল বিশ্ববিদ্যালয় র বিএসএমএম মেডিসিন বিভাগের অধ্যাপক এমএম এ বারী ন্যাশনাল ইনস্টিটিউট অব নিউরোসায়েন্সের সহযোগী অধ্যাপক ডা সিরাজি শফিকুল ইসলাম শরমিতা মেডিকেল কলেজ ও হাসপাতালের অধ্যাপক ডা সামনুন এফ তাহা প্রমুখ বাংলাদেশ সময় ১৩৫৬ ঘণ্টা অক্টোবর ২৯ ২০১৭ এমএসি জেডএস"
query = "খাবারে কী কী কমাতে হবে স্ট্রোক প্রতিরোধের জন্য?"
message = [
    {"role": "system", "content": "You are a helpful Bangla assistant."},
    {"role": "user", "content": f"তথ্য: {context}\nপ্রশ্ন: {query}\nউত্তর:"}
]

prompt = tokenizer.apply_chat_template(message, add_generation_prompt=True, tokenize=False)

# pipeline
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

# generate text
sequences = pipeline(
    prompt,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    eos_token_id=terminators,
    num_return_sequences=1,
)

print(sequences[0]['generated_text'][len(prompt):])