Views
No views yet
1from transformers import AutoTokenizer, AutoModelForCausalLM
2import torch
3
4tokenizer = AutoTokenizer.from_pretrained('mesolitica/llama-3-8b-8192-hf')
5model = AutoModelForCausalLM.from_pretrained('mesolitica/llama-3-8b-8192-hf', torch_dtype=torch.bfloat16,
6 use_flash_attention_2 = True)
7_ = model.cuda()
8t = tokenizer('User: KWSP tu apa?\nBot: ', return_tensors = 'pt').to('cuda')
9r = model.generate(**t, max_new_tokens=200,
10 top_p=0.95,
11 top_k=50,
12 temperature=0.9,
13 do_sample=True,
14 num_beams=1,)
15tokenizer.decode(r[0])User: KWSP tu apa?
Bot: ialah kumpulan wang simpanan pekerja kita sebagai badan kebajikan yang memastikan kesejahteraan 13.5 juta ahlinya terus terbela. 2) Pengeluaran i-sinar akan diteruskan dengan bayaran pertama 3) Pengeluaran i-citra akan diteruskan dengan bayaran pertama bulan April 2021. 4) 600,000 orang telah memohon untuk pengeluaran i-lestari daripada jumlah yang layak iaitu 2.5 juta orang. 5) KWSP telah meningkatkan had pengeluaran i-lestari daripada 6,000 kepada 9,000 bagi 6) Peratusan pengeluaran i-lestari turut dinaikkan daripada 4% kepada 10% iaitu maksimum pengeluaran RM