Views
No views yet
| Metric | Value |
|---|---|
| Avg. | 56.93 |
| ARC (25-shot) | 55.63 |
| HellaSwag (10-shot) | 75.8 |
| MMLU (5-shot) | 63.07 |
| TruthfulQA (0-shot) | 42.26 |
| Winogrande (5-shot) | 74.11 |
| GSM8K (5-shot) | 30.71 |
1from transformers import AutoTokenizer, AutoModelForMaskedLM
2
3tokenizer = AutoTokenizer.from_pretrained("hon9kon9ize/CantoneseLLM-6B-preview202402")
4model = AutoModelForMaskedLM.from_pretrained("hon9kon9ize/CantoneseLLM-6B-preview202402")
5
6prompt = "歷經三年疫情，望穿秋水終於全面復常，隨住各項防疫措施陸續放寬以至取消，香港"
7
8input_ids = tokenizer.encode(prompt, return_tensors="pt").to('cuda:0')
9output = model.generate(input_ids, max_length=max_length, num_return_sequences=1, repetition_penalty=1.1, do_sample=True, temperature=temperature, top_k=50, top_p=0.95)
10output = tokenizer.decode(output[0], skip_special_tokens=True)
11
12# output: 歷經三年疫情，望穿秋水終於全面復常，隨住各項防疫措施陸續放寬以至取消，香港旅遊業可謂「起死回生」。
13# 不過，旅遊業嘅復蘇之路並唔順利，香港遊客數量仍然遠低於疫前水平，而海外旅客亦只係恢復到疫情前約一半。有業界人士認為，當局需要進一步放寬入境檢疫措施，吸引更多國際旅客來港，令旅遊業得以真正復甦。