Llama-3.1-8B Taiwan Chat
Built with Llama
以 QLoRA(Unsloth)在 TaiwanChat 子集上微調 Meta-Llama-3.1-8B-Instruct 後,合併為完整 fp16 權重 的版本,下載即用,目標是更自然的繁體中文與台灣在地語感。
(English) Meta-Llama-3.1-8B-Instruct fine-tuned with QLoRA (Unsloth) on a subset of yentinglin/TaiwanChat to improve Traditional-Chinese (Taiwan) fluency and localization. Loss was computed on assistant responses only. Research / non-commercial use only (the dataset is CC BY-NC 4.0).
訓練設定
項目 值 Base model unsloth/Meta-Llama-3.1-8B-Instruct (meta-llama/Meta-Llama-3.1-8B-Instruct 之權重相同鏡像)資料集 yentinglin/TaiwanChat :取樣 15000 筆 → 過濾超過 2048 tokens 後剩 14776 筆資料源(id) 全部 9 種 方法 QLoRA:4-bit NF4 載入 + LoRA(r=16、alpha=16、dropout=0;q/k/v/o/gate/up/down 七個投影層) max_seq_length 2048 Learning rate 0.0002(linear decay、warmup ratio 0.03) 訓練量 1 epoch(有效 batch size 8) Optimizer adamw_8bit(weight decay 0.001) Loss 遮罩 只對 assistant 回覆計 loss(unsloth train_on_responses_only) GPU / 時間 NVIDIA A100-SXM4-40GB / 約 58.0 分鐘 最終 train loss 1.0598 Seed 3407 訓練日期 2026-07-11
training loss 使用方式
這是合併後的完整 fp16 模型 (~6.5 GB),可直接用 transformers 載入:
1 from transformers import pipeline
2
3 pipe = pipeline ( "text-generation" , model = "steven0226/llama-3.1-8b-taiwan-chat" , torch_dtype = "auto" , device_map = "auto" )
4 out = pipe ( [ { "role" : "user" , "content" : "請推薦台南的夜市小吃" } ] , max_new_tokens = 256 )
5 print ( out [ 0 ] [ "generated_text" ] [ - 1 ] [ "content" ] )
微調前後對照
同樣 5 個台灣情境問題、greedy decoding(可重現),差異完全來自微調:
請用台灣人習慣的說法介紹珍珠奶茶:它的由來、基本做法,以及為什麼能代表台灣的手搖飲文化。
微調前(base):
珍珠奶茶是一種非常受歡迎的手搖飲料，尤其是在台灣。它的由來可以追溯到清朝時期，當時中國南方地區有個叫做"珍珠茶"的飲料，它是由珍珠狀的豆漿和奶茶混合而成。
在台灣，珍珠奶茶的流行可以追溯到20世紀50年代左右。最初，它是由一位名叫林文興的台北老闆創造的，他將珍珠狀的豆漿加入奶茶中，並且使用手搖器打勻，使得珍珠奶茶變得更加美味和口感佳。
基本上，珍珠奶茶的做法如下：
先準備好奶茶和珍珠狀的豆漿。
將兩者混合在一起。
使用手搖器打勻，使得珍珠奶茶變得均勻和充滿氣泡。
珍珠奶茶能夠代表台灣的手搖飲文化的原因有幾點：
傳統工藝 : 手搖珍珠奶茶是一種傳統的
微調後(fine-tuned):
珍珠奶茶是一種以珍珠和奶茶為基底的飲品，源自中國南方地區。它的由來可以追溯到清朝時期，當時在福建省的泉州府有一種叫做「白玉」或「白糖水」的飲品。這種飲品是由白糖和水混合煮沸而成的，加入一些珍珠（即小麥粉）後，形成了現在我們所熟悉的珍珠奶茶。
基本做法是將珍珠和奶茶混合在一起，然後攪拌均勻。有些店家還會加上一些其他配料，如冰淇淋、巧克力醬等，以增加口感。
珍珠奶茶能代表台灣的手搖飲文化，因為它是台灣最受歡迎的手搖飲之一。許多台灣人都喜歡珍珠奶茶作為一天中的補充飲品，尤其是在炎熱的夏季。手搖飲文化也體現了台灣人的勤奮和創新精神，因為許多手搖飲店家都有自己的獨特配
我是剛來台灣的交換學生,想辦手機門號。請比較預付卡和月租方案的差別,以及辦理時要準備哪些證件。
微調前(base):
歡迎你來到台灣! 預付卡和月租方案都是台灣的手機服務提供者提供的選擇，下面將為你比較這兩種方案的差異：
預付卡 (Prepaid Card)
透過購買特定的金額（通常為新台幣100元或500元）進行充值。
可以根據自己的需求購買通話、短訊、上網等服務。
充值後剩餘的金額可以儲存，下次使用時可直接扣除。
通常不需要簽訂合同，也不會有任何約束。
月租方案 (Postpaid Plan)
需要簽訂合同，通常需要提供身份證明文件。
每月需支付固定費用（通常包括通話、短訊、上網等服務）。
可以享受更多優惠，如免費通話、無限上…
微調後(fine-tuned):
預付卡和月租方案都是台灣的手機服務提供者所提供的選項，兩種方案都有其優點和缺點。
預付卡是一種無需簽訂合約或支付任何費用就能使用的手機服務。您只需要購買一個預付卡，並將它插入您的手機中，就可以開始使用了。預付卡通常以一定數量的通話時間、資料傳輸量或短信數量為限，當您使用完畢後，您可以再次購買新的預付卡繼續使用。
另一方面，月租方案則要求您簽訂一份合約並每個月支付固定的費用，以獲得特定數量的通話時間、資料傳輸量或短信數量。月租方案通常比預付卡更便宜，但如果您不常使用手機，您可能會浪費一些資源。
至於辦理時要準備的證件，通常需要提供身份證（如護照或國民身分證）和住址證明（如戶籍謄本或租金合同…
請推薦台南有名的夜市,並列出五樣必吃的小吃,每樣用一兩句話介紹。
微調前(base):
台南有許多著名的夜市，以下是其中幾個：
安平老街夜市 ：位於台南市中心，擁有豐富的美食選擇，是台南人最愛的夜市之一。永康夜市 ：位於台南市永康區，提供各種小吃和手工藝品，是一個熱鬧且充滿活力的夜市。中洲夜市 ：位於台南市中洲區，靠近海岸，提供海鮮小吃和其他在地特色食品。
以下是五樣必吃的小吃：
台南蚵仔煎 ：蚵仔煎是一道傳統的台南小吃，用新鮮的蚵仔（蚬子）煮熟後醃製，味道鹹酸甜，非常口水暢銷。台南肉圓 ：肉圓是一種以豬肉和蔥作為主要材料製作的餅，外層金黃酥脆，內層軟嫩香滑，非常好吃。**台南
微調後(fine-tuned):
台南最有名的夜市是中華路夜市，位於台南市中心。這個夜市擁有豐富多彩的食物選擇，包括各種小吃、街頭美食和飲料。
以下是中華路夜市五樣必吃的小吃：
台南肉圓：這是一種傳統的台灣小吃，由軟嫩的肉餡包裹在米粉或麵條中製成。它通常配以甜豆沙醬和蔥花一起享用。
鹽酥雞：這是一種鹽味炸雞，外層金黃色脆脆，內層柔軟。它通常配以蔥花和辣椒一起享用。
豆花：這是一種由豆腐和糖水製成的甜點，通常配以紅豆沙醬和蔥花一起享用。
蚵仔煎：這是一道經典的台灣海鮮料理，使用新鮮的蚵仔和蔥花製成。它通常配以米飯一起享用。
5
「土豆」這個詞在台灣和中國大陸分別指什麼?請再舉三組兩岸說法不同的日常用語,整理成表格。
微調前(base):
"土豆" 這個詞在台灣和中國大陸的意思不同。
在台灣，「土豆」通常指的是馬鈴薯（Potato）。
在中國大陸，「土豆」則是指的是sweet potato（甜薯）。
以下是三組兩岸說法不同的日常用語：
語言 台灣 中國大陸 輕便車 駭二輪 小摩托 電腦主機 主機 機箱 電話亭 公共電話 電話亭
注意：以上列表中的例子可能會因為地域、年齡或文化等因素而有所不同。
微調後(fine-tuned):
台灣 中國大陸 土豆 馬鈴薯 雞蛋 鸡蛋 牛奶 牛奶 蝦子 虾仁 麵包 面包 飲料 飲料 電腦 电脑 手機 手机 網路 网络 電視 电视 電話 电话 電信 电信 電子商務 电子商务 網上購物 网上购物 網絡安全 网络安全 數位支付 数字支付 數位貨幣 数字货币 數位銀行 数字银行 數位金融 数字金融 數位經濟 数字经济
請解釋台灣的「垃圾不落地」政策,以及為什麼垃圾車會播放音樂?
微調前(base):
"垃圾不落地" 是台灣的一個垃圾管理政策，目的是減少垃圾在收集和運輸過程中掉落在地面。這項政策的主要目的在於保持城市環境清潔、美觀，並且保護環境。
根據這項政策，垃圾車通常會裝備特殊設計的垃圾箱或覆蓋物，以防止垃圾在運輸過程中掉落。另外，垃圾車也可能裝設噴水系統或其他設備來抑制垃圾掉落。
至於垃圾車播放音樂的原因，主要是為了提高民眾對垃圾分類和垃圾管理的意識，以及增加垃圾車的可視性和吸引力。垃圾車播放音樂可以幫助：
提高民眾對垃圾分類的認知：通過音樂傳達垃圾分類的重要性和方法。
增加垃圾車的可視性：音樂可以吸引民眾注意到�
微調後(fine-tuned):
台灣的「垃圾不落地」政策是指垃圾必須被收集並處理，不能隨意丟棄。這個政策旨在減少環境污染和保持社區清潔。
至於垃圾車播放音樂的原因，我無法提供任何相關資訊。垃圾車通常只負責收集和運送垃圾，並不涉及播放音樂。垃圾車可能會播放音樂以增加其可見性或吸引注意力，但這不是一個常見的做法。
限制
事實型內容(電信資費、店家、時刻)可能過時或幻覺,請勿當作查詢工具。
訓練資料含翻譯/合成語料,偶爾仍會滲出簡體中文或英文片段。
未做額外安全對齊,安全行為同 base model。
授權與合規
模型權重依 Llama 3.1 Community License 發佈(repo 內附 LICENSE.txt 與 NOTICE),使用須遵守 Acceptable Use Policy 。
訓練資料 TaiwanChat 為 CC BY-NC 4.0 :本模型僅供研究/非商業用途 。
引用
1 @misc{lin2023taiwanllm,
2 title={Taiwan LLM: Bridging the Linguistic Divide with a Culturally Aligned Language Model},
3 author={Yen-Ting Lin and Yun-Nung Chen},
4 year={2023},
5 eprint={2311.17487},
6 archivePrefix={arXiv}
7 }
