You can deploy this model and start earning money today!

Yvthyvq/
Liujgoj-Cantonese-gemma-4-12B-it-sft

Name: Liujgoj-Cantonese-gemma-4-12B-it-sft
Availability: InStock

Views

No views yet

Liujgoj-Cantonese-gemma-4-12B-it-sft

🌟 模型簡介

本模型係基於 Yvthyvq/Liujgoj-Cantonese-gemma-4-12B-it-cpt 進行 SFT (Supervised Fine-Tuning) 嘅粵語羅馬字對話模型。

透過 CPT + SFT 兩階段訓練，我哋成功將 Gemma 4 12B 打造成一個能夠 聽懂粵語指令、理解羅馬字、進行多任務對話 嘅粵語 AI 助手。

🎯 模型特點

✅ 兩階段訓練：CPT（持續預訓練）+ SFT（監督微調）
✅ 擴充詞表：新增 5,984 個粵語音節 Token + 16 個特殊標籤
✅ 多任務能力：支援翻譯、解釋、對話、生成等多種任務
✅ 粵語羅馬字：能夠流暢處理同生成 Jyutping（粵拼）
✅ 對話優化：基於 Gemma 4 對話模板，支援多輪對話
✅ 開箱即用：下載後即可進行粵語互動

🏷️ 特殊標籤列表

標籤	用途
`<ipa-lexicon_BLOCK>` `</ipa-lexicon_BLOCK>`	IPA 詞條區塊
`<ipa-syllable_BLOCK>` `</ipa-syllable_BLOCK>`	IPA 音節區塊
`<lexicon-ipa_BLOCK>` `</lexicon-ipa_BLOCK>`	詞條轉 IPA 區塊
`<lexicon-syllable_BLOCK>` `</lexicon-syllable_BLOCK>`	詞條轉音節區塊
`<syllable-ipa_BLOCK>` `</syllable-ipa_BLOCK>`	音節轉 IPA 區塊
`<syllable-lexicon_BLOCK>` `</syllable-lexicon_BLOCK>`	音節轉詞條區塊
`<SCENE>` `</SCENE>`	對話場景區塊
`<LEX_BLOCK>` `</LEX_BLOCK>`	詞條解釋區塊

🚀 使用方法

基本載入

python

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_path = "Yvthyvq/Liujgoj-Cantonese-gemma-4-12B-it-sft"

tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

---

## 數據格式
所有數據採用統一的 messages 格式：

json
{
  "messages": [
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."}
  ]
}

---

🙏 致謝
Google 團隊開發並開源 Gemma 系列模型

Hugging Face 提供 Transformers 同 PEFT 框架

所有粵語數據貢獻者