Liujgoj（溜歌）發展自粵拼 Jyutping 系統，是一套設計用於獨立寫作、閱讀、且音位結構確定（Deterministic Syllable Structure）嘅完整粵語拉丁正字法（Independent Orthography）。本模型在預訓練階段將溜歌正詞法直接焊死在模型的 Token 概率分佈中。

📈 訓練數據與成果 / Training Details

基座模型 (Base Model): Qwen3-8B-Base (ModelScope / Hugging Face)
訓練管道 (Pipeline): LLaMA-Factory (LoRA CPT, 3 Epochs)
核心語料 (Corpus):
- 精選超過多部香港經典電影部分對白之文本口語對白轉錄。
訓練指標 (Metrics):
- 初始 Loss: ~2.6
- 最終 Train Loss: 1.5951 (收斂表現極佳，語意對齊深度完成)

🚀 快速開始 / Quick Start

本模型目前為 CPT 基座模型 (Base Model)，具備極強嘅 Liujgoj 文字續寫與接龍直覺。推薦使用 OpenAI 相容的 completions 或 chat/completions 接口進行純文字續寫。

Python (使用 Transformers 載入)

python

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "Yvthyvq/cantonese-qwen3-8b-base"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id, 
    torch_dtype=torch.bfloat16, 
    device_map="auto"
)

prompt = "Yixgaaj heoi binj douh? "
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens=50, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Yvthyvq/Liujgoj-Cantonese-Qwen3-8B-Base

Cantonese-Qwen3-8B-Base (Powered by Liujgoj)

📌 簡介 / Overview

⚠️ 重要聲明 (Important Clarification)

📈 訓練數據與成果 / Training Details

🚀 快速開始 / Quick Start

Python (使用 Transformers 載入)

Yvthyvq/
Liujgoj-Cantonese-Qwen3-8B-Base