Views
No views yet
openai/gpt-oss-120b(117B 總參 / 5.1B 活躍 / 128-expert MoE / MXFP4 / harmony 推理格式)為基底,用 TAIDE 蒸餾的台灣繁中 self-instruct 指令資料做 LoRA 微調(LoRA 作用於 attention,MoE 專家維持原生 MXFP4),已合併回完整模型,保留 gpt-oss 原生 reasoning 能力。1from transformers import AutoModelForCausalLM, AutoTokenizer
2import torch
3
4tok = AutoTokenizer.from_pretrained("xCloudinfo/gpt-oss-120b-TAIDE-zhTW")
5model = AutoModelForCausalLM.from_pretrained(
6 "xCloudinfo/gpt-oss-120b-TAIDE-zhTW", dtype="auto", device_map="auto")
7
8msgs = [{"role": "user", "content": "用一段話介紹台灣,並說說台灣最有名的小吃。"}]
9ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
10out = model.generate(ids, max_new_tokens=512)
11print(tok.decode(out[0][ids.shape[1]:], skip_special_tokens=False))reasoning 模型:請給足max_new_tokens(模型會先思考再輸出最終答案)。
…-TAIDE-zhTW-GGUF。openai/gpt-oss-120b,Apache-2.0。