Views
No views yet
1# 下載模型
2wget https://huggingface.co/ZJkyle/qwen3-4b-policechat/resolve/main/model-f16-Q4_K_M.gguf
3
4# 使用 llama.cpp 進行推理
5./llama-cli -m model-f16-Q4_K_M.gguf -p "你是一個精準的文本分類助手。
6
7指令: 請根據以下選項，選擇最適合的分類代碼。只輸出代碼字母。
8
9選項:
10A=投訴員警, B=申請交通初判表, C=良民證, D=查詢案件, E=找人, F=查詢計程車營業證, G=家暴相關, H=失蹤人口, I=局長信箱, J=監視器, K=防空洞, L=婚喪喜慶路權申請, M=保全業務, N=報案, O=詐騙, P=申請國賠, Q=檢舉警察, R=申請大貨車臨時證, S=警示帳戶相關, T=檢舉攤販, U=遺失物/竊盜, V=找局長, W=申請入山, X=警察公墓, Y=署長信箱, Z=署長臉書NPA, AA=交通相關問題, AB=槍砲彈藥刀械, AC=史蹟館, AD=陳情, AE=拍賣相關, AF=法律問題, AG=噪音擾民, AH=問地址, AI=守望相助, AJ=傳真號碼, AK=車禍, AL=違停, AM=交通罰單, AN=查詢當鋪申請, AO=一般詢問
11
12內容:
13[你的文本內容]"1from transformers import AutoTokenizer, AutoModelForCausalLM
2import torch
3
4# 載入模型 (需要先將 GGUF 轉換回 Hugging Face 格式)
5model_name = "ZJkyle/qwen3-4b-policechat"
6tokenizer = AutoTokenizer.from_pretrained(model_name)
7model = AutoModelForCausalLM.from_pretrained(model_name)
8
9# 準備輸入
10prompt = """你是一個精準的文本分類助手。
11
12指令: 請根據以下選項，選擇最適合的分類代碼。只輸出代碼字母。
13
14選項:
15A=投訴員警, B=申請交通初判表, C=良民證, D=查詢案件, E=找人, F=查詢計程車營業證, G=家暴相關, H=失蹤人口, I=局長信箱, J=監視器, K=防空洞, L=婚喪喜慶路權申請, M=保全業務, N=報案, O=詐騙, P=申請國賠, Q=檢舉警察, R=申請大貨車臨時證, S=警示帳戶相關, T=檢舉攤販, U=遺失物/竊盜, V=找局長, W=申請入山, X=警察公墓, Y=署長信箱, Z=署長臉書NPA, AA=交通相關問題, AB=槍砲彈藥刀械, AC=史蹟館, AD=陳情, AE=拍賣相關, AF=法律問題, AG=噪音擾民, AH=問地址, AI=守望相助, AJ=傳真號碼, AK=車禍, AL=違停, AM=交通罰單, AN=查詢當鋪申請, AO=一般詢問
16
17內容:
18[你的文本內容]"""
19
20# 進行推理
21inputs = tokenizer(prompt, return_tensors="pt")
22with torch.no_grad():
23 outputs = model.generate(**inputs, max_new_tokens=1, temperature=0.0)
24
25result = tokenizer.decode(outputs[0], skip_special_tokens=True)
26print(result)model-f16-Q4_K_M.gguf: 量化版本 (2.4GB，推薦使用)model-f16.gguf: 完整精度版本 (7.5GB，如需更高精度)