Views
No views yet
google/gemma-3-270m 微調的語言模型,專門用於從中文的使用者對話中,生成一個簡潔的標題。
(經過測試,該模型有可能出現繁體/簡體混著輸出的狀況)llama.cpp, Ollama, LM Studio 等。1{% for message in messages %}{% if message['role'] == 'user' %}### 指令:
2請根據以下使用者對話,生成一個簡潔、準確的標題。
3
4### 使用者對話:
5{{ message['content'] }}
6
7### 生成的標題:
8{% elif message['role'] == 'assistant' %}{{ message['content'] }}{% endif %}{% endfor %}transformers (適用於 Python 環境)1from transformers import pipeline
2import torch
3
4model_id = "keke0130/gemma3-270m-chinese-title-generator"
5
6pipe = pipeline(
7 "text-generation",
8 model=model_id,
9 model_kwargs={"torch_dtype": torch.bfloat16},
10 device="cuda",
11)
12
13# 準備您的對話內容
14dialogue = "你好,我想請問一下你們的退貨政策是什麼?我上週買的商品好像有點問題。另外,客服電話是多少?"
15
16# 手動構建提示
17prompt_template = f"""### 指令:
18請根據以下使用者對話,生成一個簡潔、準確的標題。
19
20### 使用者對話:
21{dialogue}
22
23### 生成的標題:
24"""
25
26# 進行推論
27outputs = pipe(prompt_template, max_new_tokens=50, do_sample=False)
28
29# 清理並提取結果
30# 我們需要手動去除 prompt 部分,只留下模型新生成的內容
31generated_text = outputs['generated_text'][len(prompt_template):].strip()
32
33print(f"💬 原始對話: {dialogue}")
34print(f"🏷️ 模型生成標題: {generated_text}")