You can deploy this model and start earning money today!

cys123456/
gemma-3-12b-chinese-lora

Name: gemma-3-12b-chinese-lora
Availability: InStock

safetensors

Views

No views yet

Gemma-3-12B Chinese LoRA

基于 Google Gemma-3-12B 的中文指令微调适配器

📌 简介

Gemma-3-12B 是 Google 最新一代轻量级开源大语言模型，在同等参数量级下展现出优异的推理能力和多语言表现。本仓库提供了一个 LoRA 适配器，通过 10 万条中文 Alpaca 指令数据对 Gemma-3-12B 进行指令微调，显著增强了模型在中文场景下的指令遵循能力和对话质量。LoRA 权重仅 125 MB，即插即用。

🎯 应用场景

1. 中文智能客服

在电商、金融、教育等行业搭建客服机器人。Gemma-3-12B 的推理速度快，配合 LoRA 可快速部署到消费级显卡上。

示例：

用户：我的订单已经三天没更新物流了，能帮我查一下吗？
模型：好的，请问您的订单号是多少？我帮您核实物流状态。

2. 中文内容生成与辅助写作

适用于自媒体文案、产品描述、邮件撰写等日常文字工作。

示例：

用户：帮我写一段关于苏州园林的朋友圈文案，要文艺一点。
模型：一步一景皆入画，半墙花影半墙诗。苏州园林的美，藏在每一扇漏窗背后，落在每一片青瓦之上。

3. 中文知识问答

面向教育辅导、企业内部知识库等场景，将文档知识注入模型。

4. 本地私有化部署

LoRA 权重仅 125 MB，配合 4-bit 量化后可在 单张 RTX 3090/4090/5090 上流畅运行，数据不出本机，适合对数据安全有要求的企业场景。

5. 中文意图识别与分类

可以通过进一步微调适配到特定的分类或抽取任务，适合对话系统做前置理解模块。

📊 训练配置

项目	详情
基础模型	Google Gemma-3-12B
微调方法	LoRA（rank=8, alpha=16）
目标模块	全部注意力层 + MLP 层
数据集	alpaca_zh_demo（10 万条中文指令）
训练轮数	3 epoch
学习率	5e-5，cosine 退火
批次大小	16（per_device=2, grad_accum=8）
精度	bf16
最终 loss	1.385
LoRA 大小	125 MB

🚀 快速开始

python

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

# 加载底模
base_model = AutoModelForCausalLM.from_pretrained(
    "google/gemma-3-12b-it",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)
tokenizer = AutoTokenizer.from_pretrained("google/gemma-3-12b-it")

# 合并 LoRA
model = PeftModel.from_pretrained(base_model, "cys123456/gemma-3-12b-chinese-lora")

# 推理
prompt = "用中文介绍一下量子计算的基本原理"
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=512)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

⚡ Ollama 部署

将 LoRA 合并后转 GGUF 格式，即可在 Ollama 中调用：

bash

ollama pull gemma3:12b
# 将 adapter_model.safetensors + adapter_config.json 放入同一目录
ollama create gemma3-zh -f Modelfile
ollama run gemma3-zh

📝 说明

本适配器使用 LLaMA-Factory 框架训练
基础模型遵循 Gemma 原始许可协议
LoRA 适配器本身不包含原始模型权重