You can deploy this model and start earning money today!

zanyyan/
Chinese-Llama-2-7b-finetuned-NekoQA

Name: Chinese-Llama-2-7b-finetuned-NekoQA
Availability: InStock

safetensors

apache-2.0

Views

No views yet

Chinese-Llama-2-7b-finetuned-NekoQA

这是一个基于 LinkSoul/Chinese-Llama-2-7b 进行 LoRA 微调的模型。

模型介绍

基于猫娘大模型数据集 NekoQA-10K 进行微调，适合中文问答和对话场景。

微调详情

数据集: 我使用了 NekoQA-10K 数据集进行微调。
微调方法: PEFT (LoRA)
主要参数: lora_r=32, lora_alpha=32, max_steps=150
基础模型:LinkSoul/Chinese-Llama-2-7b
微调模型：zanyyan/Chinese-Llama-2-7b-finetuned-NekoQA
微调指令集：zanyyan/Chinese-Llama-2-7b-finetuned-NekoQA/NekoQA-10K.json

代码实现

Github：https://github.com/user14412/llama2-finetune-demo
个人博客：从零开始运行一个精调一个大模型demo
微调脚本： train.py
测试脚本： test_finetuned.ipynb
数据集、权重位置：个人电脑 D:\dataset\Chinese-Llama-2-7b-NekoQA
预训练模型位置：个人电脑 D:\dataset\Chinese-Llama-2-7b

如何使用

python

# 步骤 1: 导入所有需要的库
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
import os

# --- 打印一下 PyTorch 和 GPU 的信息，确保环境正常 ---
print("PyTorch Version:", torch.__version__)
print("CUDA is available:", torch.cuda.is_available())
if torch.cuda.is_available():
    print("CUDA Version:", torch.version.cuda)
    print("Current GPU:", torch.cuda.get_device_name(torch.cuda.current_device()))

# 步骤 2: 定义模型路径
# !!! 请务必确认这两个路径是正确的 !!!
# 基础模型的路径，即原始的、未微调的Llama-2模型
base_model_path = "LinkSoul/Chinese-Llama-2-7b"
# 你微调后得到的 LoRA 适配器路径
peft_adapter_path = "zanyyan/Chinese-Llama-2-7b-finetuned-NekoQA"

print(f"基础模型路径: {base_model_path}")
print(f"PEFT适配器路径: {peft_adapter_path}")


# 步骤 3: 配置 4-bit 量化
# 这一步必须和你的训练脚本保持一致，以确保模型能被正确加载
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
)
print(">>> 量化配置加载完毕。")

# 步骤 4: 加载基础模型
# 首先，加载原始的 Llama-2 模型，并应用量化配置
# device_map="auto" 会自动将模型加载到可用的GPU上
print(">>> 正在加载基础模型 (可能需要一些时间)...")
base_model = AutoModelForCausalLM.from_pretrained(
    base_model_path,
    quantization_config=quantization_config,
    device_map="auto",
    torch_dtype=torch.bfloat16, # 使用 bfloat16 以提高效率
    trust_remote_code=True # 如果模型定义在远端仓库，需要加上这个
)
print(">>> 基础模型加载完毕。")

# 步骤 5: 加载分词器 (Tokenizer)
# 分词器应该从你的适配器文件夹中加载，以确保它包含了所有你在微调时可能添加的特殊词元（tokens）
print(">>> 正在加载分词器...")
tokenizer = AutoTokenizer.from_pretrained(peft_adapter_path)
print(">>> 分词器加载完毕。")

# 步骤 6: 将 LoRA 适配器融合到基础模型中
# 这是最关键的一步，我们使用 PeftModel 类来完成这个“附加”操作
print(">>> 正在融合 LoRA 适配器...")
model = PeftModel.from_pretrained(base_model, peft_adapter_path)
print(">>> LoRA 适配器融合完毕。")

# 步骤 7: 准备模型进行推理
# model.eval() 会将模型切换到评估（推理）模式
# 在这个模式下，像 Dropout 这样的层会被禁用
model.eval()
print(">>> 模型已切换到推理模式。")


# 步骤 8: 进行对话测试
print("\n" + "="*20 + " 开始对话测试 " + "="*20)

# 准备一个输入
prompt = "你好，请介绍一下你自己"
# Llama-2 使用特定的聊天模板，我们用 apply_chat_template 来自动格式化输入
# add_generation_prompt=True 会在末尾添加提示，让模型知道轮到它说话了
messages = [
    {"role": "user", "content": prompt},
]
input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)

# 使用 model.generate() 函数进行推理
with torch.no_grad(): # 在推理时，我们不需要计算梯度
    outputs = model.generate(
        input_ids=input_tensor,
        max_new_tokens=512,  # 定义模型最多可以生成多少个新的词元
        do_sample=True,      # 开启采样，让回答更具多样性
        temperature=0.7,     # 温度系数，越小回答越确定，越大越随机
        top_p=0.9,           # Top-p 采样
    )

# 解码生成的词元ID，并跳过输入的提示部分，只打印模型的回答
response = tokenizer.decode(outputs[0][input_tensor.shape[-1]:], skip_special_tokens=True)

print(f"用户输入: {prompt}")
print(f"模型回答: {response}")
print("\n" + "="*20 + " 对话测试结束 " + "="*20)