项目	说明
基础模型	Qwen3-8B
微调数据	Baize-TCM-Corpus-for-Large-Language-Models-V1
参数量	~8B
量化方式	未量化
量化工具
上下文长度	2048 tokens
训练方式	LoRA

🚀 快速使用（Inference）

方法：使用 `transformers` 加载（推荐）

python

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 模型名称
model_name = "your-username/Baize-Traditional-Chinese-Medicine-Large-Language-Model-V1-16bit"

# 加载 tokenizer
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

# 加载模型，使用 float16（16-bit）半精度，不进行量化
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,      # 使用 float16
    device_map="auto",              # 自动分配 GPU 显存
    trust_remote_code=True          # 支持自定义模型代码
)

# 推理
prompt = "问题：气虚的主要症状有哪些？\n答案："
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

outputs = model.generate(
    **inputs,
    max_new_tokens=200,
    temperature=0.7,
    do_sample=True
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

DigitalIntelligenceCenter-of-ICMM/Baize-Traditional-Chinese-Medicine-Large-Language-Model-V1-16bit

白泽中医药大语言模型 V1 - 16bit

📚 模型简介

🏗️ 模型架构

🚀 快速使用（Inference）

方法 ：使用 transformers 加载（推荐）

DigitalIntelligenceCenter-of-ICMM/
Baize-Traditional-Chinese-Medicine-Large-Language-Model-V1-16bit

方法：使用 `transformers` 加载（推荐）