You can deploy this model and start earning money today!

bootscoder/
Llama-3-Medical-8B-CPT-lora

Name: Llama-3-Medical-8B-CPT-lora
Availability: InStock

safetensors

Views

No views yet

Medical-ChatBot-CPT LoRA 模型

模型概述

基于 LLaMA-3.1-8B 的医疗聊天机器人持续预训练（Continual Pre-Training, CPT）LoRA 适配器。

基础模型: meta-llama/Llama-3.1-8B
训练阶段: Continual Pre-Training (CPT)
适配器大小: ~26.5MB

1. 数据集

数据集: bootscoder/Medical-ChatBot-CPT

详细数据集信息请查看上述链接。

2. 训练流程

技术栈

DeepSpeed: ZeRO Stage 1 分布式训练
PEFT: LoRA 参数高效微调
BitsAndBytes: 4-bit NF4 量化
Flash Attention 2: 加速注意力计算
TRL: SFTTrainer 训练接口

训练阶段

模型初始化: 加载 LLaMA-3.1-8B 并应用 4-bit 量化
LoRA 配置: 初始化低秩适配器（r=32, alpha=8）
分布式训练: DeepSpeed 8卡并行训练，1 epoch
保存模型: 保存 LoRA 适配器权重

3. 参数配置

硬件配置

GPU: 8 × NVIDIA A5000 (24GB VRAM)
分布式: DeepSpeed ZeRO Stage 1

训练超参数

yaml

seq_length: 2048                    # 序列长度
batch_size: 2                       # 每卡批次大小
gradient_accumulation_steps: 16     # 梯度累积
effective_batch_size: 256           # 2 × 8 × 16
num_train_epochs: 1                 # 训练轮数
learning_rate: 1e-5                 # 学习率
lr_scheduler_type: cosine           # 余弦调度
warmup_ratio: 0.1                   # 预热比例
bf16: true                          # BF16 混合精度
gradient_checkpointing: true        # 梯度检查点
packing: true                       # 序列打包

QLoRA 配置

量化配置:

python

load_in_4bit: True                  # 4-bit 量化
bnb_4bit_quant_type: nf4            # NF4 量化
bnb_4bit_compute_dtype: bfloat16    # BF16 计算

LoRA 配置:

python

r: 32                               # LoRA 秩
lora_alpha: 8                       # 缩放因子 (alpha/r = 0.25)
target_modules: [q_proj, k_proj]    # Q, K 投影层
bias: none                          # 不训练 bias
trainable_params: ~26.5MB           # 可训练参数 (~0.2%)

显存优化效果:

原始全参数训练 (FP16): ~72GB per GPU
使用 QLoRA: ~7-8GB per GPU
显存节约: ~90%

4. 峰值显存占用

单卡峰值: ____________ GB 8卡总计: ____________ GB

5. 模型预期表现

相比 Base LLaMA-3.1-8B 的改进

改进:

更好理解医疗术语和概念
输出更符合医疗领域语言风格
为后续 SFT 训练提供更好初始化

局限:

未经指令微调，不理解指令格式
输出结构化程度不足
不建议直接部署使用

使用方法

加载模型

python

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载基础模型
base_model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3.1-8B",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# 加载 LoRA 适配器
model = PeftModel.from_pretrained(base_model, "/path/to/pretrained-lora")
tokenizer = AutoTokenizer.from_pretrained("/path/to/pretrained-lora")

# 合并适配器（可选）
model = model.merge_and_unload()

生成文本

python

inputs = tokenizer("高血压是一种", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=128)
print(tokenizer.decode(outputs[0]))

模型文件

pretrained-lora/
├── adapter_config.json          # LoRA 配置
├── adapter_model.safetensors    # LoRA 权重 (~26.5MB)
├── special_tokens_map.json      # 特殊 token 映射
├── tokenizer.json               # 分词器
└── tokenizer_config.json        # 分词器配置

许可证

遵循 Llama 3.1 Community License

bootscoder/Llama-3-Medical-8B-CPT-lora

Medical-ChatBot-CPT LoRA 模型

模型概述

1. 数据集

2. 训练流程

技术栈

训练阶段

3. 参数配置

硬件配置

训练超参数

QLoRA 配置

4. 峰值显存占用

5. 模型预期表现

相比 Base LLaMA-3.1-8B 的改进

使用方法

加载模型

生成文本

模型文件

许可证

bootscoder/
Llama-3-Medical-8B-CPT-lora