Branch	설명
`main`	학습 종료 시점의 최종 어댑터
`checkpoint-170`	step 170 시점의 LoRA
`checkpoint-340`	step 340 시점의 LoRA
`checkpoint-510`	step 510 시점의 LoRA
`checkpoint-680`	step 680 시점의 LoRA
`checkpoint-850`	step 850 시점의 LoRA
`checkpoint-1020`	step 1020 시점의 LoRA
`checkpoint-1190`	step 1190 시점의 LoRA
`checkpoint-1360`	step 1360 시점의 LoRA
`checkpoint-1530`	step 1530 시점의 LoRA
`checkpoint-1700`	step 1700 시점의 LoRA
`checkpoint-1870`	step 1870 시점의 LoRA
`checkpoint-2040`	step 2040 시점의 LoRA
`checkpoint-2210`	step 2210 시점의 LoRA
`checkpoint-2380`	step 2380 시점의 LoRA
`checkpoint-2550`	step 2550 시점의 LoRA
`checkpoint-2720`	step 2720 시점의 LoRA
`checkpoint-2890`	step 2890 시점의 LoRA
`checkpoint-3060`	step 3060 시점의 LoRA
`checkpoint-3230`	step 3230 시점의 LoRA
`checkpoint-3400`	step 3400 시점의 LoRA

각 체크포인트는 학습 중간의 LoRA adapter만 포함 (DeepSpeed optimizer state는 제외 — 추론용).

Usage

최종 어댑터 (main)

python

from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

REPO = "xxccho/EXAONE-3.5-7.8B-Instruct_lg_convfin_mcq_pc_lora_r64_DR1.0"
BASE = "LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct"

tokenizer = AutoTokenizer.from_pretrained(REPO, trust_remote_code=True)
base = AutoModelForCausalLM.from_pretrained(BASE, trust_remote_code=True, torch_dtype="bfloat16")
model = PeftModel.from_pretrained(base, REPO)

prompt = tokenizer.apply_chat_template(
    [{"role": "user", "content": "What is the price-to-earnings ratio?"}],
    tokenize=False, add_generation_prompt=True,
)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=256, do_sample=False)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))

특정 체크포인트

revision 인자로 branch를 지정:

model = PeftModel.from_pretrained(base, REPO, revision="checkpoint-1190")

vLLM (LoRA 모듈로)

bash

vllm serve LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct \
    --enable-lora \
    --lora-modules ckpt=xxccho/EXAONE-3.5-7.8B-Instruct_lg_convfin_mcq_pc_lora_r64_DR1.0@checkpoint-1190 \
    --max-lora-rank 64 \
    --trust-remote-code

License

base model의 라이선스(EXAONE License)를 따른다.