항목	내용
Base Model	meta-llama/Llama-3.1-8B-Instruct
학습 방식	QLoRA (4bit) + SFT
학습 도구	unsloth + TRL SFTTrainer
GPU	NVIDIA A40 (48GB)
학습 시간	약 25분
LoRA rank	32
LoRA alpha	32
학습률	2e-4
Epoch	1
Batch size	32 (effective 64)
Max seq length	2048

데이터셋

데이터셋	샘플 수	용도
beomi/KoAlpaca-v1.1a	5,000	한글 Instruction
kyujinpy/KOpen-platypus	3,000	추론/CoT
heegyu/PKU-SafeRLHF-ko	1,000	안전 데이터

총 9,000건

사용법

python

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("shinyuuuu/llama31-8b-ko-lora")
tokenizer = AutoTokenizer.from_pretrained("shinyuuuu/llama31-8b-ko-lora")

GGUF 버전 (LM Studio 등): shinyuuuu/llama31-8b-ko-lora-gguf

라이선스

Llama 3.1 Community License에 따릅니다.