KoGPT2 챗봇 LoRA 모델

모델 설명

모델 상세

• Base Model: skt/kogpt2-base-v2
• 파인튜닝 방법: LoRA (Low-Rank Adaptation)
• Task: 텍스트 생성 (Text Generation)

LoRA 설정

• r=16
• lora_alpha=32
• target_modules=["c_attn", "c_proj", "c_fc"]
• lora_dropout=0.05
• bias="none"
• task_type=TaskType.CAUSAL_LM
• trainable params: 2,359,296 (1.85%)
• all params: 127,524,096

학습 설정

• num_train_epochs=10
• per_device_train_batch_size=4
• per_device_eval_batch_size=8
• gradient_accumulation_steps=4
• learning_rate=2e-4
• warmup_steps=100
• fp16=True
• weight_decay=0.01

학습 결과

사용 방법

특징

• LoRA를 사용하여 효율적인 파인튜닝 (전체 파라미터의 1.85%만 학습)
• FP16 mixed precision 학습으로 메모리 효율성 향상
• Gradient accumulation으로 큰 배치 사이즈 효과