이 모델은 Meta의 Llama-3.2-3B-Instruct 모델을 베이스로 하여, 한국어 지시어 데이터셋인 KoAlpaca v1.1a를 학습(Fine-tuning)시킨 후 병합한 모델입니다. 한국어 질의응답 및 지시 이행 능력을 향상시키는 데 중점을 두었습니다.

Model Details

Model Description

Model type: Causal Language Model
Language(s) (NLP): 한국어 (Korean)
License: Llama 3.2 Community License
Finetuned from model: meta-llama/Llama-3.2-3B-Instruct
Dataset: Taegyuu/KoAlpaca-v1.1a

Uses

Direct Use

이 모델은 한국어 질문에 답변하거나, 주어진 지시에 따라 텍스트를 생성하는 작업에 직접 사용할 수 있습니다.

Prompt Format (Llama 3.2)

이 모델은 대화형 구조로 학습되었으므로 아래와 같은 메시지 형식을 권장합니다.

python

messages = [
    {"role": "system", "content": "당신은 한국어 질의응답 전문가입니다. 주어진 문맥을 바탕으로 정확하고 간결한 답변을 제공하세요."},
    {"role": "user", "content": "인공지능이란 무엇인가요?"}
]

Training Hyperparameters

The following hyperparameters were used during training:

LoRA Specifics:
- r: 32
- lora_alpha: 64
- target_modules: All linear layers (q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj)
- lora_dropout: 0.05
Optimization:
- learning_rate: 2e-04
- lr_scheduler_type: cosine
- warmup_steps: 100
- optimizer: AdamW
- weight_decay: default (0.0)
Training Strategy:
- num_train_epochs: 1
- total_batch_size: 8 (2 per device * 4 accumulation steps)
- gradient_checkpointing: True
- fp16: True
- neftune_noise_alpha: 5

Evaluation

Metric	Score
F1 Score	11.40%
ROUGE-1	4.94%
ROUGE-L	4.62%

Support

SSAFY Tesla V100-PCIE-32GB

rudalson/Llama-3.2-3B-Instruct-KoAlpaca

Llama-3.2-3B-KoAlpaca-Merged