베이스 모델: unsloth/Llama-3.2-3B-Instruct 데이터셋: himedia/financial_dummy_data_v4 학습 방법: LoRA (Low-Rank Adaptation) - 병합된 전체 모델 학습 일시: 20250702_181705

📊 학습 결과

Final Training Loss: 0.8515
Final Validation Loss: 0.7593
Best Validation Loss: 0.7593 (step 10)
Overall Improvement: 62.7%
Training Time: 0.64 minutes

하이퍼파라미터

Learning Rate: 0.0002
Max Steps: 10
Batch Size: 2
Gradient Accumulation: 8
LoRA r: 64
LoRA alpha: 64
Max Sequence Length: 2048
Warmup Steps: 5

🔧 메모리 사용량

GPU: NVIDIA A100-SXM4-40GB
Peak Memory: 6.674 GB
Memory Usage: 16.9%

사용 방법

일반적인 사용 (Transformers)

python

from transformers import AutoTokenizer, AutoModelForCausalLM

# 모델과 토크나이저 로드
tokenizer = AutoTokenizer.from_pretrained("himedia/fincredit-lamma-3.2-3b-lr2e04-bs16-r64-steps10-20250702_181705")
model = AutoModelForCausalLM.from_pretrained("himedia/fincredit-lamma-3.2-3b-lr2e04-bs16-r64-steps10-20250702_181705")

# 간단한 추론 예제
prompt = "고객의 신용등급을 평가해주세요:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=200)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

vLLM 사용 (고성능 추론)

python

from vllm import LLM, SamplingParams

# vLLM 로드 (병합된 모델이므로 바로 사용 가능)
llm = LLM(
    model="himedia/fincredit-lamma-3.2-3b-lr2e04-bs16-r64-steps10-20250702_181705",
    max_model_len=2048,
    gpu_memory_utilization=0.85
)

# 샘플링 파라미터 설정
sampling_params = SamplingParams(
    temperature=0.7,
    top_p=0.9,
    max_tokens=200
)

# 추론
prompts = ["고객의 신용등급을 평가해주세요:"]
outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}")
    print(f"Generated text: {generated_text!r}")

Unsloth 테스트 환경에서 사용

python

from unsloth import FastLanguageModel

# 원본 LoRA 어댑터로 테스트
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "himedia/fincredit-Llama-3.2-3B-lr2e04-bs16-r64-steps1000-20250623_060351",  # LoRA 어댑터
    max_seq_length = 2048,
    dtype = None,
    load_in_4bit = True,
)

📊 학습 데이터 파일

이 레포지토리에는 다음 학습 관련 파일들이 포함되어 있습니다:

training_log.json: 전체 학습 로그 (JSON 형식)
FinCreditLlama-3.2-3B_20250702_181705_training_curves.png: 학습 곡선 시각화 이미지

레포지토리명 구성

fincredit-lamma-3.2-3b-lr2e04-bs16-r64-steps10-20250702_181705 = fincredit-lamma3-4b-lr2e04-bs2-r64-steps10-20250702_181705

fincredit-lamma3-4b: 모델 기본명
lr2e04: Learning Rate
bs2: Batch Size
r64: LoRA rank
steps10: 학습 스텝
20250702_181705: 학습 시각

배포 정보

모델 타입: 병합된 전체 모델 (LoRA 어댑터가 베이스 모델에 병합됨)
vLLM 호환: ✅ 완전 호환
RunPod 배포: ✅ 지원
원본 LoRA 어댑터: himedia/fincredit-Llama-3.2-3B-lr2e04-bs16-r64-steps1000-20250623_060351

성능

이 모델은 한국어 금융 텍스트에 대해 파인튜닝되어 신용 평가 관련 질의응답에 특화되어 있습니다.

라이선스

Apache 2.0