Dooroo_2509 – AI Model by kingkim | AlphaNeural AI

You can deploy this model and start earning money today!

kingkim/
Dooroo_2509

like

0

kingkim/yeosu_tour

kingkim/yeosu_island

Qwen/Qwen3-4B-Instruct-2507

Views

No views yet

Dooroo_2508: 여수 관광 특화 챗봇 모델

이 모델은 unsloth/Qwen3-4B-Instruct-2507 모델을 기반으로, 대한민국 여수시의 관광 정보와 섬 정보에 대해 특화된 지식을 갖도록 파인튜닝되었습니다.

Unsloth 라이브러리를 사용하여 LoRA(Low-Rank Adaptation) 기법으로 효율적인 학습을 진행했으며, 여수 여행에 관한 질문에 자연스럽고 정확한 답변을 생성하는 것을 목표로 합니다.

🛠️ 학습 과정 (Training Procedure)

1. 기반 모델 (Base Model)

Model: unsloth/Qwen3-4B-Instruct-2507
Library: Unsloth를 사용하여 메모리 사용량을 최적화하고 학습 속도를 크게 향상시켰습니다.

2. 데이터셋 (Dataset)

학습에는 아래 두 가지 데이터셋을 병합하여 사용했습니다. 각 데이터셋의 train과 test 스플릿을 합친 후, train 데이터셋은 무작위로 섞어 모델이 특정 주제에 편향되지 않도록 했습니다.

kingkim/yeosu_tour: 여수 관광 명소 관련 데이터
kingkim/yeosu_island: 여수 섬 관련 데이터

3. 하이퍼파라미터 (Hyperparameters)

모델 학습에 사용된 주요 하이퍼파라미터는 다음과 같습니다.

LoRA 설정

파라미터	값	설명
`r`	`16`	LoRA 행렬의 랭크 (rank)
`lora_alpha`	`32`	LoRA 스케일링 인자
`lora_dropout`	`0.05`	LoRA 레이어의 드롭아웃 비율
`target_modules`	`q_proj`, `k_proj`, `v_proj`, `o_proj`, `gate_proj`, `up_proj`, `down_proj`	LoRA를 적용할 대상 모듈

Training Arguments

파라미터	값	설명
`num_train_epochs`	`30`	총 학습 에포크 수
`learning_rate`	`4e-6`	학습률
`per_device_train_batch_size`	`32`	디바이스당 학습 배치 크기
`gradient_accumulation_steps`	`2`	그래디언트 누적 스텝
`optimizer`	`adamw_8bit`	8비트 AdamW 옵티마이저
`lr_scheduler_type`	`linear`	선형 학습률 스케줄러

📊 평가 결과 (Evaluation Results)

eval_dataset에 대한 최종 평가 결과입니다. Loss는 모델이 예측한 값과 실제 값의 차이를 나타내며, 낮을수록 모델의 성능이 좋음을 의미합니다.

메트릭 (Metric)	값 (Value)
`eval_loss`	`1.2925`
`eval_runtime`	`30.8675` 초
`eval_samples_per_second`	`68.556`
`eval_steps_per_second`	`8.585`
`epoch`	`30.0`

license: apache-2.0 tags:

unsloth
trl
sft