Views
No views yet
kmseong/llama2_7b-chat-Safety-FT-lr5e-5 를 시작점으로, WaRP(Weight space Rotation Process) 재파라미터화 공간에서
안전 관련 계수 방향을 동결한 채 gsm8k 로 downstream fine-tuning 한 모델입니다.U 로 회전 (C = W U)keep_ratio 좌표를 동결q_proj, k_proj, v_proj, up_proj, down_proj / 전체 32개 layer / per-layer 중요도.| base model | kmseong/llama2_7b-chat-Safety-FT-lr5e-5 |
| downstream data | gsm8k (7473 samples) |
| epochs / lr | 3 / 5e-05 |
| batch x grad_accum | 2 x 8 (effective 16) |
| optimizer / scheduler | adamw_torch / cosine |
| frozen safety coefficients | 451,927,702 / 4,496,293,888 (10.05%) |
| train wall-clock | 1977 s |
| train peak VRAM (device) | 96.47 GB |