Views
No views yet
kmseong/llama2_7b-chat-Safety-FT-lr5e-5 를 시작점으로, WaRP(Weight space Rotation Process) 재파라미터화 공간에서
안전 관련 계수 방향을 동결한 채 sst2 로 downstream fine-tuning 한 모델입니다.U 로 회전 (C = W U)keep_ratio 좌표를 동결q_proj, k_proj, v_proj, up_proj, down_proj / 전체 32개 layer / per-layer 중요도.| base model | kmseong/llama2_7b-chat-Safety-FT-lr5e-5 |
| downstream data | sst2 (8000 samples) |
| epochs / lr | 3 / 3e-06 |
| batch x grad_accum | 2 x 8 (effective 16) |
| optimizer / scheduler | adamw_torch / cosine |
| coordinate space | - |
| frozen safety coefficients | - |
| train wall-clock | - s |
| train peak VRAM (device) | - GB |