python src/train_bash.py
--stage sft --model_name_or_path F:/models/Skywork-13B-Base-8bit
--do_train True --finetuning_type lora
--template alpaca --flash_attn False
--shift_attn False --dataset_dir data
--dataset CoT_Chinese_data,CoT_EN_data
--cutoff_len 1024 --learning_rate 5e-05
--num_train_epochs 1.0
--max_samples 100000
--per_device_train_batch_size 2
--gradient_accumulation_steps 4
--lr_scheduler_type cosine
--max_grad_norm 1.0
--logging_steps 5
--save_steps 500
--warmup_steps 0
--neft_alpha 0
--train_on_prompt False
--upcast_layernorm False
--lora_rank 32
--lora_alpha 16
--lora_dropout 0.05
--lora_target down_proj,up_proj,o_proj,gate_proj,k_proj,q_proj,v_proj
--resume_lora_training True
--output_dir saves\Skywork-13B-Base\lora\2023-11-28-23-58-24
--fp16 True
--plot_loss True
