stillerman/

santacoder-ruby

train.py --model_path=bigcode/santacoder --dataset_name=bigcode/the-stack-dedup \
  --subset=data/ruby --data_column content --split=train \
  --seq_length 2048 --max_steps 4000 --batch_size 3 \
  --gradient_accumulation_steps 8 --learning_rate 5e-5 \
  --num_warmup_steps 500 --eval_freq 1000 --save_freq 1000 \
  --log_freq 1 --num_workers=12 --no_fp16 --streaming \
  --fim_rate=0.5 --fim_spm_rate=0.5