Views
No views yet
llm-jp-3-13b-finetune-kaziemanはllm.jpの13BのモデルをLoRAを使ってFine Tuningしたモデルになります。
FT時のパラメータは以下で、サンプル提供のものから変更はありません（書式だけ変更)peft_config = LoraConfig(
r=16,
lora_alpha=32,
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM",
target_modules=modules,
)
sftconfig = SFTConfig (
max_seq_length=512,
dataset_text_field="formatted_text",
packing= False,
output_dir=new_model_id,
per_device_train_batch_size=1,
gradient_accumulation_steps=2,
optim="paged_adamw_32bit",
num_train_epochs=1,
logging_strategy="steps",
logging_steps=10,
warmup_steps=10,
save_steps=100,
save_total_limit = 2,
max_steps = -1,
learning_rate=5e-5,
fp16=False,
bf16=False,
seed = 3407,
group_by_length=True,
report_to="none"
)
trainer = SFTTrainer(
model=model,
train_dataset=dataset["train"],
peft_config=peft_config,
tokenizer=tokenizer,
args=sftconfig,
)以下の質問について、段階的に考えながら最終的な結論を出してください。途中経過を一つ一つ説明し、すべてのステップを明確に記述してください。\n質問 : \n