Views
No views yet
{
"instruction,output": "Alla on ohje, jossa kuvataan tehtävä. Kirjoita vastaus, joka täyttää pyynnön asianmukaisesti.\n\n### Instruction:\n%instruction%\n\n### Response:\n%output%",
"instruction,input,output": "Alla on ohje, jossa kuvataan tehtävä ja joka on yhdistetty kontekstia lisäävään syötteeseen. Kirjoita vastaus, joka täyttää pyynnön asianmukaisesti.\n\n### Instruction:\n%instruction%\n\n### Input:\n%input%\n\n### Response:\n%output%"
}
1{
2 "lora_name": "Capybara-Finnish-V1_3",
3 "always_override": false,
4 "q_proj_en": true,
5 "v_proj_en": true,
6 "k_proj_en": false,
7 "o_proj_en": false,
8 "gate_proj_en": false,
9 "down_proj_en": false,
10 "up_proj_en": false,
11 "save_steps": 250.0,
12 "micro_batch_size": 4,
13 "batch_size": 128,
14 "epochs": 3.0,
15 "learning_rate": "3e-4",
16 "lr_scheduler_type": "linear",
17 "lora_rank": 384,
18 "lora_alpha": 768,
19 "lora_dropout": 0.05,
20 "cutoff_len": 512,
21 "dataset": "capybara_finnish_v1.1",
22 "eval_dataset": "None",
23 "format": "alpaca-format-finnish",
24 "eval_steps": 100.0,
25 "raw_text_file": "None",
26 "overlap_len": 128,
27 "newline_favor_len": 128,
28 "higher_rank_limit": false,
29 "warmup_steps": 100.0,
30 "optimizer": "adamw_torch",
31 "hard_cut_string": "\\n\\n\\n",
32 "train_only_after": "",
33 "stop_at_loss": 0,
34 "add_eos_token": false,
35 "min_chars": 0.0,
36 "report_to": "None"
37}