Views
No views yet

<|im_start|>system
You are Dolphin, a helpful AI assistant.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

0.4.01base_model: Qwen/Qwen2-72B
2model_type: AutoModelForCausalLM
3tokenizer_type: AutoTokenizer
4
5trust_remote_code: true
6
7# load_in_8bit: true
8# load_in_4bit: false
9# strict: false
10
11datasets:
12 - path: /workspace/datasets/dolphin-2.9.2/dolphin201-sharegpt2.jsonl
13 type: sharegpt
14 conversation: chatml
15 - path: /workspace/datasets/dolphin-2.9.2/dolphin-coder-codegen-sharegpt2.jsonl
16 type: sharegpt
17 conversation: chatml
18 - path: /workspace/datasets/dolphin-2.9.2/dolphin-coder-translate-sharegpt2.jsonl
19 type: sharegpt
20 conversation: chatml
21 - path: /workspace/datasets/dolphin-2.9.2/m-a-p_Code-Feedback-sharegpt-unfiltered.jsonl
22 type: sharegpt
23 conversation: chatml
24 - path: /workspace/datasets/dolphin-2.9.2/m-a-p_CodeFeedback-Filtered-Instruction-sharegpt-unfiltered.jsonl
25 type: sharegpt
26 conversation: chatml
27 - path: /workspace/datasets/dolphin-2.9.2/not_samantha_norefusals.jsonl
28 type: sharegpt
29 conversation: chatml
30 - path: /workspace/datasets/dolphin-2.9.2/openhermes200k_unfiltered.jsonl
31 type: sharegpt
32 conversation: chatml
33 - path: /workspace/datasets/dolphin-2.9.2/Orca-Math-resort-unfiltered.jsonl
34 type: sharegpt
35 conversation: chatml
36 - path: /workspace/datasets/dolphin-2.9.2/SystemChat_sharegpt.jsonl
37 type: sharegpt
38 conversation: chatml
39 - path: /workspace/datasets/dolphin-2.9.2/toolbench_instruct_j1s1_3k_unfiltered.jsonl
40 type: sharegpt
41 conversation: chatml
42 - path: /workspace/datasets/dolphin-2.9.2/toolbench_negative_unfiltered.jsonl
43 type: sharegpt
44 conversation: chatml
45 - path: /workspace/datasets/dolphin-2.9.2/toolbench_react_10p_unfiltered.jsonl
46 type: sharegpt
47 conversation: chatml
48 - path: /workspace/datasets/dolphin-2.9.2/toolbench_tflan_cot_30p_unfiltered.jsonl
49 type: sharegpt
50 conversation: chatml
51 - path: /workspace/datasets/dolphin-2.9.2/agent_instruct_react_unfiltered.jsonl
52 type: sharegpt
53 conversation: chatml
54
55unfrozen_parameters:
56- ^lm_head.weight$
57- ^model.embed_tokens.weight$
58# mlp.down_proj layers
59- model.layers.62.mlp.down_proj
60- model.layers.63.mlp.down_proj
61- model.layers.66.mlp.down_proj
62- model.layers.65.mlp.down_proj
63- model.layers.64.mlp.down_proj
64- model.layers.67.mlp.down_proj
65- model.layers.68.mlp.down_proj
66- model.layers.60.mlp.down_proj
67- model.layers.31.mlp.down_proj
68- model.layers.69.mlp.down_proj
69- model.layers.61.mlp.down_proj
70- model.layers.59.mlp.down_proj
71- model.layers.70.mlp.down_proj
72- model.layers.30.mlp.down_proj
73- model.layers.76.mlp.down_proj
74- model.layers.72.mlp.down_proj
75- model.layers.77.mlp.down_proj
76- model.layers.71.mlp.down_proj
77- model.layers.29.mlp.down_proj
78- model.layers.58.mlp.down_proj
79- model.layers.75.mlp.down_proj
80- model.layers.32.mlp.down_proj
81- model.layers.56.mlp.down_proj
82- model.layers.28.mlp.down_proj
83- model.layers.26.mlp.down_proj
84- model.layers.33.mlp.down_proj
85- model.layers.34.mlp.down_proj
86- model.layers.57.mlp.down_proj
87- model.layers.27.mlp.down_proj
88- model.layers.25.mlp.down_proj
89- model.layers.35.mlp.down_proj
90- model.layers.73.mlp.down_proj
91- model.layers.24.mlp.down_proj
92- model.layers.78.mlp.down_proj
93- model.layers.74.mlp.down_proj
94- model.layers.54.mlp.down_proj
95# mlp.gate_proj layers
96- model.layers.78.mlp.gate_proj
97- model.layers.77.mlp.gate_proj
98- model.layers.76.mlp.gate_proj
99- model.layers.79.mlp.gate_proj
100- model.layers.75.mlp.gate_proj
101- model.layers.74.mlp.gate_proj
102- model.layers.73.mlp.gate_proj
103- model.layers.70.mlp.gate_proj
104- model.layers.72.mlp.gate_proj
105- model.layers.71.mlp.gate_proj
106- model.layers.69.mlp.gate_proj
107- model.layers.54.mlp.gate_proj
108- model.layers.68.mlp.gate_proj
109- model.layers.57.mlp.gate_proj
110- model.layers.63.mlp.gate_proj
111- model.layers.49.mlp.gate_proj
112- model.layers.55.mlp.gate_proj
113- model.layers.53.mlp.gate_proj
114- model.layers.44.mlp.gate_proj
115- model.layers.46.mlp.gate_proj
116- model.layers.67.mlp.gate_proj
117- model.layers.58.mlp.gate_proj
118- model.layers.56.mlp.gate_proj
119- model.layers.45.mlp.gate_proj
120- model.layers.50.mlp.gate_proj
121- model.layers.62.mlp.gate_proj
122- model.layers.64.mlp.gate_proj
123- model.layers.48.mlp.gate_proj
124- model.layers.66.mlp.gate_proj
125- model.layers.52.mlp.gate_proj
126- model.layers.40.mlp.gate_proj
127- model.layers.47.mlp.gate_proj
128- model.layers.43.mlp.gate_proj
129- model.layers.65.mlp.gate_proj
130- model.layers.61.mlp.gate_proj
131- model.layers.59.mlp.gate_proj
132# mlp.up_proj layers
133- model.layers.69.mlp.up_proj
134- model.layers.70.mlp.up_proj
135- model.layers.71.mlp.up_proj
136- model.layers.68.mlp.up_proj
137- model.layers.67.mlp.up_proj
138- model.layers.66.mlp.up_proj
139- model.layers.46.mlp.up_proj
140- model.layers.63.mlp.up_proj
141- model.layers.72.mlp.up_proj
142- model.layers.64.mlp.up_proj
143- model.layers.62.mlp.up_proj
144- model.layers.45.mlp.up_proj
145- model.layers.65.mlp.up_proj
146- model.layers.73.mlp.up_proj
147- model.layers.47.mlp.up_proj
148- model.layers.44.mlp.up_proj
149- model.layers.49.mlp.up_proj
150- model.layers.48.mlp.up_proj
151- model.layers.53.mlp.up_proj
152- model.layers.74.mlp.up_proj
153- model.layers.75.mlp.up_proj
154- model.layers.57.mlp.up_proj
155- model.layers.76.mlp.up_proj
156- model.layers.43.mlp.up_proj
157- model.layers.42.mlp.up_proj
158- model.layers.61.mlp.up_proj
159- model.layers.40.mlp.up_proj
160- model.layers.56.mlp.up_proj
161- model.layers.60.mlp.up_proj
162- model.layers.31.mlp.up_proj
163- model.layers.54.mlp.up_proj
164- model.layers.55.mlp.up_proj
165- model.layers.32.mlp.up_proj
166- model.layers.41.mlp.up_proj
167- model.layers.33.mlp.up_proj
168- model.layers.58.mlp.up_proj
169# self_attn.k_proj layers
170- model.layers.79.self_attn.k_proj
171- model.layers.36.self_attn.k_proj
172- model.layers.35.self_attn.k_proj
173- model.layers.74.self_attn.k_proj
174- model.layers.34.self_attn.k_proj
175- model.layers.78.self_attn.k_proj
176- model.layers.77.self_attn.k_proj
177- model.layers.37.self_attn.k_proj
178- model.layers.39.self_attn.k_proj
179- model.layers.41.self_attn.k_proj
180- model.layers.38.self_attn.k_proj
181- model.layers.33.self_attn.k_proj
182- model.layers.69.self_attn.k_proj
183- model.layers.42.self_attn.k_proj
184- model.layers.32.self_attn.k_proj
185- model.layers.25.self_attn.k_proj
186- model.layers.70.self_attn.k_proj
187- model.layers.22.self_attn.k_proj
188- model.layers.63.self_attn.k_proj
189- model.layers.29.self_attn.k_proj
190- model.layers.68.self_attn.k_proj
191- model.layers.24.self_attn.k_proj
192- model.layers.30.self_attn.k_proj
193- model.layers.66.self_attn.k_proj
194- model.layers.31.self_attn.k_proj
195- model.layers.23.self_attn.k_proj
196- model.layers.65.self_attn.k_proj
197- model.layers.57.self_attn.k_proj
198- model.layers.28.self_attn.k_proj
199- model.layers.64.self_attn.k_proj
200- model.layers.44.self_attn.k_proj
201- model.layers.27.self_attn.k_proj
202- model.layers.75.self_attn.k_proj
203- model.layers.40.self_attn.k_proj
204- model.layers.26.self_attn.k_proj
205- model.layers.61.self_attn.k_proj
206# self_attn.o_proj layers
207- model.layers.14.self_attn.o_proj
208- model.layers.39.self_attn.o_proj
209- model.layers.19.self_attn.o_proj
210- model.layers.16.self_attn.o_proj
211- model.layers.17.self_attn.o_proj
212- model.layers.15.self_attn.o_proj
213- model.layers.69.self_attn.o_proj
214- model.layers.12.self_attn.o_proj
215- model.layers.42.self_attn.o_proj
216- model.layers.23.self_attn.o_proj
217- model.layers.22.self_attn.o_proj
218- model.layers.29.self_attn.o_proj
219- model.layers.13.self_attn.o_proj
220- model.layers.46.self_attn.o_proj
221- model.layers.52.self_attn.o_proj
222- model.layers.26.self_attn.o_proj
223- model.layers.38.self_attn.o_proj
224- model.layers.41.self_attn.o_proj
225- model.layers.18.self_attn.o_proj
226- model.layers.49.self_attn.o_proj
227- model.layers.11.self_attn.o_proj
228- model.layers.28.self_attn.o_proj
229- model.layers.25.self_attn.o_proj
230- model.layers.47.self_attn.o_proj
231- model.layers.53.self_attn.o_proj
232- model.layers.27.self_attn.o_proj
233- model.layers.37.self_attn.o_proj
234- model.layers.20.self_attn.o_proj
235- model.layers.43.self_attn.o_proj
236- model.layers.44.self_attn.o_proj
237- model.layers.45.self_attn.o_proj
238- model.layers.30.self_attn.o_proj
239- model.layers.24.self_attn.o_proj
240- model.layers.21.self_attn.o_proj
241- model.layers.10.self_attn.o_proj
242- model.layers.3.self_attn.o_proj
243# self_attn.q_proj layers
244- model.layers.1.self_attn.q_proj
245- model.layers.2.self_attn.q_proj
246- model.layers.3.self_attn.q_proj
247- model.layers.5.self_attn.q_proj
248- model.layers.4.self_attn.q_proj
249- model.layers.0.self_attn.q_proj
250- model.layers.6.self_attn.q_proj
251- model.layers.8.self_attn.q_proj
252- model.layers.7.self_attn.q_proj
253- model.layers.9.self_attn.q_proj
254- model.layers.10.self_attn.q_proj
255- model.layers.12.self_attn.q_proj
256- model.layers.19.self_attn.q_proj
257- model.layers.18.self_attn.q_proj
258- model.layers.25.self_attn.q_proj
259- model.layers.11.self_attn.q_proj
260- model.layers.15.self_attn.q_proj
261- model.layers.61.self_attn.q_proj
262- model.layers.17.self_attn.q_proj
263- model.layers.55.self_attn.q_proj
264- model.layers.54.self_attn.q_proj
265- model.layers.16.self_attn.q_proj
266- model.layers.68.self_attn.q_proj
267- model.layers.49.self_attn.q_proj
268- model.layers.48.self_attn.q_proj
269- model.layers.52.self_attn.q_proj
270- model.layers.13.self_attn.q_proj
271- model.layers.42.self_attn.q_proj
272- model.layers.57.self_attn.q_proj
273- model.layers.60.self_attn.q_proj
274- model.layers.53.self_attn.q_proj
275- model.layers.64.self_attn.q_proj
276- model.layers.66.self_attn.q_proj
277- model.layers.62.self_attn.q_proj
278- model.layers.59.self_attn.q_proj
279- model.layers.50.self_attn.q_proj
280# self_attn.v_proj layers
281- model.layers.15.self_attn.v_proj
282- model.layers.16.self_attn.v_proj
283- model.layers.23.self_attn.v_proj
284- model.layers.24.self_attn.v_proj
285- model.layers.25.self_attn.v_proj
286- model.layers.26.self_attn.v_proj
287- model.layers.27.self_attn.v_proj
288- model.layers.28.self_attn.v_proj
289- model.layers.29.self_attn.v_proj
290- model.layers.30.self_attn.v_proj
291- model.layers.31.self_attn.v_proj
292- model.layers.32.self_attn.v_proj
293- model.layers.33.self_attn.v_proj
294- model.layers.34.self_attn.v_proj
295- model.layers.35.self_attn.v_proj
296- model.layers.36.self_attn.v_proj
297- model.layers.37.self_attn.v_proj
298- model.layers.38.self_attn.v_proj
299- model.layers.39.self_attn.v_proj
300- model.layers.41.self_attn.v_proj
301- model.layers.42.self_attn.v_proj
302- model.layers.48.self_attn.v_proj
303- model.layers.53.self_attn.v_proj
304- model.layers.57.self_attn.v_proj
305- model.layers.58.self_attn.v_proj
306- model.layers.59.self_attn.v_proj
307- model.layers.61.self_attn.v_proj
308- model.layers.63.self_attn.v_proj
309- model.layers.64.self_attn.v_proj
310- model.layers.65.self_attn.v_proj
311- model.layers.66.self_attn.v_proj
312- model.layers.69.self_attn.v_proj
313- model.layers.74.self_attn.v_proj
314- model.layers.75.self_attn.v_proj
315- model.layers.76.self_attn.v_proj
316- model.layers.72.self_attn.v_proj
317
318
319chat_template: chatml
320dataset_prepared_path: qwen2-72b-data
321val_set_size: 0.01
322output_dir: qwen2-72b
323
324sequence_len: 8192 # supports up to 8192
325sample_packing: true
326pad_to_sequence_len: true
327
328# adapter: lora
329# lora_model_dir:
330# lora_r: 32
331# lora_alpha: 16
332# lora_dropout: 0.05
333# lora_target_linear: true
334# lora_fan_in_fan_out:
335
336wandb_project: qwen2-72b
337wandb_entity:
338wandb_watch:
339wandb_name:
340wandb_log_model:
341
342gradient_accumulation_steps: 8
343micro_batch_size: 1
344num_epochs: 3
345optimizer: paged_adamw_8bit
346lr_scheduler: cosine
347learning_rate: 1e-5
348
349train_on_inputs: false
350group_by_length: false
351bf16: auto
352fp16:
353tf32: false
354
355gradient_checkpointing: true
356early_stopping_patience:
357resume_from_checkpoint:
358local_rank:
359logging_steps: 1
360xformers_attention:
361flash_attention: true
362
363warmup_steps: 10
364evals_per_epoch: 2
365eval_table_size:
366eval_max_new_tokens: 128
367saves_per_epoch: 4
368save_total_limit: 2
369debug:
370deepspeed: /workspace/axolotl/deepspeed_configs/zero3_bf16_cpuoffload_params.json
371weight_decay: 0.05
372fsdp:
373fsdp_config:
374special_tokens:
375 pad_token: "<|endoftext|>"
376 eos_token: "<|im_end|>"
377| Metric | Value |
|---|---|
| Avg. | 32.00 |
| IFEval (0-Shot) | 40.38 |
| BBH (3-Shot) | 47.70 |
| MATH Lvl 5 (4-Shot) | 21.37 |
| GPQA (0-shot) | 16.00 |
| MuSR (0-shot) | 17.04 |
| MMLU-PRO (5-shot) | 49.52 |