learning_rate: 1e-05
train_batch_size: 1
eval_batch_size: 1
seed: 42
distributed_type: multi-GPU
num_devices: 4
total_train_batch_size: 4
total_eval_batch_size: 4
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: cosine
num_epochs: 1

Training results

Training Loss	Epoch	Step	Validation Loss
0.2769	0.0137	100	0.2641
0.2417	0.0274	200	0.2440
0.191	0.0410	300	0.2346
0.2466	0.0547	400	0.2327
0.2261	0.0684	500	0.2279
0.2394	0.0821	600	0.2231
0.228	0.0958	700	0.2237
0.1909	0.1094	800	0.2225
0.2277	0.1231	900	0.2201
0.2108	0.1368	1000	0.2182
0.1904	0.1505	1100	0.2172
0.2012	0.1642	1200	0.2130
0.2042	0.1778	1300	0.2143
0.2516	0.1915	1400	0.2161
0.2591	0.2052	1500	0.2122
0.2037	0.2189	1600	0.2097
0.2319	0.2326	1700	0.2108
0.2162	0.2462	1800	0.2093
0.2157	0.2599	1900	0.2022
0.2117	0.2736	2000	0.2046
0.2004	0.2873	2100	0.2018
0.2174	0.3010	2200	0.2039
0.2266	0.3146	2300	0.2030
0.2164	0.3283	2400	0.2006
0.211	0.3420	2500	0.1958
0.2614	0.3557	2600	0.1964
0.193	0.3694	2700	0.1935
0.1974	0.3830	2800	0.1949
0.206	0.3967	2900	0.1953
0.2133	0.4104	3000	0.1925
0.2151	0.4241	3100	0.1928
0.1837	0.4378	3200	0.1912
0.1663	0.4514	3300	0.1882
0.2099	0.4651	3400	0.1903
0.2328	0.4788	3500	0.1898
0.1812	0.4925	3600	0.1867
0.1645	0.5062	3700	0.1866
0.2001	0.5198	3800	0.1859
0.1751	0.5335	3900	0.1841
0.1873	0.5472	4000	0.1833
0.1578	0.5609	4100	0.1833
0.1765	0.5746	4200	0.1814
0.2	0.5882	4300	0.1819
0.1796	0.6019	4400	0.1820
0.1925	0.6156	4500	0.1808
0.183	0.6293	4600	0.1786
0.2281	0.6430	4700	0.1792
0.1815	0.6566	4800	0.1780
0.2287	0.6703	4900	0.1781
0.1469	0.6840	5000	0.1774
0.19	0.6977	5100	0.1769
0.2257	0.7114	5200	0.1765
0.2059	0.7250	5300	0.1757
0.1917	0.7387	5400	0.1759
0.1715	0.7524	5500	0.1753
0.173	0.7661	5600	0.1738
0.1404	0.7798	5700	0.1741
0.1819	0.7934	5800	0.1735
0.144	0.8071	5900	0.1731
0.1597	0.8208	6000	0.1729
0.2092	0.8345	6100	0.1731
0.1837	0.8482	6200	0.1726
0.1839	0.8618	6300	0.1723
0.1997	0.8755	6400	0.1725
0.1485	0.8892	6500	0.1723
0.1837	0.9029	6600	0.1721
0.1809	0.9166	6700	0.1720
0.1512	0.9302	6800	0.1720
0.1755	0.9439	6900	0.1721
0.183	0.9576	7000	0.1720
0.1727	0.9713	7100	0.1719
0.1811	0.9850	7200	0.1718
0.2091	0.9986	7300	0.1718

Framework versions

Transformers 4.46.1
Pytorch 2.4.0+cu121
Datasets 3.1.0
Tokenizers 0.20.3

cutelemonlili/Qwen-7B-2and3_apps_30k_v6

2and3_apps_30k_v6

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

cutelemonlili/
Qwen-7B-2and3_apps_30k_v6