learning_rate: 5e-05
train_batch_size: 2
eval_batch_size: 2
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 8
optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
training_steps: 60000
mixed_precision_training: Native AMP

Training Loss	Epoch	Step	Validation Loss	Wer
0.9895	0.1439	2000	0.8051	0.4624
0.8084	0.2878	4000	0.6416	0.3877
0.6948	0.4317	6000	0.5950	0.3660
0.6599	0.5756	8000	0.5228	0.3330
0.564	0.7195	10000	0.4980	0.3001
0.5112	0.8634	12000	0.4413	0.2928
0.4827	1.0073	14000	0.3999	0.2646
0.4198	1.1512	16000	0.3734	0.2438
0.3831	1.2951	18000	0.3779	0.2365
0.3699	1.4390	20000	0.3223	0.2144
0.34	1.5828	22000	0.3074	0.1973
0.3157	1.7267	24000	0.2809	0.1922
0.3041	1.8706	26000	0.2538	0.1751
0.2642	2.0145	28000	0.2620	0.1687
0.2296	2.1584	30000	0.2355	0.1521
0.2099	2.3023	32000	0.2279	0.1454
0.2037	2.4462	34000	0.2235	0.1405
0.1905	2.5901	36000	0.1988	0.1244
0.1876	2.7340	38000	0.1919	0.1227
0.1739	2.8779	40000	0.1865	0.1153
0.1387	3.0218	42000	0.1831	0.1077
0.1261	3.1657	44000	0.1760	0.1007
0.1146	3.3096	46000	0.1597	0.0945
0.1142	3.4535	48000	0.1602	0.0936
0.0998	3.5974	50000	0.1472	0.0861
0.102	3.7413	52000	0.1413	0.0823
0.0985	3.8852	54000	0.1376	0.0783
0.08	4.0291	56000	0.1338	0.0765
0.072	4.1730	58000	0.1319	0.0743
0.0677	4.3169	60000	0.1299	0.0737

cdactvm/w2v-bert-hindi_voip

w2v-bert-hindi_voip