You can deploy this model and start earning money today!

alinerodrigues/
wav2vec2-large-xlsr-grosman-1b-texts-exp-1-v3

Name: wav2vec2-large-xlsr-grosman-1b-texts-exp-1-v3
Availability: InStock

pytorch

wav2vec2

generated_from_trainer

apache-2.0

Views

No views yet

wav2vec2-large-xlsr-grosman-1b-texts-exp-1-v3

This model is a fine-tuned version of jonatasgrosman/wav2vec2-xls-r-1b-portuguese on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.2678
Wer: 0.1897
Cer: 0.1207
Per: 0.1386

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 3e-05
train_batch_size: 16
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 32
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 200
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer	Per
29.4185	1.0	64	2.1341	0.9878	0.8029	0.7790
3.562	2.0	128	0.3674	0.2562	0.1429	0.1600
3.562	3.0	192	0.3516	0.2316	0.1362	0.1537
0.3734	4.0	256	0.3382	0.2234	0.1342	0.1516
0.2666	5.0	320	0.2866	0.2052	0.1261	0.1439
0.2666	6.0	384	0.2912	0.2092	0.1270	0.1449
0.2217	7.0	448	0.3037	0.2043	0.1266	0.1445
0.2288	8.0	512	0.3175	0.2084	0.1295	0.1471
0.2288	9.0	576	0.2874	0.2019	0.1248	0.1420
0.1756	10.0	640	0.2736	0.1983	0.1247	0.1424
0.1606	11.0	704	0.2852	0.2015	0.1250	0.1417
0.1606	12.0	768	0.2888	0.2024	0.1250	0.1425
0.1638	13.0	832	0.2882	0.1969	0.1245	0.1424
0.1638	14.0	896	0.2721	0.1992	0.1235	0.1415
0.1421	15.0	960	0.2724	0.1945	0.1226	0.1398
0.1284	16.0	1024	0.2723	0.1937	0.1211	0.1384
0.1284	17.0	1088	0.2859	0.2019	0.1248	0.1420
0.1274	18.0	1152	0.2838	0.1895	0.1229	0.1408
0.1174	19.0	1216	0.2750	0.1916	0.1210	0.1380
0.1174	20.0	1280	0.2913	0.1894	0.1212	0.1394
0.1231	21.0	1344	0.3046	0.1962	0.1225	0.1389
0.1144	22.0	1408	0.2678	0.1897	0.1207	0.1386
0.1144	23.0	1472	0.2871	0.1894	0.1217	0.1389
0.096	24.0	1536	0.2845	0.1913	0.1211	0.1394
0.1203	25.0	1600	0.2834	0.1940	0.1223	0.1405
0.1203	26.0	1664	0.2916	0.1908	0.1215	0.1390
0.1021	27.0	1728	0.3016	0.1917	0.1219	0.1397
0.1021	28.0	1792	0.3100	0.1962	0.1238	0.1414
0.0822	29.0	1856	0.2923	0.1911	0.1220	0.1389
0.0989	30.0	1920	0.3031	0.1940	0.1224	0.1398
0.0989	31.0	1984	0.3362	0.1952	0.1243	0.1420
0.0852	32.0	2048	0.3159	0.1888	0.1223	0.1394
0.0786	33.0	2112	0.3370	0.1902	0.1224	0.1406
0.0786	34.0	2176	0.3250	0.1880	0.1225	0.1404
0.0739	35.0	2240	0.3226	0.1917	0.1224	0.1397
0.0701	36.0	2304	0.3128	0.1908	0.1210	0.1388
0.0701	37.0	2368	0.3081	0.1868	0.1215	0.1394
0.0806	38.0	2432	0.2981	0.1864	0.1198	0.1377
0.0806	39.0	2496	0.3205	0.1904	0.1216	0.1388
0.0655	40.0	2560	0.3204	0.1911	0.1206	0.1383
0.0741	41.0	2624	0.3082	0.1883	0.1207	0.1383
0.0741	42.0	2688	0.3374	0.1956	0.1236	0.1413

Framework versions

Transformers 4.28.0
Pytorch 2.6.0+cu124
Datasets 3.6.0
Tokenizers 0.13.3

alinerodrigues/wav2vec2-large-xlsr-grosman-1b-texts-exp-1-v3

wav2vec2-large-xlsr-grosman-1b-texts-exp-1-v3

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

alinerodrigues/
wav2vec2-large-xlsr-grosman-1b-texts-exp-1-v3