optimizer: {'name': 'AdamWeightDecay', 'learning_rate': 2e-05, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False, 'weight_decay_rate': 0.01}
training_precision: float32

Training results

Train Loss	Validation Loss	Epoch
3.1520	2.2150	0
2.3513	1.6796	1
1.9192	1.3504	2
1.6169	1.1077	3
1.4101	0.9114	4
1.2316	0.7517	5
1.0950	0.6349	6
0.9678	0.5294	7
0.8521	0.4460	8
0.7654	0.3729	9
0.6812	0.3165	10
0.6063	0.2677	11
0.5479	0.2234	12
0.4967	0.1922	13
0.4496	0.1681	14
0.4149	0.1439	15
0.3829	0.1280	16
0.3485	0.1158	17
0.3271	0.1004	18
0.2971	0.0895	19
0.2780	0.0799	20
0.2624	0.0734	21
0.2449	0.0662	22
0.2287	0.0626	23
0.2151	0.0559	24
0.2032	0.0525	25
0.1957	0.0492	26
0.1816	0.0466	27
0.1701	0.0432	28
0.1606	0.0418	29
0.1589	0.0398	30
0.1527	0.0370	31
0.1416	0.0340	32
0.1332	0.0344	33
0.1310	0.0318	34
0.1241	0.0304	35
0.1161	0.0295	36
0.1143	0.0281	37
0.1093	0.0271	38
0.1025	0.0272	39
0.0988	0.0258	40
0.0969	0.0247	41
0.0945	0.0239	42
0.0904	0.0232	43
0.0844	0.0227	44
0.0838	0.0224	45
0.0831	0.0216	46
0.0793	0.0210	47
0.0754	0.0206	48
0.0715	0.0204	49
0.0693	0.0195	50
0.0692	0.0187	51
0.0650	0.0183	52
0.0650	0.0178	53
0.0615	0.0173	54
0.0590	0.0171	55
0.0596	0.0165	56
0.0566	0.0162	57
0.0552	0.0159	58
0.0547	0.0153	59
0.0527	0.0149	60
0.0501	0.0147	61
0.0461	0.0142	62
0.0462	0.0141	63
0.0488	0.0137	64
0.0451	0.0135	65
0.0449	0.0131	66
0.0423	0.0134	67
0.0403	0.0127	68
0.0392	0.0122	69
0.0393	0.0119	70
0.0384	0.0117	71
0.0359	0.0117	72
0.0338	0.0111	73
0.0352	0.0111	74
0.0355	0.0108	75
0.0346	0.0106	76
0.0335	0.0102	77
0.0309	0.0095	78
0.0310	0.0094	79
0.0288	0.0092	80
0.0282	0.0093	81
0.0275	0.0089	82
0.0275	0.0084	83
0.0276	0.0082	84
0.0257	0.0079	85
0.0257	0.0078	86
0.0252	0.0071	87
0.0244	0.0070	88
0.0237	0.0072	89
0.0223	0.0063	90
0.0225	0.0059	91
0.0222	0.0061	92
0.0220	0.0057	93
0.0193	0.0054	94
0.0199	0.0053	95
0.0205	0.0046	96
0.0179	0.0043	97
0.0184	0.0048	98
0.0180	0.0043	99
0.0180	0.0037	100
0.0173	0.0037	101
0.0158	0.0036	102
0.0165	0.0032	103
0.0161	0.0034	104
0.0153	0.0030	105
0.0151	0.0026	106
0.0142	0.0021	107
0.0161	0.0019	108
0.0141	0.0018	109
0.0132	0.0018	110
0.0120	0.0015	111
0.0130	0.0011	112
0.0119	0.0012	113
0.0115	0.0011	114
0.0118	0.0009	115
0.0114	0.0008	116
0.0110	0.0006	117
0.0110	0.0006	118
0.0091	0.0006	119
0.0102	0.0005	120
0.0097	0.0005	121
0.0093	0.0004	122
0.0092	0.0003	123
0.0082	0.0003	124
0.0092	0.0002	125
0.0083	0.0002	126
0.0079	0.0002	127
0.0084	0.0002	128
0.0085	0.0002	129
0.0081	0.0001	130
0.0073	0.0001	131
0.0068	0.0001	132
0.0070	0.0001	133
0.0069	0.0001	134
0.0071	0.0001	135
0.0059	0.0001	136
0.0077	0.0001	137
0.0071	0.0001	138
0.0059	0.0000	139
0.0062	0.0000	140
0.0059	0.0000	141
0.0053	0.0000	142
0.0057	0.0000	143
0.0056	0.0000	144
0.0052	0.0000	145
0.0051	0.0000	146
0.0054	0.0000	147
0.0050	0.0000	148
0.0045	0.0000	149
0.0049	0.0000	150
0.0050	0.0000	151
0.0043	0.0000	152
0.0048	0.0000	153
0.0047	0.0000	154
0.0041	0.0000	155
0.0043	0.0000	156
0.0041	0.0000	157
0.0041	0.0000	158
0.0049	0.0000	159
0.0039	0.0000	160
0.0037	0.0000	161
0.0033	0.0000	162
0.0038	0.0000	163
0.0042	0.0000	164
0.0040	0.0000	165
0.0032	0.0000	166
0.0036	0.0000	167
0.0031	0.0000	168
0.0033	0.0000	169
0.0032	0.0000	170
0.0032	0.0000	171
0.0032	0.0000	172
0.0027	0.0000	173
0.0032	0.0000	174
0.0033	0.0000	175
0.0031	0.0000	176
0.0026	0.0000	177
0.0024	0.0000	178
0.0028	0.0000	179
0.0027	0.0000	180
0.0026	0.0000	181
0.0026	0.0000	182
0.0026	0.0000	183
0.0023	0.0000	184
0.0025	0.0000	185
0.0020	0.0000	186
0.0030	0.0000	187
0.0030	0.0000	188
0.0023	0.0000	189
0.0028	0.0000	190
0.0027	0.0000	191
0.0018	0.0000	192
0.0021	0.0000	193
0.0020	0.0000	194
0.0015	0.0000	195
0.0022	0.0000	196
0.0022	0.0000	197
0.0017	0.0000	198
0.0018	0.0000	199
0.0020	0.0000	200
0.0016	0.0000	201
0.0018	0.0000	202
0.0017	0.0000	203
0.0018	0.0000	204
0.0022	0.0000	205
0.0015	0.0000	206
0.0016	0.0000	207
0.0015	0.0000	208
0.0014	0.0000	209
0.0020	0.0000	210
0.0019	0.0000	211
0.0013	0.0000	212
0.0023	0.0000	213
0.0015	0.0000	214
0.0013	0.0000	215
0.0022	0.0000	216
0.0019	0.0000	217
0.0013	0.0000	218
0.0016	0.0000	219
0.0018	0.0000	220
0.0014	0.0000	221
0.0018	0.0000	222
0.0014	0.0000	223
0.0019	0.0000	224
0.0011	0.0000	225
0.0013	0.0000	226
0.0012	0.0000	227
0.0014	0.0000	228
0.0013	0.0000	229
0.0016	0.0000	230
0.0015	0.0000	231
0.0018	0.0000	232
0.0015	0.0000	233
0.0016	0.0000	234
0.0015	0.0000	235
0.0017	0.0000	236
0.0011	0.0000	237
0.0011	0.0000	238
0.0009	0.0000	239
0.0011	0.0000	240
0.0012	0.0000	241
0.0012	0.0000	242
0.0015	0.0000	243
0.0008	0.0000	244
0.0011	0.0000	245
0.0009	0.0000	246
0.0010	0.0000	247
0.0008	0.0000	248
0.0011	0.0000	249
0.0010	0.0000	250
0.0011	0.0000	251
0.0014	0.0000	252
0.0010	0.0000	253
0.0011	0.0000	254
0.0008	0.0000	255
0.0011	0.0000	256
0.0010	0.0000	257
0.0010	0.0000	258
0.0009	0.0000	259
0.0008	0.0000	260
0.0009	0.0000	261
0.0012	0.0000	262
0.0013	0.0000	263
0.0008	0.0000	264
0.0015	0.0000	265
0.0009	0.0000	266
0.0012	0.0000	267
0.0009	0.0000	268
0.0010	0.0000	269
0.0010	0.0000	270
0.0010	0.0000	271
0.0010	0.0000	272
0.0007	0.0000	273
0.0010	0.0000	274
0.0008	0.0000	275
0.0006	0.0000	276
0.0007	0.0000	277
0.0007	0.0000	278
0.0011	0.0000	279
0.0008	0.0000	280
0.0006	0.0000	281
0.0005	0.0000	282
0.0008	0.0000	283
0.0010	0.0000	284
0.0006	0.0000	285
0.0012	0.0000	286
0.0006	0.0000	287
0.0010	0.0000	288
0.0006	0.0000	289
0.0007	0.0000	290
0.0005	0.0000	291
0.0007	0.0000	292
0.0006	0.0000	293
0.0005	0.0000	294
0.0006	0.0000	295
0.0012	0.0000	296
0.0006	0.0000	297
0.0007	0.0000	298
0.0008	0.0000	299
0.0008	0.0000	300
0.0007	0.0000	301
0.0004	0.0000	302
0.0005	0.0000	303
0.0005	0.0000	304
0.0006	0.0000	305
0.0008	0.0000	306
0.0006	0.0000	307
0.0007	0.0000	308
0.0004	0.0000	309
0.0005	0.0000	310
0.0005	0.0000	311
0.0007	0.0000	312
0.0004	0.0000	313
0.0005	0.0000	314
0.0004	0.0000	315
0.0004	0.0000	316
0.0004	0.0000	317
0.0006	0.0000	318
0.0004	0.0000	319
0.0003	0.0000	320
0.0006	0.0000	321
0.0005	0.0000	322
0.0005	0.0000	323
0.0005	0.0000	324
0.0007	0.0000	325
0.0012	0.0000	326
0.0004	0.0000	327
0.0005	0.0000	328
0.0004	0.0000	329
0.0004	0.0000	330
0.0004	0.0000	331
0.0006	0.0000	332
0.0004	0.0000	333
0.0004	0.0000	334
0.0003	0.0000	335
0.0004	0.0000	336
0.0004	0.0000	337
0.0005	0.0000	338
0.0005	0.0000	339
0.0006	0.0000	340
0.0006	0.0000	341
0.0003	0.0000	342
0.0008	0.0000	343
0.0008	0.0000	344
0.0005	0.0000	345
0.0005	0.0000	346
0.0010	0.0000	347
0.0004	0.0000	348
0.0005	0.0000	349
0.0003	0.0000	350
0.0004	0.0000	351
0.0004	0.0000	352
0.0005	0.0000	353
0.0005	0.0000	354
0.0006	0.0000	355
0.0005	0.0000	356
0.0004	0.0000	357
0.0004	0.0000	358
0.0007	0.0000	359
0.0006	0.0000	360
0.0004	0.0000	361
0.0004	0.0000	362
0.0004	0.0000	363
0.0003	0.0000	364
0.0005	0.0000	365
0.0003	0.0000	366
0.0004	0.0000	367
0.0007	0.0000	368
0.0004	0.0000	369
0.0005	0.0000	370
0.0004	0.0000	371
0.0005	0.0000	372
0.0004	0.0000	373
0.0002	0.0000	374
0.0006	0.0000	375
0.0005	0.0000	376
0.0004	0.0000	377
0.0006	0.0000	378
0.0003	0.0000	379
0.0005	0.0000	380
0.0006	0.0000	381
0.0003	0.0000	382
0.0007	0.0000	383
0.0003	0.0000	384
0.0003	0.0000	385
0.0003	0.0000	386
0.0007	0.0000	387
0.0006	0.0000	388
0.0005	0.0000	389
0.0005	0.0000	390
0.0003	0.0000	391
0.0002	0.0000	392
0.0004	0.0000	393
0.0005	0.0000	394
0.0003	0.0000	395
0.0002	0.0000	396
0.0003	0.0000	397
0.0003	0.0000	398
0.0003	0.0000	399
0.0004	0.0000	400
0.0002	0.0000	401
0.0004	0.0000	402
0.0002	0.0000	403
0.0003	0.0000	404
0.0002	0.0000	405
0.0003	0.0000	406
0.0004	0.0000	407
0.0006	0.0000	408
0.0004	0.0000	409
0.0005	0.0000	410
0.0006	0.0000	411
0.0002	0.0000	412
0.0006	0.0000	413
0.0002	0.0000	414
0.0003	0.0000	415
0.0003	0.0000	416
0.0002	0.0000	417
0.0003	0.0000	418
0.0004	0.0000	419
0.0003	0.0000	420
0.0003	0.0000	421
0.0004	0.0000	422
0.0003	0.0000	423
0.0004	0.0000	424
0.0002	0.0000	425
0.0003	0.0000	426
0.0006	0.0000	427
0.0002	0.0000	428
0.0003	0.0000	429
0.0002	0.0000	430
0.0002	0.0000	431
0.0002	0.0000	432
0.0004	0.0000	433
0.0001	0.0000	434
0.0001	0.0000	435
0.0001	0.0000	436
0.0005	0.0000	437
0.0002	0.0000	438
0.0002	0.0000	439
0.0002	0.0000	440
0.0003	0.0000	441
0.0001	0.0000	442
0.0001	0.0000	443
0.0003	0.0000	444
0.0002	0.0000	445
0.0003	0.0000	446
0.0003	0.0000	447
0.0002	0.0000	448
0.0003	0.0000	449
0.0003	0.0000	450
0.0001	0.0000	451
0.0004	0.0000	452
0.0002	0.0000	453
0.0002	0.0000	454
0.0002	0.0000	455
0.0002	0.0000	456
0.0001	0.0000	457
0.0002	0.0000	458
0.0002	0.0000	459
0.0002	0.0000	460
0.0001	0.0000	461
0.0001	0.0000	462
0.0002	0.0000	463
0.0001	0.0000	464
0.0004	0.0000	465
0.0001	0.0000	466
0.0003	0.0000	467
0.0002	0.0000	468
0.0002	0.0000	469
0.0003	0.0000	470
0.0002	0.0000	471
0.0002	0.0000	472
0.0005	0.0000	473
0.0005	0.0000	474
0.0002	0.0000	475
0.0005	0.0000	476
0.0002	0.0000	477
0.0001	0.0000	478
0.0002	0.0000	479
0.0005	0.0000	480
0.0002	0.0000	481
0.0002	0.0000	482
0.0001	0.0000	483
0.0002	0.0000	484
0.0003	0.0000	485
0.0002	0.0000	486
0.0002	0.0000	487
0.0003	0.0000	488
0.0003	0.0000	489
0.0003	0.0000	490
0.0002	0.0000	491
0.0002	0.0000	492
0.0002	0.0000	493
0.0002	0.0000	494
0.0001	0.0000	495
0.0001	0.0000	496
0.0002	0.0000	497
0.0002	0.0000	498
0.0001	0.0000	499
0.0002	0.0000	500
0.0001	0.0000	501
0.0001	0.0000	502
0.0003	0.0000	503
0.0002	0.0000	504
0.0004	0.0000	505
0.0003	0.0000	506
0.0001	0.0000	507
0.0002	0.0000	508
0.0002	0.0000	509
0.0002	0.0000	510
0.0003	0.0000	511
0.0004	0.0000	512
0.0003	0.0000	513
0.0002	0.0000	514
0.0003	0.0000	515
0.0002	0.0000	516
0.0002	0.0000	517
0.0002	0.0000	518
0.0002	0.0000	519
0.0002	0.0000	520
0.0002	0.0000	521
0.0001	0.0000	522
0.0001	0.0000	523
0.0001	0.0000	524
0.0001	0.0000	525
0.0002	0.0000	526
0.0001	0.0000	527
0.0001	0.0000	528
0.0001	0.0000	529
0.0001	0.0000	530
0.0001	0.0000	531
0.0001	0.0000	532
0.0002	0.0000	533
0.0001	0.0000	534
0.0001	0.0000	535
0.0001	0.0000	536
0.0001	0.0000	537
0.0003	0.0000	538

Framework versions

Transformers 4.46.1
TensorFlow 2.17.0
Datasets 3.1.0
Tokenizers 0.20.2