optimizer: {'name': 'Adam', 'weight_decay': None, 'clipnorm': None, 'global_clipnorm': None, 'clipvalue': None, 'use_ema': False, 'ema_momentum': 0.99, 'ema_overwrite_frequency': None, 'jit_compile': True, 'is_legacy_optimizer': False, 'learning_rate': {'module': 'keras.optimizers.schedules', 'class_name': 'PolynomialDecay', 'config': {'initial_learning_rate': 2e-05, 'decay_steps': 3000, 'end_learning_rate': 0.0, 'power': 1.0, 'cycle': False, 'name': None}, 'registered_name': None}, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-08, 'amsgrad': False}
training_precision: float32

Training results

Train Loss	Validation Loss	Epoch
0.0001	9.6501	0
0.0034	9.5974	1
0.0003	10.0861	2
0.0002	10.1612	3
0.0008	10.4517	4
0.0030	8.3722	5
0.0039	7.8005	6
0.0018	8.1554	7
0.0024	8.7739	8
0.0188	8.6329	9
0.0002	7.9693	10
0.0122	7.7384	11
0.0589	7.3640	12
0.0052	7.0623	13
0.0275	6.9441	14
0.0078	6.9619	15
0.0034	7.0683	16
0.0024	7.2316	17
0.0032	7.4059	18
0.0027	7.5626	19
0.0013	7.6893	20
0.0011	7.7900	21
0.0006	7.8847	22
0.0018	7.9765	23
0.0010	8.0591	24
0.0006	8.1591	25
0.0010	8.2419	26
0.0004	8.3106	27
0.0008	8.3770	28
0.0004	8.4383	29
0.0004	8.4933	30
0.0002	8.5384	31
0.0003	8.5775	32
0.0003	8.6107	33
0.0003	8.6378	34
0.0003	8.6608	35
0.0002	8.6817	36
0.0003	8.7030	37
0.0003	8.7217	38
0.0002	8.7372	39
0.0001	8.7523	40
0.0002	8.7667	41
0.0002	8.7803	42
0.0002	8.7933	43
0.0001	8.8060	44
0.0002	8.8176	45
0.0001	8.8286	46
0.0002	8.8406	47
0.0005	8.8554	48
0.0002	8.8717	49
0.0001	8.8861	50
0.0002	8.8997	51
0.0001	8.9143	52
0.0001	8.9272	53
0.0003	8.9389	54
0.0003	8.9515	55
0.0001	8.9627	56
0.0003	8.9696	57
0.0001	8.9713	58
0.0001	8.9752	59
0.0001	8.9809	60
0.0001	8.9890	61
0.0001	9.0001	62
0.0001	9.0100	63
0.0001	9.0197	64
0.0001	9.0296	65
0.0001	9.0392	66
0.0001	9.0493	67
0.0001	9.0603	68
0.0001	9.0702	69
0.0001	9.0795	70
0.0001	9.0885	71
0.0001	9.0963	72
0.0001	9.1046	73
0.0002	9.1157	74
0.0001	9.1271	75
0.0002	9.1424	76
0.0001	9.1518	77
0.0001	9.1585	78
0.0001	9.1651	79
0.0001	9.1712	80
0.0001	9.1772	81
0.0001	9.1897	82
0.0001	9.2003	83
0.0001	9.2088	84
0.0002	9.2182	85
0.0001	9.2261	86
0.0001	9.2336	87
0.0001	9.2406	88
0.0001	9.2473	89
0.0001	9.2533	90
0.0001	9.2610	91
0.0001	9.2686	92
0.0001	9.2754	93
0.0001	9.2818	94
0.0001	9.2900	95
0.0001	9.2983	96
0.0001	9.3054	97
0.0001	9.3118	98
0.0001	9.3172	99
0.0001	9.3222	100
0.0001	9.3147	101
0.0001	9.3362	102
0.0002	9.3506	103
0.0001	9.3531	104
0.0001	9.3393	105
0.0000	9.3281	106
0.0001	9.3220	107
0.0001	9.3193	108
0.0001	9.3187	109
0.0000	9.3196	110
0.0001	9.3216	111
0.0001	9.3245	112
0.0001	9.3273	113
0.0001	9.3303	114
0.0001	9.3338	115
0.0001	9.3384	116
0.0001	9.3432	117
0.0001	9.3483	118
0.0001	9.3531	119
0.0001	9.3573	120
0.0001	9.3610	121
0.0001	9.3643	122
0.0001	9.3687	123
0.0001	9.3732	124
0.0001	9.3780	125
0.0000	9.3824	126
0.0001	9.3865	127
0.0001	9.3905	128
0.0001	9.3951	129
0.0001	9.3995	130
0.0001	9.4037	131
0.0001	9.4083	132
0.0013	9.4372	133
0.0008	9.4409	134
0.0000	9.4073	135
0.0008	9.3225	136
0.0001	9.2363	137
0.0002	9.2013	138
0.0001	9.2289	139
0.0001	9.2819	140
0.0001	9.3425	141
0.0001	9.3922	142
0.0001	9.4310	143
0.0001	9.4620	144
0.0001	9.4870	145
0.0011	9.5401	146
0.0000	9.5858	147
0.0002	9.5924	148
0.0001	9.5913	149
0.0001	9.6178	150
0.0001	9.6332	151
0.0001	9.6430	152
0.0003	9.6459	153
0.0001	9.6463	154
0.0001	9.6472	155
0.0001	9.6544	156
0.0000	9.6615	157
0.0001	9.6680	158
0.0001	9.6740	159
0.0001	9.6796	160
0.0001	9.6860	161
0.0001	9.6925	162
0.0001	9.6989	163
0.0001	9.7053	164
0.0000	9.7107	165
0.0002	9.7178	166
0.0001	9.7273	167
0.0000	9.7357	168
0.0001	9.7433	169
0.0000	9.7502	170
0.0000	9.7561	171
0.0000	9.7614	172
0.0000	9.7660	173
0.0000	9.7712	174
0.0001	9.7758	175
0.0002	9.7628	176
0.0000	9.7755	177
0.0000	9.7870	178
0.0000	9.7980	179
0.0000	9.8061	180
0.0001	9.8150	181
0.0000	9.8227	182
0.0000	9.8283	183
0.0001	9.8337	184
0.0000	9.8391	185
0.0000	9.8434	186
0.0000	9.8475	187
0.0000	9.8513	188
0.0001	9.8550	189
0.0000	9.8586	190
0.0000	9.8617	191
0.0000	9.8648	192
0.0001	9.8678	193
0.0001	9.8728	194
0.0000	9.8769	195
0.0000	9.8807	196
0.0001	9.8841	197
0.0000	9.8872	198
0.0001	9.8906	199
0.0000	9.8942	200
0.0000	9.8978	201
0.0000	9.9007	202
0.0000	9.9045	203
0.0000	9.9087	204
0.0000	9.9121	205
0.0000	9.9157	206
0.0000	9.9188	207
0.0001	9.9215	208
0.0000	9.9238	209
0.0000	9.9261	210
0.0000	9.9284	211
0.0000	9.9308	212
0.0000	9.9336	213
0.0000	9.9364	214
0.0000	9.9390	215
0.0000	9.9414	216
0.0000	9.9436	217
0.0000	9.9456	218
0.0000	9.9477	219
0.0000	9.9501	220
0.0000	9.9524	221
0.0000	9.9545	222
0.0000	9.9570	223
0.0000	9.9596	224
0.0000	9.9621	225
0.0000	9.9648	226
0.0000	9.9680	227
0.0001	9.9714	228
0.0000	9.9746	229
0.0001	9.9784	230
0.0000	9.9831	231
0.0000	9.9937	232
0.0000	10.0026	233
0.0000	10.0096	234
0.0000	10.0150	235
0.0000	10.0193	236
0.0000	10.0226	237
0.0000	10.0252	238
0.0000	10.0281	239
0.0000	10.0311	240
0.0000	10.0340	241
0.0000	10.0369	242
0.0000	10.0394	243
0.0001	10.0410	244
0.0000	10.0415	245
0.0000	10.0422	246
0.0000	10.0431	247
0.0000	10.0436	248
0.0000	10.0449	249
0.0000	10.0465	250
0.0000	10.0485	251
0.0000	10.0509	252
0.0000	10.0534	253
0.0000	10.0563	254
0.0000	10.0617	255
0.0000	10.0665	256
0.0000	10.0805	257
0.0001	10.0917	258
0.0001	10.1007	259
0.0000	10.1073	260
0.0000	10.1123	261
0.0000	10.1162	262
0.0000	10.1194	263
0.0000	10.1223	264
0.0000	10.1252	265
0.0001	10.1346	266
0.0000	10.1419	267
0.0000	10.1490	268
0.0000	10.1544	269
0.0000	10.1589	270
0.0000	10.1629	271
0.0000	10.1661	272
0.0000	10.1687	273
0.0001	10.1739	274
0.0000	10.1830	275
0.0000	10.1901	276
0.0000	10.1959	277
0.0000	10.2010	278
0.0000	10.2056	279
0.0000	10.2091	280
0.0000	10.2123	281
0.0000	10.2154	282
0.0000	10.2183	283
0.0000	10.2208	284
0.0000	10.2230	285
0.0000	10.2254	286
0.0000	10.2276	287
0.0000	10.2292	288
0.0000	10.2312	289
0.0000	10.2331	290
0.0000	10.2353	291
0.0000	10.2385	292
0.0000	10.2436	293
0.0000	10.2478	294
0.0000	10.2512	295
0.0001	10.2552	296
0.0000	10.2602	297
0.0000	10.2641	298
0.0000	10.2673	299
0.0000	10.2700	300
0.0000	10.2725	301
0.0000	10.2749	302
0.0000	10.2826	303
0.0000	10.2887	304
0.0000	10.2935	305
0.0000	10.2975	306
0.0000	10.3008	307
0.0000	10.3037	308
0.0000	10.3062	309
0.0000	10.3084	310
0.0000	10.3103	311
0.0000	10.3125	312
0.0000	10.3143	313
0.0000	10.3159	314
0.0000	10.3188	315
0.0000	10.3213	316
0.0000	10.3233	317
0.0000	10.3250	318
0.0000	10.3264	319
0.0000	10.3272	320
0.0000	10.3280	321
0.0000	10.3288	322
0.0000	10.3298	323
0.0000	10.3308	324
0.0000	10.3322	325
0.0000	10.3335	326
0.0000	10.3346	327
0.0000	10.3358	328
0.0000	10.3375	329
0.0000	10.3390	330
0.0000	10.3403	331
0.0000	10.3416	332
0.0000	10.3429	333
0.0000	10.3443	334
0.0000	10.3458	335
0.0000	10.3472	336
0.0000	10.3486	337
0.0000	10.3504	338
0.0000	10.3520	339
0.0000	10.3534	340
0.0000	10.3522	341
0.0000	10.3512	342
0.0000	10.3508	343
0.0000	10.3506	344
0.0000	10.3509	345
0.0000	10.3511	346
0.0000	10.3514	347
0.0000	10.3520	348
0.0000	10.3525	349
0.0000	10.3531	350
0.0000	10.3538	351
0.0000	10.3546	352
0.0000	10.3556	353
0.0000	10.3569	354
0.0000	10.3581	355
0.0000	10.3594	356
0.0000	10.3608	357
0.0000	10.3637	358
0.0000	10.3668	359
0.0000	10.3694	360
0.0000	10.3717	361
0.0000	10.3739	362
0.0000	10.3755	363
0.0000	10.3786	364
0.0000	10.3811	365
0.0000	10.3832	366
0.0000	10.3858	367
0.0000	10.3876	368
0.0000	10.3888	369
0.0000	10.3898	370
0.0000	10.3912	371
0.0000	10.3927	372
0.0000	10.3941	373
0.0000	10.3952	374
0.0000	10.3964	375
0.0000	10.3975	376
0.0001	10.3813	377
0.0000	10.3418	378
0.0000	10.3135	379
0.0000	10.2937	380
0.0000	10.2792	381
0.0000	10.2684	382
0.0000	10.2599	383
0.0000	10.2538	384
0.0000	10.2494	385
0.0000	10.2468	386
0.0000	10.2454	387
0.0000	10.2444	388
0.0000	10.2438	389
0.0000	10.2435	390
0.0000	10.2437	391
0.0000	10.2445	392
0.0000	10.2455	393
0.0000	10.2462	394
0.0000	10.2471	395
0.0000	10.2477	396
0.0000	10.2484	397
0.0001	10.2665	398
0.0000	10.2866	399
0.0000	10.3004	400
0.0000	10.3104	401
0.0000	10.3177	402
0.0000	10.3235	403
0.0000	10.3285	404
0.0000	10.3331	405
0.0000	10.3367	406
0.0000	10.3396	407
0.0000	10.3423	408
0.0000	10.3447	409
0.0000	10.3466	410
0.0000	10.3484	411
0.0000	10.3513	412
0.0003	10.3343	413
0.0000	10.3289	414
0.0000	10.3240	415
0.0000	10.3201	416
0.0000	10.3158	417
0.0000	10.3114	418
0.0000	10.3058	419
0.0000	10.3015	420
0.0001	10.2986	421
0.0000	10.2914	422
0.0001	10.2997	423
0.0000	10.2960	424
0.0000	10.2921	425
0.0000	10.2912	426
0.0000	10.2903	427
0.0000	10.2900	428
0.0000	10.2912	429
0.0000	10.2930	430
0.0000	10.2858	431
0.0000	10.2888	432
0.0000	10.2922	433
0.0000	10.2946	434
0.0000	10.2973	435
0.0000	10.3008	436
0.0000	10.3021	437
0.0000	10.3024	438
0.0000	10.3025	439
0.0000	10.3026	440
0.0000	10.3032	441
0.0000	10.3038	442
0.0000	10.3045	443
0.0000	10.3074	444
0.0000	10.3092	445
0.0000	10.3109	446
0.0000	10.3120	447
0.0000	10.3133	448
0.0000	10.3141	449
0.0000	10.3150	450
0.0000	10.3157	451
0.0001	10.3184	452
0.0000	10.3236	453
0.0000	10.3267	454
0.0000	10.3289	455
0.0000	10.3308	456
0.0000	10.3327	457
0.0000	10.3342	458
0.0000	10.3356	459
0.0000	10.3370	460
0.0000	10.3383	461
0.0000	10.3394	462
0.0000	10.3407	463
0.0000	10.3419	464
0.0000	10.3430	465
0.0000	10.3440	466
0.0000	10.3451	467
0.0000	10.3458	468
0.0000	10.3459	469
0.0000	10.3455	470
0.0000	10.3446	471
0.0000	10.3446	472
0.0000	10.3445	473
0.0000	10.3447	474
0.0000	10.3455	475
0.0000	10.3462	476
0.0000	10.3470	477
0.0000	10.3490	478
0.0000	10.3513	479
0.0000	10.3529	480
0.0000	10.3543	481
0.0000	10.3550	482
0.0000	10.3555	483
0.0000	10.3562	484
0.0000	10.3573	485
0.0000	10.3584	486
0.0000	10.3595	487
0.0000	10.3605	488
0.0000	10.3612	489
0.0000	10.3618	490
0.0000	10.3623	491
0.0000	10.3627	492
0.0000	10.3627	493
0.0000	10.3622	494
0.0000	10.3650	495
0.0000	10.3675	496
0.0000	10.3697	497
0.0043	10.4431	498
0.0020	10.4749	499
0.0012	10.5782	500
0.0070	10.9719	501
0.0006	11.2452	502
0.0001	11.3432	503
0.0001	11.3358	504
0.0010	11.4342	505
0.0001	11.5136	506
0.0001	11.3794	507
0.0002	11.1940	508
0.0000	11.0311	509
0.0001	10.9090	510
0.0000	10.8221	511
0.0001	10.7644	512
0.0001	10.7298	513
0.0001	10.7126	514
0.0000	10.7028	515
0.0001	10.7011	516
0.0002	10.7416	517
0.0001	10.7964	518
0.0000	10.8388	519
0.0001	10.8703	520
0.0000	10.8940	521
0.0000	10.9116	522
0.0001	10.9285	523
0.0003	10.9472	524
0.0000	10.9621	525
0.0001	10.9769	526
0.0001	10.9842	527
0.0001	10.9865	528
0.0000	10.9904	529
0.0001	10.9940	530
0.0000	11.0002	531
0.0000	11.0063	532
0.0002	11.0065	533
0.0000	11.0075	534
0.0001	11.0106	535
0.0000	11.0149	536
0.0000	11.0195	537
0.0000	11.0246	538
0.0001	11.0290	539
0.0000	11.0328	540
0.0000	11.0360	541
0.0000	11.0419	542
0.0000	11.0480	543
0.0005	11.0250	544
0.0000	10.9599	545
0.0000	10.9138	546
0.0000	10.8844	547
0.0000	10.8653	548
0.0001	10.8522	549
0.0001	10.8468	550
0.0000	10.8436	551
0.0000	10.8418	552
0.0000	10.8416	553
0.0000	10.8426	554
0.0000	10.8443	555
0.0000	10.8463	556
0.0000	10.8486	557
0.0000	10.8529	558
0.0000	10.8602	559
0.0000	10.8668	560
0.0000	10.8721	561
0.0001	10.8760	562
0.0001	10.8844	563
0.0000	10.8925	564
0.0000	10.8985	565
0.0000	10.9033	566
0.0000	10.9093	567
0.0000	10.9145	568
0.0000	10.9189	569
0.0000	10.9228	570
0.0000	10.9261	571
0.0000	10.9293	572
0.0000	10.9329	573
0.0000	10.9362	574
0.0000	10.9435	575
0.0001	10.9503	576
0.0000	10.9561	577
0.0000	10.9609	578
0.0000	10.9648	579
0.0000	10.9680	580
0.0000	10.9709	581
0.0000	10.9733	582
0.0001	10.9734	583
0.0000	10.9740	584
0.0000	10.9753	585
0.0000	10.9778	586
0.0001	10.9861	587
0.0000	11.0021	588
0.0000	11.0140	589
0.0000	11.0237	590
0.0000	11.0310	591
0.0000	11.0356	592
0.0000	11.0365	593
0.0000	11.0377	594
0.0000	11.0392	595
0.0029	10.6690	596
0.0002	10.3514	597
0.0000	10.1675	598
0.0001	10.0552	599
0.0000	9.9806	600
0.0002	9.9262	601

Framework versions

Transformers 4.44.2
TensorFlow 2.17.0
Datasets 3.0.1
Tokenizers 0.19.1