learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Use OptimizerNames.ADAMW_TORCH with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 4
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
4.9772	0.0323	2	4.9098	0.1456	0.0505	0.1212	0.1207	20.0
4.9172	0.0645	4	4.7930	0.145	0.0492	0.1204	0.1202	20.0
4.7805	0.0968	6	4.6848	0.1443	0.0492	0.1203	0.12	20.0
4.4786	0.1290	8	4.5023	0.1414	0.047	0.1178	0.1176	20.0
4.6631	0.1613	10	4.3689	0.1398	0.0451	0.1166	0.1161	20.0
4.3956	0.1935	12	4.2466	0.1386	0.0451	0.1165	0.1161	20.0
4.1188	0.2258	14	4.0433	0.1375	0.0441	0.1162	0.1159	20.0
4.1376	0.2581	16	3.9204	0.1368	0.0438	0.1166	0.1162	20.0
4.0215	0.2903	18	3.8223	0.1362	0.0432	0.1159	0.1156	20.0
4.0434	0.3226	20	3.7228	0.1371	0.0444	0.1167	0.1164	20.0
3.7677	0.3548	22	3.6486	0.1381	0.0454	0.1175	0.1173	20.0
3.8049	0.3871	24	3.5876	0.1369	0.0435	0.1163	0.1159	20.0
3.6867	0.4194	26	3.5269	0.1366	0.043	0.1162	0.1157	20.0
3.62	0.4516	28	3.4773	0.1325	0.0396	0.1125	0.1124	20.0
3.6324	0.4839	30	3.4397	0.1308	0.0383	0.111	0.1108	20.0
3.6464	0.5161	32	3.4071	0.1303	0.038	0.1107	0.1105	20.0
3.6456	0.5484	34	3.3747	0.1302	0.0379	0.1104	0.1102	20.0
3.4388	0.5806	36	3.3473	0.1291	0.0377	0.1092	0.109	20.0
3.6904	0.6129	38	3.3216	0.1299	0.038	0.11	0.1097	20.0
3.3703	0.6452	40	3.2946	0.1281	0.0361	0.1081	0.1079	20.0
3.4036	0.6774	42	3.2701	0.1277	0.0357	0.1074	0.1072	20.0
3.3292	0.7097	44	3.2474	0.1278	0.0356	0.1071	0.1067	20.0
3.4741	0.7419	46	3.2252	0.1283	0.035	0.1067	0.1065	20.0
3.2058	0.7742	48	3.2040	0.1295	0.0357	0.1071	0.1068	20.0
3.3241	0.8065	50	3.1842	0.1301	0.0366	0.1082	0.1079	20.0
3.2942	0.8387	52	3.1657	0.1303	0.0367	0.1086	0.1085	20.0
3.4451	0.8710	54	3.1482	0.1308	0.0365	0.109	0.1089	20.0
3.3112	0.9032	56	3.1319	0.1313	0.0365	0.1092	0.1091	20.0
3.4478	0.9355	58	3.1161	0.132	0.0369	0.1096	0.1095	20.0
3.2917	0.9677	60	3.1012	0.1304	0.0357	0.1081	0.1082	20.0
3.3915	1.0	62	3.0872	0.1308	0.0368	0.1088	0.1088	20.0
3.0503	1.0323	64	3.0738	0.1317	0.0377	0.1095	0.1096	20.0
3.2547	1.0645	66	3.0611	0.1325	0.0388	0.1105	0.1105	20.0
3.1897	1.0968	68	3.0493	0.1327	0.039	0.1108	0.1108	20.0
3.1737	1.1290	70	3.0381	0.1335	0.0393	0.1113	0.1112	20.0
3.1706	1.1613	72	3.0276	0.1331	0.0399	0.111	0.111	20.0
3.1955	1.1935	74	3.0177	0.1333	0.0403	0.111	0.111	20.0
2.9754	1.2258	76	3.0084	0.1341	0.0421	0.1118	0.1118	20.0
3.1798	1.2581	78	2.9997	0.1352	0.0428	0.1126	0.1126	20.0
3.2132	1.2903	80	2.9913	0.1364	0.0439	0.1132	0.1131	20.0
3.2655	1.3226	82	2.9835	0.1367	0.0443	0.1137	0.1136	20.0
3.2802	1.3548	84	2.9760	0.137	0.0442	0.1139	0.1138	20.0
2.9521	1.3871	86	2.9689	0.1374	0.0435	0.1135	0.1133	20.0
3.0009	1.4194	88	2.9622	0.1382	0.0446	0.1137	0.1137	20.0
2.8817	1.4516	90	2.9560	0.1388	0.0452	0.1139	0.1139	20.0
3.0443	1.4839	92	2.9499	0.1394	0.0462	0.1142	0.1142	20.0
3.1485	1.5161	94	2.9439	0.1417	0.0482	0.1158	0.1161	20.0
3.1887	1.5484	96	2.9383	0.1424	0.0489	0.1163	0.1165	20.0
3.1322	1.5806	98	2.9328	0.1429	0.0496	0.1167	0.1169	20.0
3.3135	1.6129	100	2.9274	0.1438	0.0501	0.1171	0.1174	20.0
2.8948	1.6452	102	2.9222	0.1445	0.0509	0.1178	0.1181	20.0
3.1387	1.6774	104	2.9174	0.1443	0.0504	0.1173	0.1175	20.0
3.2514	1.7097	106	2.9125	0.1462	0.0533	0.1193	0.1194	20.0
2.7514	1.7419	108	2.9080	0.1463	0.0536	0.1194	0.1194	20.0
3.0971	1.7742	110	2.9036	0.1461	0.0533	0.1193	0.1194	20.0
3.084	1.8065	112	2.8995	0.146	0.0533	0.1191	0.1193	20.0
3.0102	1.8387	114	2.8954	0.1466	0.0541	0.1195	0.1195	20.0
3.1742	1.8710	116	2.8915	0.1467	0.0549	0.1201	0.12	20.0
3.1178	1.9032	118	2.8878	0.1473	0.0555	0.1202	0.1202	20.0
3.1223	1.9355	120	2.8841	0.1477	0.0559	0.1203	0.1204	20.0
3.1209	1.9677	122	2.8805	0.147	0.0557	0.1196	0.1196	20.0
3.0821	2.0	124	2.8772	0.1471	0.0555	0.1194	0.1194	20.0
3.0732	2.0323	126	2.8741	0.1481	0.0557	0.1202	0.1203	20.0
2.9747	2.0645	128	2.8709	0.1486	0.0563	0.1208	0.1208	20.0
2.9165	2.0968	130	2.8680	0.1494	0.057	0.1216	0.1217	20.0
3.2219	2.1290	132	2.8652	0.1507	0.0576	0.1227	0.123	20.0
2.9149	2.1613	134	2.8624	0.1516	0.0584	0.1237	0.1238	20.0
2.946	2.1935	136	2.8598	0.152	0.0582	0.124	0.124	20.0
2.9566	2.2258	138	2.8573	0.1541	0.06	0.1254	0.1254	20.0
3.1244	2.2581	140	2.8548	0.1546	0.0604	0.1262	0.1262	20.0
3.1096	2.2903	142	2.8524	0.1549	0.0598	0.126	0.1261	20.0
3.1272	2.3226	144	2.8501	0.155	0.0597	0.1261	0.1263	20.0
2.9613	2.3548	146	2.8478	0.1562	0.0607	0.127	0.1271	20.0
3.0311	2.3871	148	2.8455	0.1564	0.0607	0.127	0.1271	20.0
2.9894	2.4194	150	2.8435	0.156	0.0607	0.1269	0.1269	20.0
2.9377	2.4516	152	2.8414	0.1554	0.0612	0.1271	0.1272	20.0
3.2074	2.4839	154	2.8393	0.1554	0.061	0.1274	0.1273	20.0
2.7732	2.5161	156	2.8374	0.1561	0.0614	0.1279	0.128	20.0
3.1669	2.5484	158	2.8355	0.1559	0.0617	0.128	0.128	20.0
2.8896	2.5806	160	2.8337	0.1568	0.0621	0.1283	0.1284	20.0
3.3097	2.6129	162	2.8321	0.1566	0.0613	0.1277	0.1278	20.0
2.9491	2.6452	164	2.8307	0.1555	0.0603	0.1267	0.1268	20.0
3.1262	2.6774	166	2.8292	0.1554	0.0598	0.1265	0.1265	20.0
3.0347	2.7097	168	2.8277	0.1553	0.0597	0.1262	0.1263	20.0
2.9986	2.7419	170	2.8263	0.1552	0.0595	0.1261	0.1261	20.0
2.9333	2.7742	172	2.8249	0.1552	0.0595	0.1263	0.1263	20.0
2.8779	2.8065	174	2.8237	0.1545	0.059	0.1259	0.1258	20.0
2.7269	2.8387	176	2.8225	0.1544	0.059	0.1258	0.1257	20.0
2.8611	2.8710	178	2.8214	0.1563	0.0607	0.1271	0.1269	20.0
2.9573	2.9032	180	2.8204	0.1563	0.0607	0.1271	0.1269	20.0
2.7588	2.9355	182	2.8194	0.157	0.0617	0.128	0.1279	20.0
2.9015	2.9677	184	2.8184	0.1564	0.0613	0.1274	0.1275	20.0
2.7194	3.0	186	2.8175	0.1566	0.0615	0.1275	0.1276	20.0
3.1051	3.0323	188	2.8165	0.1565	0.0611	0.1271	0.1272	20.0
2.9184	3.0645	190	2.8156	0.1569	0.0615	0.1276	0.1277	20.0
3.0363	3.0968	192	2.8146	0.1577	0.0622	0.1283	0.1283	20.0
2.9219	3.1290	194	2.8137	0.1581	0.0624	0.1285	0.1286	20.0
3.051	3.1613	196	2.8128	0.1584	0.0627	0.1288	0.1288	20.0
3.2344	3.1935	198	2.8118	0.1585	0.0629	0.1289	0.1289	20.0
3.0232	3.2258	200	2.8110	0.1583	0.0621	0.1285	0.1286	20.0
3.1109	3.2581	202	2.8102	0.1594	0.0631	0.1292	0.1292	20.0
3.0242	3.2903	204	2.8094	0.1589	0.0627	0.1291	0.1293	20.0
2.9549	3.3226	206	2.8087	0.1588	0.0628	0.1292	0.1293	20.0
2.8961	3.3548	208	2.8080	0.1592	0.0632	0.1294	0.1294	20.0
2.8591	3.3871	210	2.8074	0.1577	0.0618	0.1283	0.1283	20.0
2.8098	3.4194	212	2.8069	0.1572	0.0614	0.1282	0.1282	20.0
2.9019	3.4516	214	2.8063	0.1572	0.0614	0.1282	0.1282	20.0
2.9847	3.4839	216	2.8058	0.1574	0.0615	0.1284	0.1285	20.0
2.9803	3.5161	218	2.8053	0.1572	0.0615	0.1283	0.1284	20.0
2.7936	3.5484	220	2.8048	0.1571	0.0615	0.1282	0.1283	20.0
2.8702	3.5806	222	2.8045	0.1572	0.0616	0.1283	0.1284	20.0
3.0268	3.6129	224	2.8041	0.157	0.0614	0.1282	0.1283	20.0
2.8437	3.6452	226	2.8037	0.1573	0.0615	0.1284	0.1284	20.0
3.026	3.6774	228	2.8034	0.1573	0.0615	0.1284	0.1284	20.0
2.8364	3.7097	230	2.8032	0.1569	0.061	0.1282	0.1282	20.0
3.0897	3.7419	232	2.8029	0.1569	0.061	0.1282	0.1282	20.0
2.9625	3.7742	234	2.8027	0.157	0.061	0.1283	0.1283	20.0
2.9021	3.8065	236	2.8025	0.1565	0.061	0.1282	0.1281	20.0
2.7147	3.8387	238	2.8023	0.1568	0.0609	0.1286	0.1286	20.0
2.995	3.8710	240	2.8022	0.1564	0.0608	0.1283	0.1283	20.0
2.9107	3.9032	242	2.8021	0.1564	0.0608	0.1283	0.1283	20.0
2.8883	3.9355	244	2.8020	0.1568	0.0609	0.1286	0.1286	20.0
2.928	3.9677	246	2.8020	0.1568	0.0609	0.1286	0.1286	20.0
2.627	4.0	248	2.8019	0.1566	0.0608	0.1284	0.1284	20.0

Framework versions

Transformers 4.55.0
Pytorch 2.6.0+cu124
Datasets 4.0.0
Tokenizers 0.21.4

pepppper/my_awesome_billsum_model

my_awesome_billsum_model

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

pepppper/
my_awesome_billsum_model