learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
lr_scheduler_type: linear
num_epochs: 60
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
No log	1.0	62	2.7563	0.1367	0.0428	0.114	0.1138	20.0
No log	2.0	124	2.5252	0.15	0.0581	0.1246	0.1242	20.0
No log	3.0	186	2.4268	0.1783	0.0804	0.1501	0.1498	20.0
No log	4.0	248	2.3750	0.2026	0.1047	0.1716	0.1714	20.0
No log	5.0	310	2.3333	0.2061	0.1076	0.1743	0.174	20.0
No log	6.0	372	2.3044	0.2073	0.1084	0.1758	0.1756	20.0
No log	7.0	434	2.2772	0.2077	0.1099	0.1766	0.1763	20.0
No log	8.0	496	2.2598	0.2072	0.1083	0.176	0.1757	20.0
2.7044	9.0	558	2.2414	0.2076	0.1091	0.1771	0.1766	20.0
2.7044	10.0	620	2.2290	0.2076	0.1083	0.177	0.1766	20.0
2.7044	11.0	682	2.2165	0.2085	0.1094	0.1786	0.1782	20.0
2.7044	12.0	744	2.2032	0.2058	0.1078	0.1766	0.1761	20.0
2.7044	13.0	806	2.1924	0.2064	0.1095	0.1769	0.1765	20.0
2.7044	14.0	868	2.1850	0.2074	0.1101	0.1775	0.1771	20.0
2.7044	15.0	930	2.1754	0.2065	0.1097	0.1764	0.1763	20.0
2.7044	16.0	992	2.1658	0.2067	0.1099	0.1774	0.1771	20.0
2.3282	17.0	1054	2.1609	0.2053	0.1097	0.1771	0.1771	20.0
2.3282	18.0	1116	2.1550	0.2059	0.1105	0.1774	0.1774	20.0
2.3282	19.0	1178	2.1499	0.2044	0.11	0.1772	0.1771	20.0
2.3282	20.0	1240	2.1426	0.2055	0.1106	0.1782	0.178	20.0
2.3282	21.0	1302	2.1380	0.2057	0.1113	0.1786	0.1785	20.0
2.3282	22.0	1364	2.1320	0.2045	0.1098	0.177	0.1769	20.0
2.3282	23.0	1426	2.1294	0.203	0.1085	0.1763	0.1761	20.0
2.3282	24.0	1488	2.1239	0.2037	0.1092	0.177	0.1768	20.0
2.2245	25.0	1550	2.1191	0.2031	0.1078	0.1761	0.176	20.0
2.2245	26.0	1612	2.1177	0.2037	0.1097	0.1767	0.1766	20.0
2.2245	27.0	1674	2.1130	0.2017	0.1081	0.1752	0.1751	20.0
2.2245	28.0	1736	2.1103	0.2026	0.1089	0.176	0.1759	20.0
2.2245	29.0	1798	2.1049	0.2015	0.1063	0.175	0.1747	20.0
2.2245	30.0	1860	2.1019	0.2011	0.106	0.1748	0.1745	20.0
2.2245	31.0	1922	2.1010	0.2	0.1053	0.1737	0.1736	20.0
2.2245	32.0	1984	2.0971	0.2014	0.1062	0.1747	0.1745	20.0
2.1625	33.0	2046	2.0973	0.2019	0.1066	0.1752	0.1751	20.0
2.1625	34.0	2108	2.0921	0.2029	0.1075	0.1759	0.1757	20.0
2.1625	35.0	2170	2.0903	0.2032	0.1083	0.1758	0.1756	20.0
2.1625	36.0	2232	2.0872	0.2036	0.1082	0.1762	0.1762	20.0
2.1625	37.0	2294	2.0847	0.2031	0.1074	0.1758	0.1756	20.0
2.1625	38.0	2356	2.0849	0.202	0.1079	0.1759	0.1755	20.0
2.1625	39.0	2418	2.0835	0.2022	0.1072	0.1749	0.1747	20.0
2.1625	40.0	2480	2.0803	0.2029	0.1072	0.1763	0.1759	20.0
2.1162	41.0	2542	2.0787	0.2025	0.107	0.1757	0.1756	20.0
2.1162	42.0	2604	2.0789	0.2034	0.108	0.1764	0.1762	20.0
2.1162	43.0	2666	2.0761	0.204	0.1076	0.1767	0.1765	20.0
2.1162	44.0	2728	2.0750	0.2033	0.1075	0.1768	0.1766	20.0
2.1162	45.0	2790	2.0743	0.2031	0.1078	0.1764	0.1763	20.0
2.1162	46.0	2852	2.0711	0.2036	0.1078	0.1775	0.1773	20.0
2.1162	47.0	2914	2.0719	0.2034	0.107	0.1765	0.1764	20.0
2.1162	48.0	2976	2.0706	0.2038	0.1071	0.1765	0.1764	20.0
2.0847	49.0	3038	2.0693	0.2026	0.1067	0.1758	0.1756	20.0
2.0847	50.0	3100	2.0693	0.2023	0.106	0.1754	0.1753	20.0
2.0847	51.0	3162	2.0685	0.2028	0.1069	0.1766	0.1765	20.0
2.0847	52.0	3224	2.0682	0.2029	0.1064	0.1756	0.1754	20.0
2.0847	53.0	3286	2.0674	0.2023	0.106	0.1752	0.175	20.0
2.0847	54.0	3348	2.0677	0.2019	0.1055	0.1751	0.1749	20.0
2.0847	55.0	3410	2.0673	0.2018	0.1056	0.1749	0.1748	20.0
2.0847	56.0	3472	2.0669	0.2022	0.1061	0.1753	0.1751	20.0
2.0677	57.0	3534	2.0665	0.2024	0.1066	0.1755	0.1752	20.0
2.0677	58.0	3596	2.0661	0.2022	0.1064	0.1754	0.1752	20.0
2.0677	59.0	3658	2.0660	0.2017	0.1056	0.175	0.1749	20.0
2.0677	60.0	3720	2.0660	0.202	0.106	0.1753	0.1751	20.0

Framework versions

Transformers 4.57.3
Pytorch 2.4.1+cu121
Datasets 4.4.1
Tokenizers 0.22.1

SEDDIK19/my_awesome_billsum_model

my_awesome_billsum_model

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

SEDDIK19/
my_awesome_billsum_model