This model aims to help supply the needs of models in the Portuguese language for certain tasks. The model presents a good performance for summary tasks. Some errors due to word accentuation may occasionally occur due to the small version of the model.

model_max_length = 512

Card example 1 with t5-portuguese-small-summarization

Trump vence as primárias em New Hampshire, que ocorreram na terça-feira (23/01).
Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto ao segundo colocado, governador da Flórida, Ron DeSantis.

Card example 1 with orginal t5-small

O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos, como a nica rival significativa de Trump no partido.

This model is a fine-tuned version of google-t5/t5-small

Loss: 1.8997
Rouge1: 15.0817
Rouge2: 5.3292
Rougel: 12.958
Rougelsum: 13.8768
Gen Len: 18.968

GPU: RTX 3060, 12GB, =~3500 cuda cores

HOW TO USE

python

!pip install transformers
from transformers import pipeline
summarization = pipeline("summarization", model="rhaymison/t5-portuguese-small-summarization", tokenizer="rhaymison/t5-portuguese-small-summarization")

prompt =f"""
sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido.
"""
output =  summarization(prompt)

#Trump vence as primárias em New Hampshire, que ocorreram na terça-feira (23/01).
#Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto ao segundo colocado, governador da Flórida, Ron DeSantis.

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 2e-05
train_batch_size: 6
eval_batch_size: 6
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 24
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 25
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
2.092	0.6	500	1.9551	14.6613	5.2159	12.5685	13.4544	18.968
2.092	0.72	600	1.9508	14.6862	5.2585	12.6345	13.5299	18.968
2.092	0.84	700	1.9473	14.7323	5.1636	12.6962	13.5118	18.968
2.092	0.96	800	1.9488	14.7104	5.1587	12.7019	13.5439	18.968
2.092	1.08	900	1.9397	14.8448	5.2826	12.7924	13.6464	18.968
2.077	1.2	1000	1.9373	14.9495	5.3975	12.8935	13.7491	18.968
2.077	1.32	1100	1.9372	14.93	5.4048	12.8809	13.7012	18.968
2.077	1.44	1200	1.9311	14.8196	5.2564	12.8279	13.6688	18.968
2.077	1.56	1300	1.9311	14.8757	5.2282	12.8286	13.7152	18.968
2.077	1.68	1400	1.9287	14.9308	5.3154	12.8522	13.7326	18.968
2.06	1.8	1500	1.9268	14.8923	5.2594	12.8387	13.6839	18.968
2.06	1.92	1600	1.9256	15.085	5.2911	12.9424	13.8375	18.968
2.06	2.04	1700	1.9245	14.9127	5.3024	12.8339	13.6987	18.968
2.06	2.16	1800	1.9197	15.0974	5.2812	12.9218	13.8758	18.968
2.06	2.28	1900	1.9172	15.0564	5.2437	12.8736	13.8318	18.968
2.0474	2.4	2000	1.9149	14.9414	5.1408	12.8381	13.7028	18.968
2.0474	2.52	2100	1.9149	15.0211	5.2195	12.954	13.809	18.968
2.0474	2.64	2200	1.9113	15.0689	5.2702	12.9338	13.8276	18.968
2.0474	2.76	2300	1.9129	15.134	5.2675	13.0113	13.9106	18.968
2.0474	2.88	2400	1.9103	15.1097	5.276	12.9856	13.8559	18.968
2.04	3.0	2500	1.9062	15.1413	5.2281	12.9537	13.8494	18.968
2.04	3.12	2600	1.9070	14.9792	5.2091	12.8586	13.695	18.968
2.04	3.24	2700	1.9066	14.9506	5.2238	12.8265	13.6925	18.968
2.04	3.36	2800	1.9063	15.053	5.2235	12.8833	13.7711	18.968
2.04	3.48	2900	1.9064	14.9386	5.1363	12.7915	13.688	18.968
2.0273	3.6	3000	1.9053	15.0901	5.2518	12.9063	13.8338	18.968
2.0273	3.72	3100	1.9059	15.0692	5.2665	12.932	13.8394	18.968
2.0273	3.84	3200	1.9021	15.0768	5.3179	12.9916	13.8653	18.968
2.0273	3.96	3300	1.9024	15.1808	5.3312	13.0143	13.9269	18.968
2.0273	4.08	3400	1.8981	15.0905	5.2769	12.9551	13.8666	18.968
2.0291	4.2	3500	1.9007	15.0453	5.3159	12.9429	13.824	18.968
2.0291	4.32	3600	1.9017	15.0403	5.3474	12.9625	13.8437	18.968
2.0291	4.44	3700	1.9005	15.0456	5.3468	12.9521	13.8413	18.968
2.0291	4.56	3800	1.8991	15.0501	5.3539	12.9597	13.8408	18.968
2.0291	4.68	3900	1.8998	15.1219	5.3599	12.9936	13.9013	18.968
2.0193	4.8	4000	1.9004	15.0831	5.329	12.9697	13.8762	18.968
2.0193	4.92	4100	1.8997	15.0817	5.3292	12.958	13.8768	18.968

Framework versions

Transformers 4.38.2
Pytorch 2.2.1+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Comments

Any idea, help or report will always be welcome.

email: rhaymisoncristian@gmail.com