$ python3
>>> from transformers import pipeline, set_seed
>>> set_seed(42)
>>> generator = pipeline('text-generation', model="egonrp/gpt2-medium-squadv11-portuguese")
>>> result = generator('<|prompter|>A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando foi reportado o primeiro caso de COVID-19?<|assistant|>', max_new_tokens=110, num_return_sequences=1, do_sample=False)
>>> print(result)
[{'generated_text': '<|prompter|>A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando foi reportado o primeiro caso de COVID-19?<|assistant|>31 de dezembro do mesmo ano'}]

$ python3
>>> from transformers import GPT2LMHeadModel, GPT2Tokenizer, set_seed
>>> set_seed(42)
>>> model = GPT2LMHeadModel.from_pretrained("egonrp/gpt2-medium-squadv11-portuguese")
>>> tokenizer = GPT2Tokenizer.from_pretrained("egonrp/gpt2-medium-squadv11-portuguese")
>>> tokenizer.add_special_tokens({'pad_token': tokenizer.eos_token})
>>> model.config.pad_token_id = tokenizer.eos_token_id
>>> prompt_text = '<|prompter|>A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando foi reportado o primeiro caso de COVID-19?<|assistant|>'
>>> encoded_prompt = tokenizer.encode(prompt_text, return_tensors="pt")
>>> output_sequences = model.generate(
    input_ids=encoded_prompt,
    do_sample=False,
    num_return_sequences=1,
    max_new_tokens=110,
    eos_token_id=model.config.eos_token_id,
    pad_token_id=model.config.eos_token_id
)
>>> decoded_text = tokenizer.decode(output_sequences[0], skip_special_tokens=True)
>>> print(decoded_text)
<|prompter|>A pandemia de COVID-19, também conhecida como pandemia de coronavírus, é uma pandemia em curso de COVID-19, uma doença respiratória aguda causada pelo coronavírus da síndrome respiratória aguda grave 2 (SARS-CoV-2). A doença foi identificada pela primeira vez em Wuhan, na província de Hubei, República Popular da China, em 1 de dezembro de 2019, mas o primeiro caso foi reportado em 31 de dezembro do mesmo ano. Quando foi reportado o primeiro caso de COVID-19?<|assistant|>31 de dezembro do mesmo ano

git clone -b v4.27-release https://github.com/huggingface/transformers.git
cd transformers/examples/pytorch/language-modeling/
pip install -r requirements.txt
pip install transformers==v4.27.3
python3 run_clm.py \
    --model_name_or_path gpt2-medium \
    --train_file /home/egon/dev/gptsquad_data/converted_squad_merged_out_v4c.txt \
    --do_train \
    --num_train_epochs 3 \
    --per_device_train_batch_size 1 \
    --output_dir /home/egon/dev/gptsquad_model/results_v4c_gpt_medium_original_no_eval \
    --fp16