Views
No views yet
$ python.exe
>>> from transformers import pipeline, set_seed
>>> set_seed(42)
>>> generator = pipeline('text-generation', model="egonrp/gpt2-wikiwriter-medium-portuguese")
>>> result = generator('"Armored Warfare" é', max_length=50, num_return_sequences=1)
>>> print(result)
[{'generated_text': '"Armored Warfare" é um jogo eletrônico de ação-aventura desenvolvido pela Rockstar Games e publicado pela Rockstar Games. O jogo é baseado no j'}]# Convertendo o modelo TensorFlow gerado com "gpt_2_simple" para PyTorch:
$ pip install transformers==4.26.1 tensorflow torch==1.13.1
$ transformers-cli convert --model_type gpt2 --tf_checkpoint C:\dev\checkpoint-wiki\run1 --pytorch_dump_output C:\dev\checkpoint-wiki\model_out --config C:\dev\checkpoint-wiki\run1\hparams.json
# Gerando os arquivos "tokenizer.json" e "vocab.json":
$ cd C:\dev\checkpoint-wiki\model_out
$ python.exe
>>> from transformers import GPT2Tokenizer, GPT2TokenizerFast
>>> tokenizer = GPT2Tokenizer(r"C:\dev\checkpoint-wiki\run1\encoder.json", r"C:\dev\checkpoint-wiki\run1\vocab.bpe")
>>> tokenizer.save_vocabulary(r"C:\dev\checkpoint-wiki\model_out")
>>> tokenizer_fast = GPT2TokenizerFast(__slow_tokenizer=tokenizer, from_slow=True)
>>> tokenizer_fast._tokenizer.save("tokenizer.json")