GPT-Neo za Generiranje Fiktivnih Priča/ GPT-Neo for Fiction Story Generation

Opis modela

• Naziv Modela: GPT-Neo-Fiction
• Student: Tin Kanjovsky/Tincando
• Mentor: izv.prof.dr.sc. Darko Etinger
• Verzija Modela: 1.0

Upotrebe i ograničenja

• Pripovijedanje: Generiranje zanimljivih i maštovitih fiktivnih priča.
• Generiranje Sadržaja: Stvaranje sadržaja za blogove, web stranice ili druge medije s elementom pripovijedanja.
• Kreativno Pisanje: Pomoć autorima i piscima pri razmišljanju o idejama i razvijanju narativa.

Performanse Modela

• Podaci za Obuku: Model je obučen na raznolikom skupu podataka fiktivnih priča i prompteva.
• Metrike Evaluacije: Performanse metrika, kao što su perpleksnost ili BLEU skorovi, mogu varirati ovisno o konkretnom zadatku i skupu podataka.

Ograničenja

• Kvaliteta Sadržaja: Iako model može generirati kreativne priče, kvaliteta i koherentnost izlaza mogu varirati, a povremeno može proizvesti besmislene ili neprimjerene sadržaje.
• Pristranost: Model može pokazivati pristranosti prisutne u skupu podataka za obuku, stoga je važno biti oprezan prilikom korištenja za osjetljive teme ili sadržaje.
• Duljina Izlaza: Model može generirati tekst različite duljine i ne uvijek će proizvesti željenu duljinu izlaza.
• Podaci za Fino Podešavanje: Kvaliteta generiranih priča ovisi o kvaliteti i raznolikosti skupa podataka za fino podešavanje.

Upotreba

from transformers import GPTNeoForCausalLM, GPT2Tokenizer

tokenizer = GPT2Tokenizer.from_pretrained(Tincando/fiction_story_generator)
model = GPTNeoForCausalLM.from_pretrained(Tincando/fiction_story_generator)

# Generate a fiction story
input_prompt = "[WP] I can't believe I died the same way twice."
input_ids = tokenizer(input_prompt, add_special_tokens=False, return_tensors="pt").input_ids

output = model.generate(input_ids,
        max_length=300,
        temperature=0.9,
        top_k=2,
        top_p=0.9,
        repetition_penalty=1.2,
        do_sample=True,
        num_return_sequences=2
)

generated_story = tokenizer.batch_decode(output,clean_up_tokenization_spaces=True)[0]
print(generated_story)

Etika

• Moderacija Sadržaja: Implementirajte moderaciju sadržaja kako biste osigurali da generirane priče ne krše smjernice ili standarde zajednice.
• Pristranost i Pravednost: Budite svjesni potencijalnih pristranosti u izlazu modela i poduzmite korake za njihovo ublažavanje.
• Privatnost: Izbjegavajte upotrebu osobnih ili osjetljivih informacija kao ulaznih poticaja.
• Pravna Usklađenost: Pazite da generirani sadržaj bude u skladu s autorskim pravima i zakonima o intelektualnom vlasništvu.

Citiranje

• GPT-Neo Paper
• Fairseq Repository
• Hierarchical Neural Story Generation

Training hyperparameters

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 5

Training results

Framework versions

• Transformers 4.28.0
• Pytorch 1.12.1+cu116
• Datasets 2.4.0
• Tokenizers 0.12.1