You can deploy this model and start earning money today!

Santiago1712/
Modell_TinySchakespeare

Name: Modell_TinySchakespeare
Availability: InStock

pytorch

decoder_only_transformer

karpathy/tiny_shakespeare

apache-2.0

Views

No views yet

Mein kleines Shakespeare-Sprachmodell

Dieses ist ein kleines, autoregressives Sprachmodell, das nach dem Decoder-only-Transformer-Ansatz mit PyTorch implementiert wurde. Es wurde auf dem Tiny Shakespeare-Datensatz trainiert, um zu lernen, Text im Stil von Shakespeare zu generieren.

Modell-Details

Architektur: Decoder-only Transformer mit nn.TransformerDecoderLayer und nn.TransformerDecoder aus PyTorch.
Anzahl der Parameter: Weniger als 1 Million.
Trainingsdaten: Tiny Shakespeare Datensatz.
Tokenizer: Verwendet wurde der GPT2Tokenizer.
vocab_size = tokenizer.vocab_size
Batch Size = 32
Block Size = 128
embed_size = 8
num_layers = 1
heads = 1
dropout = 0.1
forward_expansion = 1
Learning rate = 1e-4
Optimizer = AdamW
Epochen = 5

Verwendungsweise

Du kannst dieses Modell verwenden, um Text im Stil von Shakespeare zu generieren. Hier ist ein einfaches Beispiel, wie du es mit der transformers-Bibliothek laden und verwenden kannst (beachte, dass möglicherweise eine benutzerdefinierte Modellklasse oder eine angepasste Konfiguration erforderlich ist, da es sich nicht um ein direkt unterstütztes transformers-Modell handelt):

python

from transformers import AutoTokenizer, AutoModelForCausalLM

# Hinweis: Möglicherweise ist eine benutzerdefinierte Modellklasse oder Konfiguration erforderlich
# da es sich nicht um ein Standard-transformers-Modell handelt.

model_name = "DeinNutzername/DeinModellName" # Ersetze dies durch den tatsächlichen Namen deines Modells
tokenizer = AutoTokenizer.from_pretrained(model_name)
# model = AutoModelForCausalLM.from_pretrained(model_name) # Dies funktioniert möglicherweise nicht direkt

# Beispielhafte Verwendung (kann angepasst werden)
prompt = "Die "
input_ids = tokenizer.encode(prompt, return_tensors="pt")

# Generiere Text (die genaue Implementierung hängt davon ab, wie das Modell geladen wird)
# output = model.generate(input_ids, max_length=100, num_return_sequences=1)
# generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
# print(generated_text)

Santiago1712/Modell_TinySchakespeare

Mein kleines Shakespeare-Sprachmodell

Modell-Details

Verwendungsweise

Santiago1712/
Modell_TinySchakespeare