Views
No views yet
| Компонент | Описание |
|---|---|
| Embedding | Стандартный слой nn.Embedding с масштабированием √d_model |
| Positional Encoding | Синусоидальные кодирования (Sinusoidal) |
| Attention | Grouped Query Attention (GQA) – ускорение инференса за счёт группировки KV-heads |
| FFN | Два линейных слоя с активацией SiLU (SwiGLU-подобный) |
| Голова | lm_head (без bias) для генерации токенов |
config.json.transformers. Установите зависимости:pip install torch transformers safetensors huggingface_hub1from transformers import AutoModelForCausalLM, GPT2Tokenizer
2
3model = AutoModelForCausalLM.from_pretrained("Qwest/Space_Oleg", trust_remote_code=True)
4tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
5tokenizer.pad_token = tokenizer.eos_token1import torch
2
3device = "cuda" if torch.cuda.is_available() else "cpu"
4model.to(device).eval()
5
6prompt = "python is a "
7input_ids = tokenizer.encode(prompt, return_tensors="pt").to(device)
8
9with torch.no_grad():
10 output_ids = model.generate(
11 input_ids,
12 max_length=100,
13 temperature=0.8,
14 top_k=50,
15 top_p=0.95,
16 do_sample=True,
17 pad_token_id=tokenizer.eos_token_id,
18 )
19
20generated_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)
21print(generated_text)| Параметр | Значение |
|---|---|
| d_model | 512 |
| d_ff | 1024 |
| num_layers | 12 |
| num_heads | 8 |
| num_groups | 2 |
| vocab_size | 50257 |
| max_len | 2048 |