Views
No views yet
1from huggingface_hub import hf_hub_download
2import torch
3import json
4
5# Загрузи конфигурацию
6config_path = hf_hub_download(repo_id="YOUR_USERNAME/YOUR_REPO_NAME", filename="config.json")
7with open(config_path, 'r') as f:
8 config_dict = json.load(f)
9
10# Создай конфигурацию
11from dataclasses import dataclass
12@dataclass
13class TransformerConfig:
14 n_layer: int
15 n_head: int
16 n_kv_head: int
17 hidden_dim: int
18 intermediate_dim: int
19 dropout: float
20 vocab_size: int
21 max_seq_len: int
22 use_mla: bool
23 n_latent: int
24
25config = TransformerConfig(**config_dict)
26
27# Загрузи модель
28model_path = hf_hub_download(repo_id="YOUR_USERNAME/YOUR_REPO_NAME", filename="pytorch_model.bin")
29model = TransformerForCausalLM(config)
30model.load_state_dict(torch.load(model_path, map_location='cpu'))
31model.eval()
32
33# Загрузи токенизатор
34tokenizer_path = hf_hub_download(repo_id="YOUR_USERNAME/YOUR_REPO_NAME", filename="tokenizer.json")
35# ... код загрузки токенизатора1text = "Штирлиц пришел домой"
2input_ids = torch.tensor(tokenizer.encode(text))
3output = model.generate(
4 input_ids[None, :],
5 max_new_tokens=200,
6 eos_token_id=tokenizer.eos_token_id,
7 do_sample=True,
8 top_k=10
9)
10generated_text = tokenizer.decode(output[0].tolist())
11print(generated_text)pytorch_model.bin - веса моделиconfig.json - конфигурация моделиtokenizer.json - токенизаторvocab.json - словарь токенизатораmerges.txt - BPE мержи