Views
No views yet
1from transformers import AutoModelForCausalLM, AutoTokenizer
2import torch
3
4# Załaduj model i tokenizer
5model_name = "TWOJA_NAZWA_UŻYTKOWNIKA/gemma-civil-code-pl"
6tokenizer = AutoTokenizer.from_pretrained(model_name)
7model = AutoModelForCausalLM.from_pretrained(
8 model_name,
9 torch_dtype=torch.float16,
10 device_map="auto",
11)
12
13# Przykładowe pytanie
14prompt = "Artykuł 583 Kodeksu cywilnego stanowi, że"
15
16inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
17outputs = model.generate(
18 **inputs,
19 max_new_tokens=512,
20 do_sample=True,
21 temperature=0.7,
22 top_p=0.9,
23)
24
25# Wyodrębnij odpowiedź
26response = tokenizer.decode(outputs[0], skip_special_tokens=True)
27print(response)