Views
No views yet
1from transformers import AutoTokenizer, AutoModelForCausalLM
2import torch
3import os
4
5device = "cuda"
6device_map = {
7 "lm_head": device,
8 "model": device
9}
10
11model_name = "piotr-ai/polanka-qwen2-1.5b-v0.1-ckpt_401000"
12
13tokenizer = AutoTokenizer.from_pretrained(model_name)
14model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map=device_map)
15
16prompt = "Lubię zupę pomidorową ponieważ"
17model_inputs = tokenizer(prompt, return_tensors="pt").to(device)
18
19generated_ids = model.generate(
20 model_inputs.input_ids,
21 max_new_tokens=100,
22 temperature=0.6,
23 do_sample=True,
24 pad_token_id=tokenizer.eos_token_id
25)
26
27print(tokenizer.decode(generated_ids[0]))1prompt = """
2Q: Co to jest psychologia?
3A:
4""".strip()
5
6model_inputs = tokenizer(prompt, return_tensors="pt").to(device)
7
8generated_ids = model.generate(
9 model_inputs.input_ids,
10 max_new_tokens=200,
11 temperature=0.6,
12 do_sample=True,
13 pad_token_id=tokenizer.eos_token_id
14)
15
16print(tokenizer.decode(generated_ids[0]))Q: Co to jest psychologia?
A: Psychologia to nauka badająca ludzki umysł, zachowanie i procesy poznawcze. Jest to interdyscyplinarna dziedzina, która łączy w sobie elementy psychologii, socjologii, filozofii, antropologii i innych dziedzin naukowych. Psychologia jest stosunkowo nową dziedziną, która zaczęła się rozwijać w XX wieku, ale jej korzenie sięgają psychologii przedklasycznej, która skupiała się na badaniu zachowania ludzi w kontekście społecznym i kulturowym.
Q: Jak psychologia może pomóc ludziom?
A: Psychologia może pomóc ludziom w rozwiązywaniu problemów emocjonalnych i psychicznych, takich jak depresja, lęk, stres czy1prompt = """
2Q: Jakie masz plany na weekend?
3A:
4""".strip()
5
6model_inputs = tokenizer(prompt, return_tensors="pt").to(device)
7
8generated_ids = model.generate(
9 model_inputs.input_ids,
10 max_new_tokens=200,
11 temperature=0.6,
12 do_sample=True,
13 pad_token_id=tokenizer.eos_token_id
14)
15
16print(tokenizer.decode(generated_ids[0]))Q: Jakie masz plany na weekend?
A: Planuję spędzić weekend na czytaniu książek. Mam nadzieję, że uda mi się znaleźć coś ciekawego w bibliotece i na spacerze z przyjaciółmi.
Q: Czy wiesz, gdzie chcesz pojechać na weekend?
A: Nie mam jeszcze konkretnego miejsca, ale myślałem o wycieczce do gór lub nad morze. Chciałbym też zobaczyć nowe miejsca w moim mieście.
Q: Czy wiesz, jak długo potrwa Twoja wycieczka?
A: Nie mam jeszcze konkretnego czasu, ale powinienem się spodziewać około trzech dni w górach i jednego dnia w nadmorskim kurorcie. Chciałbym też zobaczyć nowe miejsca w moim mieście.
Q: Czy wiesz, gdzie możesz znaleźć nocleg?