Views
No views yet
1
2
3import pandas as pd
4import torch
5from torch.utils.data import AutTokenizer
6from typing import List, Dict, Union
7from typing import Any, TypeVar
8
9import pandas as pd
10import pickle
11
12MODEL_NAME: str = 'Lajonbot/LaMini-Cerebras-256M-8500-steps-polish'
13
14
15tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
16model = AutoModelForCasualLM.from_pretrained(MODEL_NAME).cuda()
17#Resize model for tokenizer size
18n_tokens: int = len(tokenizer)
19model.resize_token_embeddings(n_tokens)
20
21
22def _generate_prompt(instruction, input=None):
23 if input:
24 return f"""Poniżej znajduje się instrukcja opisująca zadanie, połączona z danymi wejściowymi, które zapewniają dalszy konktekst. Napisz odpowiedź, która odpowiednio odpowie na pytanie.
25### Instruction:
26{instruction}
27### Input:
28{input}
29### Response:"""
30
31manual_instruction: str = "Napisz mi proszę jakie są rodzaje telefonów komórkowych"
32manual_input: str = "Telefony komórkowe, w przeciwieństwie do np. satelitarnych, charakteryzuje to, że działają w obrębie naziemnych fal radiowych w technologii GSM (i w różnych jej wariantach: 3G, 4G czy niebawem 5G). Zasadniczo można jednak wyróżnić wiele ich rodzajów i podzielić je na różne kryteria. I tak, ze względu na rodzaj obudowy, można mówić o telefonach jednobryłowych, rozsuwanych, obrotowych czy też z klapką. Obecnie jednak najbardziej popularne i – ze względu na posiadane parametry – najlepsze telefony komórkowe to smartfony dotykowe."
33
34print(f"Valueation for {manual_instruction} \n\n\n {manual_input}\n\n")
35evaluate(instruction = manual_instruction,
36 input = manual_input)
37