Views
No views yet
| Model | F1 Score | Exact Match (EM) |
|---|---|---|
| DeepMount00/Gemma_QA_ITA_v3 | 77.24% | 64.60% |
| DeepMount00/Gemma_QA_ITA_v2 | 77.17% | 63.82% |
| DeepMount00/mamba_790_hf_qa | 75.89% | 66.71% |
| DeepMount00/Gemma_QA_ITA | 59.59% | 40.68% |
1from transformers import MambaConfig, MambaForCausalLM, AutoTokenizer
2import torch
3
4model_name = "DeepMount00/mamba_790_hf_qa"
5tokenizer = AutoTokenizer.from_pretrained(model_name)
6model = MambaForCausalLM.from_pretrained(model_name, device_map={"": 0}).eval()
7
8
9def predict(contesto, domanda):
10 device = "cuda:0"
11 prefix_text = 'Di seguito ti verrà fornito un contesto e poi una domanda. il tuo compito è quello di rispondere alla domanda basandoti esclusivamente sul contesto\n\n'
12
13 prompt = f"""{prefix_text}##CONTESTO: {contesto}\n##DOMANDA: {domanda}\n"""
14
15 input_ids = tokenizer([prompt], return_tensors="pt").to(device)
16
17 generate_ids = model.generate(**input_ids, max_new_tokens=150, eos_token_id=8112)
18
19 answer = tokenizer.batch_decode(generate_ids)
20 try:
21 final_answer = answer[0].split("##RISPOSTA: ")[1].split("##END")[0].strip("\n")
22 except IndexError:
23 final_answer = ""
24 return final_answer
25
26
27contesto = """La torre degli Asinelli è una delle cosiddette due torri di Bologna, simbolo della città, situate in piazza di porta Ravegnana, all'incrocio tra le antiche strade San Donato (ora via Zamboni), San Vitale, Maggiore e Castiglione. Eretta, secondo la tradizione, fra il 1109 e il 1119 dal nobile Gherardo Asinelli, la torre è alta 97,20 metri, pende verso ovest per 2,23 metri e presenta all'interno una scalinata composta da 498 gradini. Ancora non si può dire con certezza quando e da chi fu costruita la torre degli Asinelli. Si presume che la torre debba il proprio nome a Gherardo Asinelli, il nobile cavaliere di fazione ghibellina al quale se ne attribuisce la costruzione, iniziata secondo una consolidata tradizione l'11 ottobre 1109 e terminata dieci anni dopo, nel 1119."""
28domanda = "Dove si trova precisamente la torre degli Asinelli?"
29
30print(predict(contesto, domanda))