This repository only contains the adapter of the fine-tuned model! You should have access to the base model in order to load it correctly.
1import torch
2import torch.nn.functional as F
3from torch import Tensor
4from transformers import AutoTokenizer, AutoModel
5
6def last_token_pool(last_hidden_states: Tensor,
7 attention_mask: Tensor) -> Tensor:
8 left_padding = (attention_mask[:, -1].sum() == attention_mask.shape[0])
9 if left_padding:
10 return last_hidden_states[:, -1]
11 else:
12 sequence_lengths = attention_mask.sum(dim=1) - 1
13 batch_size = last_hidden_states.shape[0]
14 return last_hidden_states[torch.arange(batch_size, device=last_hidden_states.device), sequence_lengths]
15
16def get_detailed_instruct(task_description: str, query: str) -> str:
17 return f'{task_description}\nQuery: {query}'
18
19
20model = AutoModel.from_pretrained('yuri-no/gemma-palm', torch_dtype=torch.bfloat16).to('cuda')
21tokenizer = AutoTokenizer.from_pretrained('yuri-no/gemma-palm')
22
23# Each query must come with a one-sentence instruction that describes the task
24task = 'Given a search query, retrieve relevant passages that answer the query'
25queries = [
26 get_detailed_instruct(task, 'In che anno il Napoli ha vinto il suo terzo scudetto?'),
27 get_detailed_instruct(task, 'Quali sono le migliori Università italiane?'),
28]
29# No need to add instruction for retrieval documents
30documents = [
31 "Dopo un'attesa durata 33 anni, il Napoli è Campione d'Italia per la terza volta. Per la certezza aritmetica serviva che non perdesse fuori casa con l'Udinese ed è bastato un pareggio per 1-1, avvenuto con il brivido del gol bianconero firmato da Lovric e poi con il pareggio di Osimhen al 52'. La partita di giovedì 4 maggio 2023, trasmessa anche sui maxi-schermi dello Stadio Maradona, è diventata così così in una grande festa per tutto il popolo napoletano e una pagina indimenticabile nella storia del calcio italiano.",
32 "L’Università di Bologna si conferma ancora una volta tra le migliori d’Italia. Stando a un’analisi delle più autorevoli classifiche universitarie i cui risultati sono stati pubblicati dalla piattaforma di apprendimento Preply, la quale ha esaminato le classifiche accademiche di U.S. News in collaborazione con l'istituto di analisi Clarivate, sono stati analizzati i dieci corsi di laurea più popolari nelle principali città universitarie italiane.",
33 "Il Decreto Legislativo 7 marzo 2005 n. 82 Codice dell'Amministrazione digitale, definisce le pubblicazioni contenute su supporti informatici valide e rilevanti a tutti gli effetti di legge in quanto la riproduzione è effettuata in modo tale da garantire la conformità dei documenti agli atti originali. Cio' al fine di rendere possibile l'esonero della produzione ed esibizione del formato originale su supporto cartaceo quando richiesto ad ogni effetto di legge."
34]
35input_texts = queries + documents
36
37max_length = 512
38# Tokenize the input texts
39batch_dict = tokenizer(input_texts, max_length=max_length, padding=True, truncation=True, return_tensors='pt').to('cuda')
40
41outputs = model(**batch_dict)
42embeddings = last_token_pool(outputs.last_hidden_state, batch_dict['attention_mask'])
43
44# normalize embeddings
45embeddings = F.normalize(embeddings, p=2, dim=1)
46scores = (embeddings[:2] @ embeddings[2:].T) * 100
47print(scores.tolist())
48# [[60.5, 16.375, 17.5],
49# [26.0, 58.25, 15.0625]]
