This is a sentence-transformers model finetuned from HiTZ/BERnaT_base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: HiTZ/BERnaT_base
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'RobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("aimarsg/bernat_berria_contrastive")
# Run inference
sentences = [
    'Nola lotzen dira longterminismoa eta transhumanismoa korronte ideologiko gisa?',
    'Gaur egungo gizarteko supergaizkileak diren bilionarioak dira honen guztiaren bultzatzaile nagusietakoak, eraginkortasun honen helburu den longterminism edo epeluzerismoa bezala itzuli genezakeenarekin lotuta. Badakizu mundua pikutara bidaltzen ari diren bitartean nortzuk ari diren beraien burua salbatzeko ahalegin handiena egiten. Hauen hitzetan, ez da guztia desagertuko delako, noski ezetz, gizateria izan daitekeenaren potentziala gauzatzeko baizik. Eta epe luzeak eskaintzen duen potentzialaren izenean oso gauza arriskutsuak egin daitezke. Esaterako, orain eta hemen kaltetuak direnei erreparatzeari uztea. Epe luzeari begiratzen badiogu, Gazako gerrak ez duelako gizakiarentzat arrisku existentzialik suposatzen, adibidez. Horregatik gizatasun, etika edo sentimenduetan oinarritutako kausetan denbora galdu beharrean, eragin zabal bat duten horietara zuzendu beharko genuke gure indarra. Arrazoinamendu honetatik gizakiaren potentziala betetzen dela bermatzen duen eugenesiara ez dago ezer. Nick Bostrom filosofoak aipatzen dituen gure emozioak kontrolatzea ahalbidetuko duten aldaketa genetikoetara edo Elon Musk-ek bultzaturiko burmuinean egindako inplanteetara ere ez. Potentziala transhumanoa da. Aseguru etxeen algoritmoak onartuko duen bioingeniaritzarena. Gorputza eta espazioa konkistatu ahal izango duen kapitalarena. Ez da sentimentala. Eta ez da gurea.\n\nKorronte honek guztiak gizakiaren intuizio eta emozioen kontra egiten du epe luzeko teorian baina epe motzeko praktika beste zerbait izaten ari da. Azkenaldian ikusi ditugu, Estatu Batuetan eta Argentinan adibidez, (asmatutako) datuak eskutan, koadratzen ez dien ezer erraietatik ezabatzeko prest. Beharrezkoa den eraginkortasun objektibo bezala aurkeztuz murrizketa emozionala besterik ez dena.',
    'Kontzeptu hori, aldez edo moldez, toki askotatik ari dira azpimarratzen, Zuberogoitiaren aburuz; esate baterako, «ekologia sakonetik biologiaren korronte garaikide batzuetatik, feminismotik edota fisika',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.4317, 0.3214],
#         [0.4317, 1.0000, 0.2662],
#         [0.3214, 0.2662, 1.0000]])

Evaluation

Metrics

Triplet

Dataset: multilingual-e5-large
Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.8686

Training Details

Training Dataset

Unnamed Dataset

Size: 55,314 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 7 tokens
mean: 15.36 tokens
max: 34 tokens
min: 67 tokens
mean: 293.47 tokens
max: 439 tokens

Samples:

anchor	positive
`Zergatik dio artikuluaren izenburuak "Ez gaude hemen"?`	Ez gaude hemen[object Object][object Object]Goizeko kafesnea zerbitzatzen dizunak ea asteburuko pilota partida ikusi zenuten galdetu dizu, gogorra izan zela, berak ez zuela faboritorik, ea zurea zein zen. Beti ematen du hizketarako gogoa duela, baina gaur bere alabak lehengo kimio saioa du. Ez da ari pilota partidan pentsatzen. Zure lankide apaina orain arte ikusi ez diozun arropa koloretsu batekin etorri da, ilea ondulatua, hortzak zuri. Nola egiten du? Liburu bat atera du poltsatik. «Zuretzako». Asteburuan irakurri duela, gustatu zaiola, eta nirekin gogoratu dela. Nola egiten du? Atzo bere lagun baten nebaz esan ziotena darabil buruan. Esan egin behar lioke? Badagokio? Eta egia bada? Gaua lorik egin gabe pasatu du, zuri eman dizun liburua irakurtzen. Pilateseko irakaslearentzat gaur, apirilak 1, lehenengo aldiz larrua jo zuen eguna da. Laranjak oso onak daudela esan dizun dendariak Adolescence telesailean beste ezertan ezin du pentsatu. «Zer moduz eguna?» whatsappez galdetu dizun lagunak inoizko haserre handien...
`Zein dira LABen proposamenak industria trantsiziorako plangintzei dagokienez?`	Hori jakinda, LABek «bizitza kapitalaren gainetik» jarri behar dela aldarrikatu du, eta «sistema kapitalista heteropatriarkal, arrazista eta biozida gainditzeko» proposamen sorta bat egin du, zazpi ataletan zatituta.[object Object][object Object]1[object Object][object Object]Industria trantsiziorako plangintzak[object Object][object Object]Enpresen plan estrategikoak negoziazio kolektiboaren menpe jartzea nahi du, eta, hortaz, enpresa batzordeetan eztabaidatzea eta bozkatzea, eta batzordeek horri buruzko beto ahalmena izatea.[object Object][object Object]2[object Object][object Object]Diru publikoaren erabilera[object Object][object Object]LABen arabera, energia trantsiziorako jarritako diru publikoa ezin da mugatu ekimen pribatua laguntzera. Uste duenez, erakundeek zuzenean inplikatu behar dute jabetza publikoko proiektuen garapenean, eta krisian dauden enpresa industrialak erosi behar dituzte. Gainera, dirua jasotzen duten enpresek derrigortuta egon beharko lukete hamar urtez ez ixtera eta inor ez kanporatzera. «Itxierak, kaleratzeak edo murrizketak egin dituzten enpresek laguntza publikoen lehiaketetatik kanpo geratu behar dute, eta diru laguntza...
`Zenbat pakete inportatu zituen Europako Batasunak joan den urtean?`	Pakete txikien zama handia[object Object][object Object]Donald Trumpek abiarazitako merkataritza gerraren azpian badago beste merkataritza gerra bat, AEB Ameriketako Estatu Batuak eta EB Europako Batasuna, neurri txikiagoan bada ere, aspaldian irabazi ezinda dabiltzana: balio gutxiko salgaien inportazio neurrigabeena. Bereziki Txinatik datozen produktu horiek ez dute muga zergarik ordaintzen, eta Temu, Shein, Alibaba eta merkataritza elektronikoko beste plataforma handiek salbuespen hori baliatu dute azken urteetan negozioa handitzeko. AEBetan, 800 dolarretik beherako paketeei aplikatzen zaie salbuespena; EBn, aldiz, 150 euro baino gutxiagokoei.[object Object][object Object]Bruselak salbuespena amaitzea proposatu die EBko herrialdeei. Europako Batzordeak proposatu du paketeei tasa bat kobratzen hastea, eta, horretarako, lege aldaketa hastea galdegin die Europako Parlamentuari eta Europako Kontseiluari. Zera proposatu du: pakete bakoitzeko bi euroko tasa ordainaraztea produktua norbanako batek erosten duenean zuzenean, eta 50 zentimokoa hand...

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Evaluation Dataset

Unnamed Dataset

Size: 55,324 evaluation samples
Columns: anchor, positive, and negative
Approximate statistics based on the first 1000 samples:
anchor positive negative
type string string string
details
min: 6 tokens
mean: 15.31 tokens
max: 30 tokens
min: 73 tokens
mean: 293.29 tokens
max: 418 tokens
min: 5 tokens
mean: 140.17 tokens
max: 411 tokens

Samples:

anchor	positive	negative
`Zein da Kanarietako lorratz ekologikoa munduko batez bestekoarekin alderatuta?`	Auzoen lapurreta[object Object][object Object]Etxebizitzari dagokionez, pisu turistikoen galgarik gabeko hazkundeak larriagotu du egoera. Mota horretako 53.938 etxebizitza daude orain uhartedian, 2022ko azaroan baino %39,7 gehiago. Dena den, gobernuak argitaratu du horiek erregulatzeko lege proiektu bat, adituen arabera, negozio horrekin amaitzeko balioko duena.[object Object][object Object]Bizileku turistiko asko orain arte bertakoenak izan diren tokietan daude. Reyesen iritziz, mobilizatzeko arrazoi nagusietako bat da hori. Auzoak eta eremu naturalak lapurtu nahi dizkietela diote kanariar askok. Hernandezek sakondu du gaian, eta sakelakoek eragindako aldaketak nabarmendu ditu: «Pandemia osteko turistak gehiago mugitzen dira; gure auzoetan topatzen ditugu orain, gure jatetxeetan, gure txoko sekretuetan». Sare sozialei esker aurkitzen dituzte leku horiek.[object Object][object Object]Etxebizitzaren inguruko aldarrikapenak Kanaria Handiko Las Palmas hirian, apirilaren 20an egindako manifestazioan. QUIQUE CURBELO / EFE[object Object][object Object]Ekologistak Martxan-eko kideak, ezinbestean, hizpi...	Pradalesek arreta berezia jarri zuen gazteengan eta etxebizitza politikan. Onartu zuen etxebizitzarena «erronka handietako bat» dela gaur egun, eta, horregatik, iragarri zuen emantzipazioa errazteko eta erronka demografikoari aurre egiteko hainbat neurri hartuko dituela. Horien artean daude, besteak beste, alokairu sozialerako 7.000 etxebizitza eraikitzea eta aitatasun eta amatasun baimenak luzatzea.[object Object][object Object]Ekonomiaren alorrean, iragarri zuen 2028rako industria plan bat osatuko duela, eta trantsizio energetikoa eta deskarbonizazioa sustatzeko erraztasunak emango dituela. Bizikidetzaren alorrean, «zoru etikoa» onartzeko beharra aldarrikatu zuen, zeinak «giza eskubideen urraketen biktima guztiak» aintzat hartuko dituen. Euskarari dagokionez, berriz, ezagutza eta erabilera sustatzeko beharra aipatu zuen, doakotasuna oinarri gisa hartuta. Urkulluri eskerrak emanez amaitu zuen hitzaldia, eta hark egindako lanari aitortza eginez.[object Object][object Object]Lurzoru partekatua[object Object][object Object]Otxandianok etorkizuneko herri proiektu parteka...
`Zein da Ukrainako presidente Zelenskiren onarpen maila ukrainarren artean?`	Aurreko hilabeteetan, baina, AEBetako presidente Donald Trumpek ere iradoki izan du Ukrainan hauteskundeak egiteko garaia dela, eta Zelenski «diktadoretzat» jo izan du sare sozialetan. Gainera, otsailaren 19an emandako prentsaurreko batean, Etxe Zuriko maizterrak ziurtatu zuen Zelenskik ez duela ukrainarren babesik. «Nahiago nuke esan behar ez izatea, baina %4ko onarpen maila baino ez dauka», adierazi zuen. Ez zuen argitu datu hori zer iturritatik atera zuen. Azken inkestek bestelako joera bat erakusten dute: Kieveko Nazioarteko Soziologia Institutuak atzo argitaratutako inkesta baten arabera, Ukrainako herritarren %69k dute konfiantza egungo presidentearengan.[object Object][object Object]Trumpek presidente kargua hartu aurretik ziurtatu zuen Etxe Zurira iritsi bezain laster amaiaraziko zuela Ukrainako gerra. Putinen ustez, Trumpek «benetan» nahi du Ukrainako gerra amaitu, eta, atzo azaldu zuenez, horregatik hitz egin du harekin hainbatetan. AEBetako presidenteak, ordea, oraingoz ez du lortu hori, baina Washingt...	`Ukrainako presidente Volodimir Zelenskirentzat, «baldintzarik gabeko menia bat» lortzea da lehentasuna, eta, haren hitzetan, hori bera izango da biharko Londresko bilkuraren xedea.`
`Zein dira Frantziako Gobernuaren politikak aberastasunaren banaketari dagokionez, sindikatuen iritziz?`	Dominique Pons CGT sindikatuko ordezkariak garrantzia kendu zion LABen presentziari, azpimarratuta lehenago ere elkarrekin mobilizatu izan direla, baina Eñaut Aramendi sindikatu abertzaleko kideak baieztatu zuen segregazio sindikalik gabe iragaten den lehen mobilizazioa dela: «Egia da iazkoa egoera oso konplikatua izan zela [erretreten erreformaren kontrako protestetatik kanpo utzi zuten LAB]. Aurten lortu dugu Maiatzaren Lehena gehiengo sindikal batean antolatzen. Sindikatu batzuk baizik ez dira eskas; haiek esplikatu beharko dute zer interes duten Maiatzaren Lehenean ez mobilizatzeko». Besteak beste, FO sindikatuak ez du parte hartu nahi izan, baina bai CFDT, CGT, LAB, FSU-Snuipp, Solidaires eta UNSA sindikatuek, beste hainbat eragile politiko eta sozialekin batera.[object Object][object Object]LABen bandera batu zitzaien lehen aldiz CGT, CFDT, FSU, UNSA eta Solidaires sindikatuetakoei, Baionan. PATXI BELTZAIZ[object Object][object Object]Bukaeran irakurritako agiri bateratuan «bestelako aberastasunen banaketa» aldarrikatu zuten. «Hemen g...	`Hala ere, Jon Hernandez legebiltzarkidearen iritziz, ezinbestekoa da aberastasunaren sorrerari erreparatu ordez haren banaketari behatzea.`

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
learning_rate: 2e-05
warmup_ratio: 0.1
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 8
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	multilingual-e5-large_cosine_accuracy
0.0145	100	1.7255	-	-
0.0289	200	1.0445	-	-
0.0434	300	0.2619	-	-
0.0578	400	0.1713	-	-
0.0723	500	0.1398	-	-
0.0868	600	0.1109	-	-
0.1012	700	0.0688	-	-
0.1157	800	0.0642	-	-
0.1302	900	0.0639	-	-
0.1446	1000	0.0561	-	-
0.1591	1100	0.0524	-	-
0.1735	1200	0.0801	-	-
0.1880	1300	0.0592	-	-
0.2025	1400	0.0635	-	-
0.2169	1500	0.0539	-	-
0.2314	1600	0.0447	-	-
0.2458	1700	0.0535	-	-
0.2603	1800	0.0461	-	-
0.2748	1900	0.0308	-	-
0.2892	2000	0.0333	-	-
0.3037	2100	0.0429	-	-
0.3181	2200	0.0432	-	-
0.3326	2300	0.0428	-	-
0.3471	2400	0.0362	-	-
0.3615	2500	0.0536	-	-
0.3760	2600	0.0405	-	-
0.3905	2700	0.0582	-	-
0.4049	2800	0.0279	-	-
0.4194	2900	0.0322	-	-
0.4338	3000	0.0364	-	-
0.4483	3100	0.0372	-	-
0.4628	3200	0.0434	-	-
0.4772	3300	0.0341	-	-
0.4917	3400	0.044	-	-
0.5061	3500	0.0459	-	-
0.5206	3600	0.0215	-	-
0.5351	3700	0.0434	-	-
0.5495	3800	0.0371	-	-
0.5640	3900	0.0292	-	-
0.5785	4000	0.0198	-	-
0.5929	4100	0.0307	-	-
0.6074	4200	0.0276	-	-
0.6218	4300	0.0303	-	-
0.6363	4400	0.0271	-	-
0.6508	4500	0.0239	-	-
0.6652	4600	0.0206	-	-
0.6797	4700	0.03	-	-
0.6941	4800	0.0183	-	-
0.7086	4900	0.0195	-	-
0.7231	5000	0.0233	-	-
0.7375	5100	0.0273	-	-
0.7520	5200	0.0291	-	-
0.7664	5300	0.0316	-	-
0.7809	5400	0.0249	-	-
0.7954	5500	0.0174	-	-
0.8098	5600	0.0256	-	-
0.8243	5700	0.0236	-	-
0.8388	5800	0.0156	-	-
0.8532	5900	0.0232	-	-
0.8677	6000	0.0272	-	-
0.8821	6100	0.0204	-	-
0.8966	6200	0.0283	-	-
0.9111	6300	0.0111	-	-
0.9255	6400	0.0206	-	-
0.9400	6500	0.0322	-	-
0.9544	6600	0.0247	-	-
0.9689	6700	0.025	-	-
0.9834	6800	0.0165	-	-
0.9978	6900	0.02	-	-
1.0	6915	-	0.4372	0.8412
1.0123	7000	0.0114	-	-
1.0268	7100	0.0119	-	-
1.0412	7200	0.0099	-	-
1.0557	7300	0.0073	-	-
1.0701	7400	0.006	-	-
1.0846	7500	0.0194	-	-
1.0991	7600	0.0129	-	-
1.1135	7700	0.0177	-	-
1.1280	7800	0.0108	-	-
1.1424	7900	0.0129	-	-
1.1569	8000	0.013	-	-
1.1714	8100	0.0094	-	-
1.1858	8200	0.0071	-	-
1.2003	8300	0.0132	-	-
1.2148	8400	0.0096	-	-
1.2292	8500	0.0147	-	-
1.2437	8600	0.0153	-	-
1.2581	8700	0.0129	-	-
1.2726	8800	0.0184	-	-
1.2871	8900	0.0064	-	-
1.3015	9000	0.0114	-	-
1.3160	9100	0.0105	-	-
1.3304	9200	0.0166	-	-
1.3449	9300	0.0122	-	-
1.3594	9400	0.0135	-	-
1.3738	9500	0.009	-	-
1.3883	9600	0.0171	-	-
1.4027	9700	0.0131	-	-
1.4172	9800	0.0103	-	-
1.4317	9900	0.0135	-	-
1.4461	10000	0.0112	-	-
1.4606	10100	0.0096	-	-
1.4751	10200	0.0129	-	-
1.4895	10300	0.0073	-	-
1.5040	10400	0.0052	-	-
1.5184	10500	0.0139	-	-
1.5329	10600	0.0089	-	-
1.5474	10700	0.0176	-	-
1.5618	10800	0.0188	-	-
1.5763	10900	0.0215	-	-
1.5907	11000	0.0124	-	-
1.6052	11100	0.0149	-	-
1.6197	11200	0.0048	-	-
1.6341	11300	0.0075	-	-
1.6486	11400	0.0162	-	-
1.6631	11500	0.0066	-	-
1.6775	11600	0.0166	-	-
1.6920	11700	0.0147	-	-
1.7064	11800	0.011	-	-
1.7209	11900	0.0094	-	-
1.7354	12000	0.0114	-	-
1.7498	12100	0.0082	-	-
1.7643	12200	0.019	-	-
1.7787	12300	0.016	-	-
1.7932	12400	0.0093	-	-
1.8077	12500	0.021	-	-
1.8221	12600	0.0107	-	-
1.8366	12700	0.0086	-	-
1.8510	12800	0.0069	-	-
1.8655	12900	0.011	-	-
1.8800	13000	0.0058	-	-
1.8944	13100	0.0131	-	-
1.9089	13200	0.0106	-	-
1.9234	13300	0.0103	-	-
1.9378	13400	0.0051	-	-
1.9523	13500	0.0074	-	-
1.9667	13600	0.0045	-	-
1.9812	13700	0.0076	-	-
1.9957	13800	0.0086	-	-
2.0	13830	-	0.3585	0.8620
2.0101	13900	0.0121	-	-
2.0246	14000	0.0132	-	-
2.0390	14100	0.0051	-	-
2.0535	14200	0.0039	-	-
2.0680	14300	0.0056	-	-
2.0824	14400	0.0055	-	-
2.0969	14500	0.0152	-	-
2.1114	14600	0.0031	-	-
2.1258	14700	0.0094	-	-
2.1403	14800	0.0039	-	-
2.1547	14900	0.0018	-	-
2.1692	15000	0.0061	-	-
2.1837	15100	0.0069	-	-
2.1981	15200	0.0051	-	-
2.2126	15300	0.0031	-	-
2.2270	15400	0.0043	-	-
2.2415	15500	0.0094	-	-
2.2560	15600	0.0115	-	-
2.2704	15700	0.0039	-	-
2.2849	15800	0.002	-	-
2.2993	15900	0.0049	-	-
2.3138	16000	0.0022	-	-
2.3283	16100	0.0081	-	-
2.3427	16200	0.0029	-	-
2.3572	16300	0.0039	-	-
2.3717	16400	0.0058	-	-
2.3861	16500	0.0055	-	-
2.4006	16600	0.0035	-	-
2.4150	16700	0.0036	-	-
2.4295	16800	0.0058	-	-
2.4440	16900	0.0031	-	-
2.4584	17000	0.0068	-	-
2.4729	17100	0.0043	-	-
2.4873	17200	0.0079	-	-
2.5018	17300	0.0047	-	-
2.5163	17400	0.0059	-	-
2.5307	17500	0.0102	-	-
2.5452	17600	0.0051	-	-
2.5597	17700	0.0074	-	-
2.5741	17800	0.0027	-	-
2.5886	17900	0.0016	-	-
2.6030	18000	0.0061	-	-
2.6175	18100	0.0046	-	-
2.6320	18200	0.0036	-	-
2.6464	18300	0.0086	-	-
2.6609	18400	0.0048	-	-
2.6753	18500	0.0038	-	-
2.6898	18600	0.0088	-	-
2.7043	18700	0.0036	-	-
2.7187	18800	0.0031	-	-
2.7332	18900	0.0034	-	-
2.7477	19000	0.0082	-	-
2.7621	19100	0.0064	-	-
2.7766	19200	0.0034	-	-
2.7910	19300	0.0037	-	-
2.8055	19400	0.002	-	-
2.8200	19500	0.0023	-	-
2.8344	19600	0.0079	-	-
2.8489	19700	0.0061	-	-
2.8633	19800	0.0021	-	-
2.8778	19900	0.0045	-	-
2.8923	20000	0.0024	-	-
2.9067	20100	0.0057	-	-
2.9212	20200	0.0024	-	-
2.9356	20300	0.0047	-	-
2.9501	20400	0.0038	-	-
2.9646	20500	0.0073	-	-
2.9790	20600	0.0044	-	-
2.9935	20700	0.0067	-	-
3.0	20745	-	0.3347	0.8686

Framework Versions

Python: 3.10.8
Sentence Transformers: 5.1.0
Transformers: 4.56.0
PyTorch: 2.8.0+cu128
Accelerate: 1.10.1
Datasets: 4.0.0
Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	anchor	positive
type	string	string
details	min: 7 tokens mean: 15.36 tokens max: 34 tokens	min: 67 tokens mean: 293.47 tokens max: 439 tokens