Views
No views yet
pip install -U sentence-transformers1from sentence_transformers import CrossEncoder
2
3# Download from the 🤗 Hub
4model = CrossEncoder("cuadron11/jina-reranker-v2-base-multilingual-contrastive-parl-4-1ep-mle5")
5# Get scores for pairs of texts
6pairs = [
7 ["Zein da Carmelo Barrio Baroja legebiltzarkidearen iritzia 'Memoriaren Mapa amaituz' agiriari buruz?", "[TOPIC: Galdera, Carmelo Barrio Baroja Euskal Talde Popularreko legebiltzarkideak lehendakariari egina, 'Memoriaren Mapa amaituz' agiriari buruz]\n[BARRIO BAROJA, (PV-ETP)]:\nlausotu egiten dituzu, eta hori guztia gatazkari buruzko teoria injustu bat elikatzen jarraitzeko. Eta hori tristea da, lehendakari jauna. Egunez egun, gero eta gehiago ahazten dituzu ETAren eta terrorismoaren biktimak. Bere presentziarekin, bere komunikatuekin erasotzen jarraitzen duen erakunde terrorista bat dugu oraindik, eta oraindik argitzeke daude ETAren krimen asko. Ez nahastu biktimak, lehendakari jauna. Eskerrik asko. La (Date: 13.06.2014)"],
8 ['Zein da Ertzaintzaren sindikatuekin abiatutako negoziazio-ekimenen helburua?', '[TOPIC: Galdera, Iñigo Iturrate Ibarra Euzko Abertzaleak taldeko legebiltzarkideak Segurtasuneko sailburuari egina, Segurtasun Sailak Ertzaintzaren sindikatuekin abiatutako negoziazio-ekimenei buruz]\n[SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]:\nzerbitzuak. Ertzaintzak egitura berriak finkatzen jarraitzen du eta gaur eta etorkizunean nahi dugun polizia-eredua finkatzeko neurriak hartzen ari dira. Eta eredu horretan, protestak (bidezkoa izanik ere) ezin du baliogabetu, ezin du ordezkatu sindikatuek proposatzeko, negoziatzeko eta akordioetara iristeko duten erantzukizuna. Horregatik, nire erantzukizuna kontuan harturik, elkarrizketarako eta negoziaziorako erakundeak deitzen jarraituko dugu behar den guztietan. Borondate hori bera eta jarrera hori bera eskatzen diet sindikatuei ere. Ezin dugu baztertu (Date: 13.03.2015)'],
9 ['Zein fasetan dago Emakumeen eta Gizonen Berdintasunerako VII. Plana?', '[TOPIC: Galdera, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak lehendakariari egina, Emakumeen eta Gizonen Berdintasunerako VII. Planari eta Euskadiko Ekonomia eta Gizarte Arazoetarako Batzordearen irizpenari buruz]\n[JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]:\nesango dizut VII. Berdintasun Plana bere osaketaren azken fasean dagoela, hilabete batzuen buruan onetsiko dela, eta Emakundek eskatuta Ekonomia eta Gizarte Arazoetarako Batzordeak egin dituen ekarpenak balioztatu eta errespetatu egiten ditugula. Eta plan berriak erakunde horrek proposatu dituen neurriak garatzeko behar den esparrua eskaintzen du, hain zuzen ere. Hori bai, dagokien unean; hau da, erakunde bakoitzaren programa zehatzen gida-plana gauzatzeko orduan, Macazaga andrea. Ez baitira nahasi behar gida-plan (Date: 13.04.2018)'],
10 ['Zein da Andueza Lorenzoren ikuspuntua Eusko Jaurlaritzak parte hartzen duen ekitaldi instituzionaletan Espainiako bandera erabiltzeari buruz?', '[TOPIC: Mistoa talde parlamentarioak egindako legez besteko proposamena, Eusko Jaurlaritzak parte hartzen duen ekitaldi instituzionaletan Espainiako bandera erabiltzeari buruz. Eztabaida eta behin betiko ebaztea]\n[ANDUEZA LORENZO, (SV-ES)]:\nari baitira zerbitzu horiek ahulduta gera ez daitezen. Gure industriarentzat, merkatari txikientzat, ETEentzat, konponbideak bilatzen izango nauzu ni. Gaur bertan, Legebiltzar honetan, gai horietako batzuk jorratu dira, eta eztabaida horietan aurkituko nauzu ni. Bai eta, jakina, Gobernua kontrolatzen eta hari kritika egiten ere, huts egin badu jardunean. Horretarako gaude, halaber, gai horiei buruz eztabaidatzeko. Baina, begira, herri honetan, zuek politikagintzan hasi baino lehen ere, uste dut denbora eta energia (Date: 27.05.2021)'],
11 ['Zein da UPyDren helburua San Mames berriaren eraikuntzan lan-araudia ez betetzeari buruzko mozioarekin?', '[TOPIC: Mozioa, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebiltzarkideak aurkeztua, San Mames berriaren eraikuntzan lan-araudia ez betetzeari buruz. Eztabaida eta behin betiko ebazpena]\n[MANEIRO LABAYEN, (Mixto-UPyD)]:\nhori salatzea da. Interpelazioa, Arregi andrea, ez zen UPyDren jakin-mina. Ez zen jakin-mina. Ganberan egindako salaketa bat zen, hor egin behar baita, Eusko Legebiltzarrean. Hori da gure lana, ikustea zer egiten duen gaizki Jaurlaritzak, eta hori salatzea eta hona ekartzea. Beraz, esan bezala, mozio honek ez du kezka eragiten; oso egokia da, eta oso beharrezkoa. Dena den, Matute jauna, ez da denbora-galtze bat, ez da denboragaltze bat; izan ere, (Date: 17.10.2013)'],
12]
13scores = model.predict(pairs)
14print(scores.shape)
15# (5,)
16
17# Or rank different texts based on similarity to a single text
18ranks = model.rank(
19 "Zein da Carmelo Barrio Baroja legebiltzarkidearen iritzia 'Memoriaren Mapa amaituz' agiriari buruz?",
20 [
21 "[TOPIC: Galdera, Carmelo Barrio Baroja Euskal Talde Popularreko legebiltzarkideak lehendakariari egina, 'Memoriaren Mapa amaituz' agiriari buruz]\n[BARRIO BAROJA, (PV-ETP)]:\nlausotu egiten dituzu, eta hori guztia gatazkari buruzko teoria injustu bat elikatzen jarraitzeko. Eta hori tristea da, lehendakari jauna. Egunez egun, gero eta gehiago ahazten dituzu ETAren eta terrorismoaren biktimak. Bere presentziarekin, bere komunikatuekin erasotzen jarraitzen duen erakunde terrorista bat dugu oraindik, eta oraindik argitzeke daude ETAren krimen asko. Ez nahastu biktimak, lehendakari jauna. Eskerrik asko. La (Date: 13.06.2014)",
22 '[TOPIC: Galdera, Iñigo Iturrate Ibarra Euzko Abertzaleak taldeko legebiltzarkideak Segurtasuneko sailburuari egina, Segurtasun Sailak Ertzaintzaren sindikatuekin abiatutako negoziazio-ekimenei buruz]\n[SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]:\nzerbitzuak. Ertzaintzak egitura berriak finkatzen jarraitzen du eta gaur eta etorkizunean nahi dugun polizia-eredua finkatzeko neurriak hartzen ari dira. Eta eredu horretan, protestak (bidezkoa izanik ere) ezin du baliogabetu, ezin du ordezkatu sindikatuek proposatzeko, negoziatzeko eta akordioetara iristeko duten erantzukizuna. Horregatik, nire erantzukizuna kontuan harturik, elkarrizketarako eta negoziaziorako erakundeak deitzen jarraituko dugu behar den guztietan. Borondate hori bera eta jarrera hori bera eskatzen diet sindikatuei ere. Ezin dugu baztertu (Date: 13.03.2015)',
23 '[TOPIC: Galdera, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak lehendakariari egina, Emakumeen eta Gizonen Berdintasunerako VII. Planari eta Euskadiko Ekonomia eta Gizarte Arazoetarako Batzordearen irizpenari buruz]\n[JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]:\nesango dizut VII. Berdintasun Plana bere osaketaren azken fasean dagoela, hilabete batzuen buruan onetsiko dela, eta Emakundek eskatuta Ekonomia eta Gizarte Arazoetarako Batzordeak egin dituen ekarpenak balioztatu eta errespetatu egiten ditugula. Eta plan berriak erakunde horrek proposatu dituen neurriak garatzeko behar den esparrua eskaintzen du, hain zuzen ere. Hori bai, dagokien unean; hau da, erakunde bakoitzaren programa zehatzen gida-plana gauzatzeko orduan, Macazaga andrea. Ez baitira nahasi behar gida-plan (Date: 13.04.2018)',
24 '[TOPIC: Mistoa talde parlamentarioak egindako legez besteko proposamena, Eusko Jaurlaritzak parte hartzen duen ekitaldi instituzionaletan Espainiako bandera erabiltzeari buruz. Eztabaida eta behin betiko ebaztea]\n[ANDUEZA LORENZO, (SV-ES)]:\nari baitira zerbitzu horiek ahulduta gera ez daitezen. Gure industriarentzat, merkatari txikientzat, ETEentzat, konponbideak bilatzen izango nauzu ni. Gaur bertan, Legebiltzar honetan, gai horietako batzuk jorratu dira, eta eztabaida horietan aurkituko nauzu ni. Bai eta, jakina, Gobernua kontrolatzen eta hari kritika egiten ere, huts egin badu jardunean. Horretarako gaude, halaber, gai horiei buruz eztabaidatzeko. Baina, begira, herri honetan, zuek politikagintzan hasi baino lehen ere, uste dut denbora eta energia (Date: 27.05.2021)',
25 '[TOPIC: Mozioa, Gorka Maneiro Labayen Mistoa-UPyD taldeko legebiltzarkideak aurkeztua, San Mames berriaren eraikuntzan lan-araudia ez betetzeari buruz. Eztabaida eta behin betiko ebazpena]\n[MANEIRO LABAYEN, (Mixto-UPyD)]:\nhori salatzea da. Interpelazioa, Arregi andrea, ez zen UPyDren jakin-mina. Ez zen jakin-mina. Ganberan egindako salaketa bat zen, hor egin behar baita, Eusko Legebiltzarrean. Hori da gure lana, ikustea zer egiten duen gaizki Jaurlaritzak, eta hori salatzea eta hona ekartzea. Beraz, esan bezala, mozio honek ez du kezka eragiten; oso egokia da, eta oso beharrezkoa. Dena den, Matute jauna, ez da denbora-galtze bat, ez da denboragaltze bat; izan ere, (Date: 17.10.2013)',
26 ]
27)
28# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]jina-reranker-v2-base-multilingual-contrastive-parl-4-1ep-mle5CrossEncoderRerankingEvaluator with these parameters:
1{
2 "at_k": 10,
3 "always_rerank_positives": false
4}| Metric | Value |
|---|---|
| map | 0.0187 (+0.0181) |
| mrr@10 | 0.0187 (+0.0184) |
| ndcg@10 | 0.0187 (+0.0179) |
query and positive| query | positive | |
|---|---|---|
| type | string | string |
| details |
|
|
| query | positive |
|---|---|
Zein da Etxebarrieta Legranden iritzia emakumeen planto egiteari buruz? | [TOPIC: Mozioa, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak aurkeztua, zaintza-lanei, gizarte berdintzaileagoari eta bizitzak erdigunean jartzeko tresnei buruz. Eztabaida eta behin betiko ebazpena][object Object][ETXEBARRIETA LEGRAND, (EH Bildu)]:[object Object]bai, hemendik esaten dizut uste dudala emakumeok behar handia daukagula elkarrekin planto egiteko, garai ilunak birgogorazi nahi dizkigutelako batzuek, baina uste dut ez dakitela benetan zerekin egingo duten topo, asko garelako, antolatuta gaudelako, badakigulako behar dugunean zer utz dezakegun albo batera elkarrekin aurrera egiteko, eta gaurkoa uste dut horren adibide ere badela. Beraz, bai, kontatu gurekin planto egiteko. (Date: 07.03.2019) |
Zer jarduera mota baimentzen ditu Gasteizko Mendiak parke natural izendatzeko hasierako onarpenak? | [TOPIC: Galdera, Daniel Maeztu Perez EH Bildu taldeko legebiltzarkideak Ingurumen eta Lurralde Politikako sailburuari egina, Gasteizko Mendiak parke natural izendatzearen inguruan][object Object][INGURUMEN ETA LURRALDE POLITIKAKO SAILBURUAK (OREGI BASTARRIKA), (EA-NV)]:[object Object]ez, baizik eta obligazioa ere badute balio natural horiek babesteko. Ez dakit irakurri duzun PORN famatu hori. Nik bai. Ez dakit administrazio-batzordeekin eta eragindako udalekin –ez bakarrik Gasteizkoa, baizik baita eragindako horretan dauden guztiak– eztabaidatu duzun. Nik bai. Eta begira, hasierako onarpena duen PORN horrek ez ditu debekatzen oro har industriajarduerak, eremu horretan dauden natura-baliabideen ustiapenarekin lotutako industria-jarduerak izan arren. Gas naturalaren erauzketa, adibidez –baldin balego– debekatu ahal (Date: 13.03.2015) |
Zein da Eusko Jaurlaritzaren asmoa Jarduera Ekonomikoetarako Lurzorua Sortzeko eta Saltoki Handiak Antolatzeko Lurraldearen Arloko Planaren inguruan? | [TOPIC: Galdera, Iker Casanova Alonso EH Bildu taldeko legebiltzarkideak Ingurumen, Lurralde Plangintza eta Etxebizitzako sailburuari egina, Jarduera Ekonomikoetarako Lurzorua Sortzeko eta Saltoki Handiak Antolatzeko Lurraldearen Arloko Planaren inguruan Jaurlaritzak dituen asmoei buruz][object Object][CASANOVA ALONSO, (EH Bildu)]:[object Object]ingurumen-irizpide edo lurraldearen antolamendurako irizpide horiek aplikatu egin daitezke, eta existitzen dira. Egutegi hori benetan gauzatzea gustatuko litzaiguke, eta horren ondorioz LAP berri bat izatea, saltoki handi berriak eta merkataritza-gune berriak ezartzeko orduan edo lehendik daudenak zabaltzeko orduan babes eta ezkutu gisa balioko duena. Oso erne izango gara, gai hau aspaldidanik baitabilkigu. Epaia 2015. urtekoa da; 2016ko otsailean jada sailburu andrearen agerraldia eskatu genuen, eta, bertan, aurrera (Date: 06.10.2017) |
CachedMultipleNegativesRankingLoss with these parameters:
1{
2 "scale": 10.0,
3 "num_negatives": null,
4 "activation_fn": "torch.nn.modules.activation.Sigmoid",
5 "mini_batch_size": 16
6}query and positive| query | positive | |
|---|---|---|
| type | string | string |
| details |
|
|
| query | positive |
|---|---|
Zein da Carmelo Barrio Baroja legebiltzarkidearen iritzia 'Memoriaren Mapa amaituz' agiriari buruz? | [TOPIC: Galdera, Carmelo Barrio Baroja Euskal Talde Popularreko legebiltzarkideak lehendakariari egina, 'Memoriaren Mapa amaituz' agiriari buruz][object Object][BARRIO BAROJA, (PV-ETP)]:[object Object]lausotu egiten dituzu, eta hori guztia gatazkari buruzko teoria injustu bat elikatzen jarraitzeko. Eta hori tristea da, lehendakari jauna. Egunez egun, gero eta gehiago ahazten dituzu ETAren eta terrorismoaren biktimak. Bere presentziarekin, bere komunikatuekin erasotzen jarraitzen duen erakunde terrorista bat dugu oraindik, eta oraindik argitzeke daude ETAren krimen asko. Ez nahastu biktimak, lehendakari jauna. Eskerrik asko. La (Date: 13.06.2014) |
Zein da Ertzaintzaren sindikatuekin abiatutako negoziazio-ekimenen helburua? | [TOPIC: Galdera, Iñigo Iturrate Ibarra Euzko Abertzaleak taldeko legebiltzarkideak Segurtasuneko sailburuari egina, Segurtasun Sailak Ertzaintzaren sindikatuekin abiatutako negoziazio-ekimenei buruz][object Object][SEGURTASUNEKO SAILBURUAK (BELTRÁN DE HEREDIA ARRONIZ), (EA-NV)]:[object Object]zerbitzuak. Ertzaintzak egitura berriak finkatzen jarraitzen du eta gaur eta etorkizunean nahi dugun polizia-eredua finkatzeko neurriak hartzen ari dira. Eta eredu horretan, protestak (bidezkoa izanik ere) ezin du baliogabetu, ezin du ordezkatu sindikatuek proposatzeko, negoziatzeko eta akordioetara iristeko duten erantzukizuna. Horregatik, nire erantzukizuna kontuan harturik, elkarrizketarako eta negoziaziorako erakundeak deitzen jarraituko dugu behar den guztietan. Borondate hori bera eta jarrera hori bera eskatzen diet sindikatuei ere. Ezin dugu baztertu (Date: 13.03.2015) |
Zein fasetan dago Emakumeen eta Gizonen Berdintasunerako VII. Plana? | [TOPIC: Galdera, Eukene Arana Varas Elkarrekin Podemos taldeko legebiltzarkideak lehendakariari egina, Emakumeen eta Gizonen Berdintasunerako VII. Planari eta Euskadiko Ekonomia eta Gizarte Arazoetarako Batzordearen irizpenari buruz][object Object][JAURLARITZAKO LEHENDAKARIAK (URKULLU RENTERIA), (EA-NV)]:[object Object]esango dizut VII. Berdintasun Plana bere osaketaren azken fasean dagoela, hilabete batzuen buruan onetsiko dela, eta Emakundek eskatuta Ekonomia eta Gizarte Arazoetarako Batzordeak egin dituen ekarpenak balioztatu eta errespetatu egiten ditugula. Eta plan berriak erakunde horrek proposatu dituen neurriak garatzeko behar den esparrua eskaintzen du, hain zuzen ere. Hori bai, dagokien unean; hau da, erakunde bakoitzaren programa zehatzen gida-plana gauzatzeko orduan, Macazaga andrea. Ez baitira nahasi behar gida-plan (Date: 13.04.2018) |
CachedMultipleNegativesRankingLoss with these parameters:
1{
2 "scale": 10.0,
3 "num_negatives": null,
4 "activation_fn": "torch.nn.modules.activation.Sigmoid",
5 "mini_batch_size": 16
6}eval_strategy: stepsper_device_train_batch_size: 16per_device_eval_batch_size: 16learning_rate: 2e-05num_train_epochs: 1warmup_ratio: 0.1load_best_model_at_end: Truebatch_sampler: no_duplicatesoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: stepsprediction_loss_only: Trueper_device_train_batch_size: 16per_device_eval_batch_size: 16per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 1eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 2e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 1max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falseuse_ipex: Falsebf16: Falsefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedeepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torchoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsehub_revision: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters:auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: Falseneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseliger_kernel_config: Noneeval_use_gather_object: Falseaverage_tokens_across_devices: Falseprompts: Nonebatch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportionalrouter_mapping: {}learning_rate_mapping: {}| Epoch | Step | Training Loss | Validation Loss | jina-reranker-v2-base-multilingual-contrastive-parl-4-1ep-mle5_ndcg@10 |
|---|---|---|---|---|
| 1.0 | 200 | 0.0414 | 0.0302 | 0.0187 (+0.0179) |
1@inproceedings{reimers-2019-sentence-bert,
2 title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
3 author = "Reimers, Nils and Gurevych, Iryna",
4 booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
5 month = "11",
6 year = "2019",
7 publisher = "Association for Computational Linguistics",
8 url = "https://arxiv.org/abs/1908.10084",
9}