CrossEncoder based on Alibaba-NLP/gte-reranker-modernbert-base

Model Details

Model Description

• Model Type: Cross Encoder
• Base model: Alibaba-NLP/gte-reranker-modernbert-base
• Maximum Sequence Length: 512 tokens
• Number of Output Labels: 1 label
• Training Dataset:
  • arcade-reranker-data

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Cross Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Cross Encoders on Hugging Face

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Cross Encoder Reranking

• Datasets: NanoMSMARCO_R100, NanoNFCorpus_R100 and NanoNQ_R100
• Evaluated with CrossEncoderRerankingEvaluator with these parameters:
  json

  1{ 2 "at_k": 10, 3 "always_rerank_positives": true 4}

Cross Encoder Nano BEIR

• Dataset: NanoBEIR_R100_mean
• Evaluated with CrossEncoderNanoBEIREvaluator with these parameters:
  json

  1{ 2 "dataset_names": [ 3 "msmarco", 4 "nfcorpus", 5 "nq" 6 ], 7 "dataset_id": "sentence-transformers/NanoBEIR-en", 8 "rerank_k": 100, 9 "at_k": 10, 10 "always_rerank_positives": true 11}

Training Details

Training Dataset

arcade-reranker-data

• Dataset: arcade-reranker-data at 9e3c538
• Size: 2,277 training samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 2 characters mean: 103.67 characters max: 558 characters	min: 13 characters mean: 518.43 characters max: 25528 characters	min: 0.0 mean: 0.31 max: 1.0

• Samples:

  sentence1	sentence2	label
  Kan je daarvoor op het internet kijken?	Er wordt gewerkt aan de datanetwerk-infrastructuur voor het project, waarbij energiemeters worden aangesloten op een fibernetwerk [5], [6], [7]. Er is een vaste internetverbinding aangevraagd, die door EXV wordt verzorgd en bij oplevering wordt overgedragen [4], [6], [8]. De Gateway van Tibo moet worden geïnstalleerd en verbonden met het netwerk, waarbij zowel 4G als een internetverbinding opties zijn, met redundantie als aanbeveling [2], [4], [6], [8]. Extravolt is verantwoordelijk voor het opzetten van de netwerkconfiguratie en stemt af met Tibo [4], [6]. Er wordt gekeken welke componenten verbinding maken met de cloud of internet, naast het EMS van Tibo, en hoe de batterij wordt uitgelezen door EXV voor de beschikbaarheidsgarantie, waarschijnlijk via VPN [2], [4], [6], [7], [8]. De meti	0.6666666666666666
  Geef een generieke template voor verlichtingsberekingen in een lastenboek	Issue: nu blijkt dat er ook een datacenter aangesloten gaat moeten worden.[object Object]In welke mate kan dat om met +-10% -> dit gaat meer algemeen moeten bekeken worden.[object Object]- Hier is logica van antwoord dat de neteheerders zowiezo moeten voldoen aan een maximale marge van +-10% van hun uitgangsspanning.[object Object]- Die norm is aangeleverd door Infrabel.[object Object]- Dit betekent dat elektrische apparatuur die in het belgische net gezet wordt, moet bestand zijn aan schommelingen van +-10% Artikel 10. Variaties in spanning en frequ	0.0
  Moet er oven brandhaspels altijd een noodverlichting voorzien worden? In welke norm vind ik hier info over	REFERENTIENORMEN | Standard | Description |[object Object]|---|---|[object Object]| NBN 01 | Woordenlijst voor de verlichtingskunde (2001) |[object Object]| NBN EN 60598 (1989) | Elektrische verlichtingstoestellen (1989) |[object Object]| NBN EN 60598-2-2 | Verlichtingstoestellen - Deel twee : Bijzondere regels - Sectie twee : Inbouw verlichtingstoestellen (1990) |[object Object]| Reeks NBN 60598 | Verlichtingsarmaturen |[object Object]| NBN C 20-530 | Beschermingsgraden gegeven door de omhulsels (IP-Code) (1992) + add (1000) |[object Object]| NBN EN 60001 | Lampen en in - houders alsmede kalibers voor controle van uitwisselbaarheid & veiligheid 1-3 (2003) |[object Object]| NBN EN 1838 | Toegepaste verlichtingstechniek - Noodverlichting (1999) |[object Object]| NBN L 14-001 & 002 | Binnenverlichting van de gebouwen (1974) |[object Object]| NBN EN 60335-1 | Huishoudelijke en soortgelijke elektrische toestellen - Veiligheid - Deel 1 : Algemene eisen (2003) |[object Object]| NBN EN 12464 | Binnenverlichting (2008) |[object Object]| NBN EN 1838 | Veiligheidsverlichting (2013) |[object Object]| EN 12464-1 | werkplekverlichting (2002) |[object Object]| ISO 3864-1 en ISO 3864-4 | (fot...	0.0643

• Loss: BinaryCrossEntropyLoss with these parameters:
  json

  1{ 2 "activation_fn": "torch.nn.modules.linear.Identity", 3 "pos_weight": null 4}

Evaluation Dataset

arcade-reranker-data

• Dataset: arcade-reranker-data at 9e3c538
• Size: 400 evaluation samples
• Columns: sentence1, sentence2, and label
• Approximate statistics based on the first 400 samples:

  	sentence1	sentence2	label
  type	string	string	float
  details	min: 27 characters mean: 108.77 characters max: 558 characters	min: 13 characters mean: 404.07 characters max: 11988 characters	min: 0.0 mean: 0.32 max: 1.0

• Samples:

  sentence1	sentence2	label
  Dus de einklant betaalt in totaal ook de onbalansprijs? Die dus bestaat uit het gewone tarief + verschil om tot onbalansprijs te komen?	Imbalance Price (Electricity Balancing Market): (a) each imbalance settlement period; (b) its imbalance price areas; (c) each imbalance direction. 4. The imbalance price for negative imbalance ...	0.3
  Kun je een lijst geven van alle technische specificaties geven waar je rekening mee moet houden bij een transformator	Handmelders: Manuele brandmelders.	0.2222
  Wat weetje van dataloggers?	geen nummers op tellers. Facturatiegegevens?	0.0256

• Loss: BinaryCrossEntropyLoss with these parameters:
  json

  1{ 2 "activation_fn": "torch.nn.modules.linear.Identity", 3 "pos_weight": null 4}

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• num_train_epochs: 10
• learning_rate: 2e-05
• warmup_steps: 0.1
• bf16: True
• eval_strategy: steps
• per_device_eval_batch_size: 16
• push_to_hub: True
• hub_model_id: amanwithaplan/arcade-reranker
• load_best_model_at_end: True

All Hyperparameters

Click to expand

• per_device_train_batch_size: 16
• num_train_epochs: 10
• max_steps: -1
• learning_rate: 2e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: trackio
• eval_strategy: steps
• per_device_eval_batch_size: 16
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: True
• hub_private_repo: None
• hub_model_id: amanwithaplan/arcade-reranker
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: True
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.3.0
• Transformers: 5.3.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.7.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers