Italian-ModernBERT-base-embed-mmarco-mnrl

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: DeepMount00/Italian-ModernBERT-base
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • mmarco

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Triplet

• Datasets: mmarco_dev and mmarco_test
• Evaluated with TripletEvaluator

Training Details

Training Dataset

mmarco

• Dataset: mmarco
• Size: 39,780,811 training samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 4 tokens mean: 10.93 tokens max: 26 tokens	min: 21 tokens mean: 95.12 tokens max: 532 tokens	min: 20 tokens mean: 87.17 tokens max: 423 tokens

• Samples:

  query	positive	negative
  cosa significa tbh nei messaggi?	TBH significa essere onesti. TBH Significato: essere onesti. Ci sono quasi 6 milioni di foto con l'hashtag TBH su Instagram. TBH, o To Be Honest, è un acronimo particolarmente popolare su Facebook, ma utilizzato frequentemente anche quando si inviano messaggi di testo, messaggi o chat online. TBH significa âÂÀœPer essere onesti, Â⠀ .	Ora le chiamate e gli sms possono essere fatti praticamente ovunque. Il Wi-Fi è ovunque e oggi il tuo telefono si connette a ogni singola connessione Wi-Fi come se fossero torri T-Mobile. In realtà, falle diventare le tue torri. Ora puoi scegliere come connetterti, indipendentemente da dove ti trovi, a casa, in ufficio, anche fuori dalla portata del cellulare.
  effetti del tè nero sul corpo	Gli effetti collaterali del bere troppo tè nero includono difficoltà a dormire, mal di testa, nervosismo, diarrea, irritabilità, battito cardiaco irregolare, confusione, bruciore di stomaco, tremori alle estremità e possibilmente convulsioni. Questi effetti collaterali sono tutti il ​​risultato del contenuto di caffeina nel tè nero. Se sei abituato a bere regolarmente tè nero, in particolare in quantità maggiori, potresti sviluppare una dipendenza fisica e psicologica dalla bevanda, ancora una volta, principalmente a causa del contenuto di caffeina.	Un tipo di tè meno conosciuto, il tè oolong è ottenuto dalle foglie della pianta Camellia sinensis, la stessa pianta utilizzata per produrre tè nero e verde. A differenza del tè nero, che viene ossidato fino a quando le foglie non assumono un colore nero intenso, il tè oolong è parzialmente ossidato. I benefici del tè Oolong.
  un genitore può prelevare dal conto di un minore?	Il custode di un conto UGMA/UTMA controlla e gestisce i beni di un minore (il beneficiario del conto). Non è necessario che un genitore sia il custode dell'account e puoi scegliere qualcun altro per gestire un account UGMA / UTMA per conto di tuo figlio. Il custode di un account UGMA / UTMA controlla e gestisce il patrimonio di un minore (il beneficiario del conto). Non è necessario che un genitore sia il custode dell'account e puoi scegliere qualcun altro per gestire un UGMA / UTMA per conto di tuo figlio.	Ciò significa che il totale del tuo account è $ 5.272,50. Secondo le regole Roth IRA (controlla la pubblicazione IRS 590 per ulteriori informazioni), puoi prelevare fino a $ 5.000 senza pagare tasse su di esso e senza pagare una penale. Una volta che attingi ai tuoi guadagni che $272,50  la storia cambia. Puoi prelevare ciò che hai contribuito in qualsiasi momento e per qualsiasi motivo. Ciò significa che il totale del tuo account è $ 5,272,50. In base alle regole Roth IRA (controlla la pubblicazione IRS 590 per ulteriori informazioni), puoi prelevare fino a $ 5.000 senza pagare le tasse su di esso e senza pagare una penale. Una volta che ti immergi nei tuoi guadagni, che sono $272,50, la storia cambia.

• Loss: MatryoshkaLoss with these parameters:
  json

  1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 768, 5 512, 6 256, 7 128, 8 64 9 ], 10 "matryoshka_weights": [ 11 1, 12 1, 13 1, 14 1, 15 1 16 ], 17 "n_dims_per_step": -1 18}

Evaluation Dataset

mmarco

• Dataset: mmarco
• Size: 39,780,811 evaluation samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 4 tokens mean: 11.05 tokens max: 35 tokens	min: 16 tokens mean: 93.92 tokens max: 449 tokens	min: 20 tokens mean: 89.53 tokens max: 260 tokens

• Samples:

  query	positive	negative
  quali sono alcune cose importanti da ricordare quando si avvia un piano di fitness	Quattro cose che devi sapere prima di aprire una palestra Dall'addetto al check-in della reception al manager, un operatore del club deve assumere un ottimo personale per gestire le operazioni quotidiane del club. Foto per gentile concessione di Jonas Fitness. CONTENUTI SPONSORIZZATI DA: Jonas Fitness In questi giorni, molte palestre possono essere una monetina una dozzina.	Note importanti da ricordare. È importante ricordare che mentre la perdita del tappo di muco è un'indicazione del travaglio, non significa che il travaglio stia per iniziare subito. Per le donne che partoriscono per la prima volta, il tappo di muco viene solitamente espulso giorni prima dell'inizio del travaglio e spesso può essere un segno di un travaglio precoce.
  i sunpatiens possono essere annaffiati ogni giorno?	Mi dispiace non essere d'accordo con te, ma io vivo nel sud, nella Georgia centrale e i Sunpatiens DO WILT al sole. Sono piantati sul lato sud della mia casa e ricevono la luce diretta del sole dalle 10:00 alle 16:00 quando sono all'ombra. Vengono annaffiate ogni mattina alle 6 quando l'impianto di irrigazione si attiva per ben 45 minuti. Si riprendono dopo che sono all'ombra, ma affermare che sono amanti del sole totale non è una vera affermazione.	Miglior risposta: ci sono centinaia di modi per risolvere i cubi di Rubik, ma la maggior parte di essi si diramano semplicemente dai quattro di base. Il metodo Petrus, CFOP, metodo Corners first e Roux. Il tuo metodo di base è una versione annacquata di CFOP. La maggior parte degli altri sono semplicemente versioni estese di questi metodi.
  indirizzo di terapia fisica calaveras	Terapia fisica Calaveras 670 E. Calaveras Blvd., Suite 112 Milpitas, CA 95035 Telefono: (408) 934-4700	Fax: (408) 934-4701

• Loss: MatryoshkaLoss with these parameters:
  json

  1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 768, 5 512, 6 256, 7 128, 8 64 9 ], 10 "matryoshka_weights": [ 11 1, 12 1, 13 1, 14 1, 15 1 16 ], 17 "n_dims_per_step": -1 18}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.5.0.dev0
• Transformers: 4.50.0.dev0
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.2
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

MultipleNegativesRankingLoss