mmBERTscandi-base-embedding

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: jonasaise/scandmmBERT-base-scandinavian
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • nordic-embedding-training-data
• Languages: da, no, sw, sv
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

• Datasets: nordic-embedding-eval-instruct and nordic-embedding-test-instruct
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

nordic-embedding-training-data

• Dataset: nordic-embedding-training-data at fba903a
• Size: 958,249 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 9 tokens mean: 60.67 tokens max: 435 tokens	min: 3 tokens mean: 96.48 tokens max: 664 tokens	min: 2 tokens mean: 35.8 tokens max: 329 tokens

• Samples:

  anchor	positive	negative
  Task: similarity[object Object]Query: Jag letar efter recensioner som nämner den nya bruksanvändarvänliga gränssnittet som presenterades i den senaste uppdateringen av databasen. Speciellt är jag intresserad av hur användarna upplever navigationen efter nerladdningar och hur intuitivt det är att söka efter specifika filer.	Jag har använt databasen i flera år nu, och jag måste säga att den senaste uppdateringen är fantastiskt. Det nya gränssnittet är verkligen användarvänligt, mycket mer än tidigare. Det är så mycket enklare att navigera runt och hitta de filer jag behöver. Till exempel, när jag laddar ner en fil kan jag nu enkelt se alla relaterade dokument direkt på samma sida, vilket sparar mig mycket tid. Och sökmotorn är otroligt intuitiv - jag kan bokstavligen skriva in några nyckelord och hitta det jag söker på ett ögonblick. Det känns som om utvecklarna verkligen lyssnade på användarna och gjorde ändringar som verkligen gör en skillnad.
  Task: similarity[object Object]Query: Det er fedt!	Det er fremragende!
  Task: classification\nQuery: Hej allihopa! Har ni hört den senaste nyheten? Det verkar som om vår klasskamrat Pelle har vunnit lotteri! Han ska tydligen resa runt i världen nu. Hur häftigt är inte det?	Informell

• Loss: CachedMultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "mini_batch_size": 32, 5 "gather_across_devices": false 6}

Evaluation Dataset

nordic-embedding-training-data

• Dataset: nordic-embedding-training-data at fba903a
• Size: 5,000 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 9 tokens mean: 62.42 tokens max: 557 tokens	min: 3 tokens mean: 93.78 tokens max: 896 tokens	min: 2 tokens mean: 33.44 tokens max: 335 tokens

• Samples:

  anchor	positive	negative
  Task: retrieval[object Object]Query: beste rekkevidde	Elbilens rekkevidde er et sentralt tema for mange potensielle kjøpere. Batteriteknologi har utviklet seg enormt de siste årene, og moderne elbiler kan nå kjøre opptil 500 kilometer eller mer på en enkelt lading. Men rekkevidden varierer avhengig av flere faktorer, som bilens størrelse, vekt, kjørestil og værforhold. For eksempel vil en stor SUV med firehjulsdrift typisk ha lavere rekkevidde enn en liten bybil. Kaldt vær kan også redusere rekkevidden betydelig, mens varm vær har mindre innvirkning.[object Object][object Object]Det er viktig å huske at oppgitte rekkevidder ofte er basert på standardiserte tester, og den faktiske rekkevidden kan variere i praksis. Mange produsenter oppgir WLTP-rekkevidden, som er en europeisk standard for måling av bilers drivstofforbruk og utslipp. WLTP-testen tar hensyn til faktorer som kjøreforhold, temperatur og kjørestil, og gir et mer realistisk bilde av bilens rekkevidde enn eldre tester.[object Object][object Object]For å maksimere rekkevidden på din elbils, kan du følge noen enkle tips. Kjøre forsikti...	Når det kommer til kjøp av bil, er det mange faktorer å ta hensyn til. Pris, design, ytelse og sikkerhetsfunksjoner er alle viktige elementer som bør vurderes. En annen viktig faktor er bilens miljøpåvirkning. Elbiler har blitt mer populære i det siste på grunn av deres lave utslipp. De produserer ingen direkte utslipp av skadelige gasser, noe som gjør dem til et mer miljøvennlig alternativ til bensindrevne biler.[object Object][object Object]Men elbiler har også noen ulemper. De kan være dyrere å kjøpe enn tradisjonelle biler, og rekkevidden kan være begrenset. Dessuten krever det infrastruktur for lading, og det kan være vanskelig å finne ladesteder i noen områder. Likevel, med den raskt voksende infrastrukturen for lading og stadig mer overkommelige priser, blir elbiler et stadig mer attraktivt valg for bilkjøpere.
  Task: classification\nQuery: Vi, undertegnede, hermed erklære os enige om at sælge den ejendom, der er beskrevet i vedlagte bilag. Køber og sælger er enige om en købesum på 2.500.000 kroner, som skal betales kontant ved underskrivelsen af denne aftale. Ejendommen overdrages til køber den 1. juli 2024.	Kontrakt
  Task: similarity[object Object]Query: Vi planlegger en tur til Italia i slutten av november. Vi er interessert i å oppleve den italienske kulturen og historien, og vi håper å besøke Roma, Firenze og Venezia. Vi vil gjerne kombinere sightseeing med god mat og vin, og vi er åpne for å prøve lokale spesialiteter. Vi er også interessert i å besøke museer og historiske steder.[object Object][object Object]For å spare penger, vil vi gjerne benytte offentlig transport, og vi er åpne for å bo på rimelige hoteller eller Airbnb.	Florenzia blomstrer i hjertet av Toscana og er et av verdens mest berømte reisemål. Med sin rikholdige historie, kunst, arkitektur og matkultur, er Firenze en perfekt destinasjon for alle som søker en autentisk italiensk opplevelse.[object Object][object Object]Området rundt Piazza della Signoria er et must-visit. Her finner du Palazzo Vecchio, Uffizi Gallery, Ponte Vecchio og Duomo, alle ikoniske landemerker som vitner om Florens' fortid. Uffizi Gallery huser mesterverk av Michelangelo, Leonardo da Vinci og Raphael, mens Duomo med sin imponerende kupol er et arkitektonisk mesterverk.[object Object][object Object][object Object]For en smak av lokal kultur, utforsk de smale gatene i Oltrarno-distriktet, der håndverkere og kunstnere har sine verksteder. Her kan du finne unike souvenirs og smake på tradisjonelle spesialiteter som bistecca alla fiorentina - et saftig biffstykke grillet over vedfyrt kull.[object Object] [object Object][object Object] Firenze er også hjem til en rekke museer, inkludert Galleria dell'Accademia, som huser Michelangelos David, og Palazzo Pitti, som huser Palatine Gallery...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "mini_batch_size": 32, 5 "gather_across_devices": false 6}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• learning_rate: 5e-06
• num_train_epochs: 1
• warmup_ratio: 0.1
• fp16: True
• gradient_checkpointing: True
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.1.0
• Transformers: 4.56.1
• PyTorch: 2.8.0+cu128
• Accelerate: 1.10.1
• Datasets: 4.0.0
• Tokenizers: 0.22.0

Citation

BibTeX

Sentence Transformers

CachedMultipleNegativesRankingLoss