SentenceTransformer based on Snowflake/snowflake-arctic-embed-l-v2.0

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Snowflake/snowflake-arctic-embed-l-v2.0
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Triplet

• Datasets: dev_evaluator and danish_embedding_validator
• Evaluated with TripletEvaluator

Training Details

Training Dataset

json

• Dataset: json
• Size: 5,709 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 3 tokens mean: 9.39 tokens max: 81 tokens	min: 14 tokens mean: 364.37 tokens max: 2293 tokens	min: 13 tokens mean: 122.22 tokens max: 1031 tokens

• Samples:

  anchor	positive	negative
  Behovet for ansvarlig teknologiudvikling	Alle disse globale tendenser udfordrer Danmark. Vores sikkerhedspolitiske virkelighed er grundlæggende forandret. I vores eget nærområde i Østersøregionen. Hvor Rusland opruster militært og agerer meget aggressivt. Og i Arktis, hvor Rusland genåbner gamle baser. I dag er sikkerhed ikke kun et spørgsmål om krudt og kugler. Det gælder i dag nærmest alt i vores hverdag. I særdeleshed teknologi. Der er brug for et stærkere modsvar mod dem, der bruger teknologi og cyber til at angribe os. Spionerer mod os. Bevidst spreder desinformation. Eller påvirker demokratiske valghandlinger. Vi står over for en ualmindelig stor og kompliceret opgave med at forme teknologiudviklingen i en ansvarlig, demokratisk og sikker retning. Der er ingen, som har taget ansvar endnu. Vi har set uhyggelige forsøg på at fordreje den offentlige samtale og påvirke den demokratiske proces. Det, der engang bare var teknologi, er nu også sikkerhedspolitik.	Regeringen vil nu igen tage penge fra lejerne. Det, der hedder Landsbyggefonden. 13 milliarder. Bum.
  Udsendelse i militærtjeneste	Kære udsendte, kære pårørende. I dag hylder vi de mænd og kvinder, som har været udsendt, og som er udsendt for Danmark. En af dem hedder Mikkel. Han er kaptajn i Flyvevåbnet og indtil den 1. maj i år var han udsendt til Irak. Jeg vil gerne begynde med at læse op, hvad han har skrevet om sin oplevelse. “At være udsendt for Danmark kan ikke beskrives med et enkelt ord. Det er afsked og afsavn og en knude i maven. Det er ventetid og kedsomhed, frustrationer og hårdt arbejde. Det er skræmmende, når man befinder sig imellem stridende parter i en konflikt, man knap nok forstår.	Derfor et helt konkret forslag fra Socialdemokratiet: De unge, der går imod strømmen og tager en erhvervsuddannelse. I skal have en bonus.
  Reformer i Uddannelsessystemet	Den tilfredsstillelse, der ligger i netop det. At yde en indsats. Gøre sig umage. Den findes hver eneste dag i vores samfund. Sygeplejersken, der tager imod en ældre mand, som klager over rygsmerter. Men som med sin viden og kompetencer gennemskuer, at han måske har en blodprop i hjertet, og får sendt ham hurtigt i behandling. Tillidsrepræsentanten, der har hjulpet en kollega, som har det svært. Maskinarbejderen, der har programmeret noget ud over det sædvanlige og ser, hvad der kommer ud af det. Folkeskolelæren, der har tid til at tage godt imod alle elever, inden undervisningen starter. Dén glæde. Dén stolthed. Har vi været gode nok til at anerkende den som samfund? Det synes jeg ikke. Færre unge søger ind på velfærdsuddannelserne og de faglærte uddannelser. Det er blevet sværere at fastholde dygtige medarbejdere særligt i sundhedsvæsenet og i ældreplejen. Og alt for ofte, når en stilling slås op. Er det ikke muligt at ansætte en ny kollega. Det betyder ventelister. Operationer, der ...	Secretary General. Excellencies. Ladies and gentlemen. “Anyone who isn’t profoundly shocked by quantum theory – has not understood it.” Those are the words of the Danish scientist Niels Bohr. Who laid the foundation for everything we know as quantum physics today. More than 100 years ago, Niels Bohr took the first steps – right here in Copenhagen. Back then, he knew that his discoveries would not only shock his fellow scientists. But also fundamentally change how we perceive and understand the world.

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Evaluation Dataset

json

• Dataset: json
• Size: 5,709 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 3 tokens mean: 9.34 tokens max: 76 tokens	min: 13 tokens mean: 331.71 tokens max: 2161 tokens	min: 13 tokens mean: 126.9 tokens max: 896 tokens

• Samples:

  anchor	positive	negative
  Erhvervsuddannelser	Hvordan skal vi få unge til at tage en erhvervsuddannelse, når Løkke skærer ned?	I Jerusalem i sidste uge mødte jeg to danske overlevere af holocaust. Jytte Israel og Robert Fischermann. Sikke et privilegium. Deres historie skal fortælles igen og igen – og leve videre. Jytte var en helt lille pige. Hun var en af de heldige europæiske jøder. Blev hjulpet både af folk, hun kendte. Og ukendte. Naboer og andre danskere der så det som deres opgave at hjælpe danske jøder godt på vej til Sverige. Hun blev fragtet afsted i fragtrummet af et stort kulskib. Godt hjulpet på vej af nogle snarrådige naboer på Islands Brygge. To unge tyske soldater som skulle til at inspicere skibet – blev i stedet narret væk med den sidste flaske franske cognac, man fandt i lejligheden. Roberts historie er helt anderledes og lidelsesfuld. Familien – eller i hvert fald store dele af den – blev i 1943 fanget af tyskerne. Og Robert ender som kun 15-årig i Theresienstadt. Robert fortæller mange ting, men især et par af dem vil jeg dele med jer. Fordi de selvfølgelig har gjort så stort indtryk. På d...
  Juridiske og administrative opgaver	Og tak til alle jer, de fleste slet ikke møder; jer, der fjerner skrald og gør rent. Jer, der arbejder i fængslerne. I psykiatrien. Jer, der knokler med papirarbejdet. Der er noget galt.	In other words, ladies and gentlemen: A lot is at stake! And all of us gathered here today have a great responsibility on our shoulders. Quantum technology is today an inevitable part of our security framework in NATO. But as you know – better than anyone else: Quantum technology takes time, skills and funds to develop. If we want to ensure our common security in the future. And unlock the quantum potential in our societies. We have to lay the groundwork now. And we – as responsible governments – need to provide the right conditions for research and industry to prosper and grow.
  Ventelister for behandlinger i sundhedsvæsenet	[...]. Vi har igennem den seneste uges tid hørt om danskere, der har ventet alt for længe på deres behandling for tarmkræft. Det er mennesker, der er alvorligt syge, og man kan ikke betegne det som andet end et svigt. Det er en alvorlig situation, og det er også i mine øjne et tillidsbrud, der er uacceptabelt. I fredags fremlagde indenrigsministeren en genopretningsplan på kræftområdet, og vi kommer til at følge det her område utrolig tæt. Det fører mig til det næste. Tidligere i dag holdt regeringen et pressemøde om fremtidens sundhedsvæsen. Lad mig starte med at sige, at vi har et sundhedsvæsen, der på mange måder er godt og stærkt. Vi har fri og lige adgang til sundhed, i hvert fald på papiret; vi har højt specialiserede sygehuse; vi har dygtige medarbejdere; der er stadig flere af os, der overlever sygdomme, vi ikke ville have overlevet tidligere; og rigtig, rigtig meget går godt. Men – og der er også et men – det er mit indtryk, at rigtig mange danskere kan se det samme, som jeg s...	Afslutning] Den danske sangkunstner Ivan Pedersen synger i en sang på hans nyeste CD- udgivelse, at tanker er toldfri......Og hvem siger i øvrigt at drømme er noget, der skal høre natten til. Rigtig god 1. maj.

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• bf16: True
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.48.3
• PyTorch: 2.5.1+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.1
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss