SPLADE multilingual fine-tuned on Norwegian health triplets (merged-v3)

Model Details

Model Description

• Model Type: Asymmetric Inference-free SPLADE Sparse Encoder
• Base model: opensearch-project/opensearch-neural-sparse-encoding-multilingual-v1
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 105879 dimensions
• Similarity Function: Dot Product
• Training Dataset:
  • eti-embedding-training-data-summaries-merged-v3-clean
• Language: no
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Sparse Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sparse Encoders on Hugging Face

Full Model Architecture

SparseEncoder(
  (0): Router(
    (sub_modules): ModuleDict(
      (query): Sequential(
        (0): SparseStaticEmbedding({'frozen': True}, dim=105879, tokenizer=BertTokenizerFast)
      )
      (document): Sequential(
        (0): MLMTransformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertForMaskedLM'})
        (1): SpladePooling({'pooling_strategy': 'max', 'activation_function': 'relu', 'word_embedding_dimension': 105879})
      )
    )
  )
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Sparse Information Retrieval

• Datasets: dev_ir and test_ir
• Evaluated with SparseInformationRetrievalEvaluator

Training Details

Training Dataset

eti-embedding-training-data-summaries-merged-v3-clean

• Dataset: eti-embedding-training-data-summaries-merged-v3-clean at f08589f
• Size: 205,705 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 6 tokens mean: 21.71 tokens max: 53 tokens	min: 226 tokens mean: 324.47 tokens max: 415 tokens	min: 163 tokens mean: 331.22 tokens max: 425 tokens

• Samples:

  anchor	positive	negative
  Hvordan kan taleapraksi påvirke en persons evne til å kommunisere?	Dokumentet omhandler kartlegging av kommunikasjonsvansker hos barn og elever med ervervet hjerneskade. Formålet er å beskrive hvordan man systematisk identifiserer og vurderer ulike typer kommunikasjonsutfordringer, som afasi, taleapraksi, dysartri, kognitive kommunikasjonsvansker og nevrologiske stemmevansker. Kartleggingen skal avdekke hvilke språkfunksjoner som er rammet, barnets styrker og svakheter, og danne grunnlag for tilpassede tiltak og mål. Dokumentet retter seg mot fagpersoner som logopeder, nevropsykologer, leger, fysioterapeuter, ergoterapeuter, samt Pedagogisk-psykologisk tjeneste (PPT), foreldre og andre som jobber med barn og elever i barnehage og skole. Tjenestetypen er helsetjenester og pedagogisk støtte, og samfunnsområdet er opplæring og rehabilitering etter hjerneskade. Sentrale begreper er kommunikasjonsvansker, kartlegging, ervervet hjerneskade, språkfunksjoner, tiltak, og samarbeid mellom spesialisthelsetjenesten, PPT og logoped. Dokumentet understreker viktigh...	Dokumentet gir veiledning til PP-rådgivere (pedagogisk-psykologisk tjeneste) om hvordan de best kan støtte barn som er født med leppe-kjeve-ganespalte (LKG) i opplæringssammenheng. Hovedtemaet er hvordan LKG kan påvirke barnets tale, hørsel og psykososiale utvikling, og hvordan rådgivere kan tilrettelegge for god språkutvikling og mestring. Dokumentet forklarer at alle barn med LKG i Norge får oppfølging av tverrfaglige spalteteam ved sykehusene i Oslo eller Bergen, og at behandlingen tilpasses individuelt fra fødsel til voksen alder. Det gis konkrete råd om systematisk kartlegging av barnets tale, betydningen av å sjekke hørsel, og hvordan man kan arbeide med språklyder barnet mestrer for å utvikle nye lyder. Videre vektlegges viktigheten av å skape trygghet, motivasjon og mestringsfølelse hos barnet, samt å tilpasse treningsøktene i lengde og innhold. Sentrale begreper og entiteter i dokumentet er leppe-kjeve-ganespalte, PP-rådgiver, spalteteam, talevansker, logopediske tiltak, hyper...
  Hva er aktivitetsplanen som skolen skal lage?	Dokumentet "Elevens skolemiljø" omhandler elevers rett til et trygt, inkluderende og helsefremmende skolemiljø, både psykososialt og fysisk. Formålet er å informere om skolens ansvar for å forebygge og håndtere mobbing, krenkelser og andre negative opplevelser, samt å beskrive rutiner for varsling, oppfølging og tiltak. Målgruppen er elever, foreldre/foresatte og ansatte i skolen, med særlig vekt på barn og unge i grunnskole og videregående opplæring. Dokumentet beskriver offentlige tjenester innen utdanning og oppvekst, inkludert skolehelsetjenesten, kommunale lavterskeltilbud som Fredrikstadhjelpa 0-16, og muligheten for å melde saker til Statsforvalteren. Sentrale begreper er skolemiljø, psykososialt miljø, fysisk miljø, mobbing, krenkelser, aktivitetsplan, rektor, skoleeier, og samarbeidspartnere. Det understrekes at elevens egen opplevelse er avgjørende, og at både elever og foreldre har rett til å bli hørt og involvert i prosessen. Dokumentet viser til relevant lovverk, forskrift...	Dokumentet omhandler energiøkonomisering hos barn og ungdom med muskelsykdommer, med hovedfokus på hvordan kraftnedsettelse påvirker hverdagen og behovet for tilrettelegging i barnehage og skole. Formålet er å øke forståelsen for utfordringene disse barna møter, særlig når nedsatt muskelkraft ikke er synlig, og å gi råd om hvordan energi kan disponeres for å sikre deltakelse i både lærings- og fritidsaktiviteter. Målgruppen er primært foreldre, ansatte i barnehage og skole, samt fagpersoner som fysioterapeuter og ergoterapeuter. Dokumentet gir innsikt i hvordan symptomer på kraftnedsettelse kan arte seg, og understreker viktigheten av observante voksne som kan tilpasse aktivitetene etter barnets behov. Det presenteres sentrale begreper som energiøkonomisering, kraftnedsettelse, tilrettelegging, og bruk av hjelpemidler som rullestol. Videre gis det praktiske råd fra både foreldre og fagpersoner om aktivitetsbalanse, pauser, og samarbeid mellom hjem og skole. Dokumentet er relevant for o...
  4-åringen min har fått en hjerneskade og skal tilbake i barnehagen – hva kan de gjøre for å hjelpe ham i hverdagen der?	Dokumentet omhandler ervervet hjerneskade hos barn og elever, med hovedfokus på hvordan slike skader kan påvirke læring, utvikling, sosial deltakelse og hverdagsliv. Formålet er å gi informasjon og konkrete råd om tilrettelegging i barnehage og skole for barn og unge som har fått en hjerneskade etter fødselen. Dokumentet retter seg primært mot fagpersoner som pedagoger, lærere, barnehageansatte og annet støttepersonell, men kan også være relevant for foresatte. Det tar for seg ulike former for tilrettelegging, både fysisk, sosialt og pedagogisk, og gir eksempler på tiltak ved utfordringer som fatigue, endrede bevegelsesmuligheter og kognitive vansker. Videre beskrives viktigheten av oppdagerkompetanse og kartlegging av kognitive, kommunikative, sosiale og emosjonelle vansker for å kunne iverksette riktige tiltak. Sentrale begreper og entiteter i dokumentet er ervervet hjerneskade, tilrettelegging, barnehage, skole, kognitive vansker, fatigue, kartlegging, og oppfølging over tid. Dokume...	Dokumentet om temahefter om hjerneskader presenterer en samling informasjonsmateriell rettet mot pasienter, pårørende, barn, unge og helsepersonell. Hovedtemaet er ervervet hjerneskade, med fokus på ulike aspekter som symptomer, rehabilitering, kognitive endringer, sosialt liv, seksualitet, hukommelsesvansker og mestring av hverdagen etter skade. Heftene gir praktiske råd, forklaringer og støtte til både den rammede og deres nærmeste, samt fagpersoner som arbeider med hjerneskader. Tjenestetypen er helse- og rehabiliteringstjenester, og samfunnsområdet er helse og omsorg. Sentrale begreper inkluderer ervervet hjerneskade, hjerneslag, traumatisk hjerneskade, kognitive endringer, hukommelsesvansker, rehabilitering, pårørendearbeid og mestring. Dokumentet inneholder også e-læringskurs for fagpersoner og spesifikke temahefter for barn, samt erfaringer fra personer som har opplevd hjerneskade. Entiteter som Sunnaas sykehus og Landsforeningen for slagrammede nevnes. Formålet er å gi kunnskap...

• Loss: SpladeLoss with these parameters:
  json

  1{ 2 "loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False)", 3 "document_regularizer_weight": 0.003, 4 "query_regularizer_weight": 5e-05 5}

Evaluation Dataset

eti-embedding-training-data-summaries-merged-v3-clean

• Dataset: eti-embedding-training-data-summaries-merged-v3-clean at f08589f
• Size: 500 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 500 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 6 tokens mean: 22.08 tokens max: 57 tokens	min: 163 tokens mean: 323.74 tokens max: 416 tokens	min: 228 tokens mean: 332.37 tokens max: 416 tokens

• Samples:

  anchor	positive	negative
  Hva kjennetegner behandling og oppfølging av barn med autisme?	Dokumentet gir en grundig oversikt over autisme, en utviklingsforstyrrelse som påvirker sosialt samspill, kommunikasjon og atferd, og som ofte omtales som autismespekterforstyrrelser (ASF) grunnet stor variasjon i symptomer og funksjonsevne. Formålet er å informere om symptomer, årsaker, utredning, behandling og støtteordninger for autisme. Målgruppen er bred og inkluderer foreldre, pårørende, personer med autisme, fagpersoner i helse- og utdanningssektoren, samt andre som søker kunnskap om tilstanden. Dokumentet omhandler helsetjenester, spesielt utredning og oppfølging i spesialisthelsetjenesten, samt tilrettelegging i barnehage, skole og arbeidsliv. Sentrale begreper er autisme, autismespekterforstyrrelser, sosialt samspill, kommunikasjon, gjentakende atferd, sanseutfordringer, dobbeltdiagnoser (som ADHD, angst, depresjon), utredning, Early Intensive Behavioral Intervention (EIBI), og tilrettelegging. Det beskrives at diagnosen stilles av spesialisthelsetjenesten, og at tidlig innsa...	Dokumentet gir en oversikt over nevroutviklingsforstyrrelser, som er tilstander som påvirker hjernens utvikling og fører til utfordringer med læring, kommunikasjon og sosialt samspill. Hovedtemaet er å forklare hva nevroutviklingsforstyrrelser som ADHD, Tourettes syndrom, autisme, non-verbale lærevansker (NLD) og DLD innebærer, samt å presentere tiltak og tilrettelegging for barn og elever med slike diagnoser. Dokumentet er rettet mot fagpersoner i barnehage og skole, samt foresatte og andre som jobber med barn og unge med nevroutviklingsforstyrrelser. Det tar for seg offentlig tilrettelegging innen utdanningssektoren og spesialpedagogiske tjenester, med vekt på hvordan man kan støtte barn og elever gjennom kartlegging, tilpasset opplæring, struktur, forutsigbarhet, og styrking av kommunikasjon og sosiale ferdigheter. Sentrale begreper og entiteter inkluderer autisme, ADHD, Tourettes syndrom, sensoriske vansker, eksekutive funksjoner, maskering, medvirkning, og tiltak for å fremme lek,...
  Hvilke utgifter til oppholdet dekkes av Helfo?	Dokumentet omhandler kursopphold ved Montebellosenteret for kreftpasienter og deres pårørende, med hovedformål å informere om muligheten for økonomisk støtte fra Helfo til slike opphold. Det retter seg mot kreftpasienter, pårørende, familier med barn rammet av kreft, og andre nære personer, samt fagpersoner som bistår i søknadsprosessen. Tjenesten gjelder helsetilbud innen rehabilitering og opplæring for personer berørt av kreft, og omfatter kursopphold, familiekurs og støtte til reiseutgifter. Sentrale begreper er Helfo, Montebellosenteret, kursopphold, egenbetaling, refusjon, rehabilitering, legeerklæring og NAV. Dokumentet beskriver hvordan man søker om opphold, hvilke utgifter som dekkes, egenbetalingssatser, og hvordan man søker om refusjon for reiseutgifter. Det forklarer også at barn under 15 år er fritatt for egenbetaling, og at det er mulig å søke NAV om støtte ved dårlig økonomi. Montebellosenteret er en spesialisert helseinstitusjon i Ringsaker, Innlandet, og behandlingen av...	Dokumentet omhandler omsorgsstønad, en kommunal ordning som gir økonomisk kompensasjon til personer som utfører særlig tyngende omsorgsarbeid for hjemmeboende med omfattende behov for hjelp, typisk syke eller eldre familiemedlemmer. Formålet er å sikre god og stabil omsorg for personer med store bistandsbehov, samtidig som pårørende og andre nærstående får støtte til å fortsette omsorgsarbeidet på en bærekraftig måte. Målgruppen er primært omsorgsgivere, som ektefeller, foreldre eller andre frivillige, samt omsorgsmottakere og deres pårørende. Tjenesten er en del av kommunens helse- og omsorgstilbud, og behandles av avdeling for forvaltning og utvikling, som vurderer søknader basert på omfang og nødvendighet av omsorgsarbeidet, samt kommunens ressurser. Sentrale begreper er omsorgsstønad, pårørendestøtte, avlastning, brukerstyrt personlig assistanse (BPA), hjelpestønad fra NAV, og kartleggingsskjema for bistandsbehov. Dokumentet beskriver også plikter ved endringer i omsorgssituasjonen...
  Forklar hvordan eksekutiv dysfunksjon kan påvirke evnen til å forutse konsekvenser.	Dokumentet gir en grundig innføring i kognitiv funksjon, med særlig vekt på hvordan ulike kognitive evner som perseptuell resonnering, prosesseringshastighet, visuospatiale evner, hukommelse og eksekutive funksjoner påvirker menneskers evne til å tilegne seg, bearbeide og bruke informasjon. Hovedtemaet er å forklare hva kognisjon innebærer, hvordan de ulike delene av kognitiv funksjon virker sammen, og hvordan disse kan være påvirket ved sjeldne diagnoser, ofte med genetisk bakgrunn. Dokumentet retter seg mot fagpersoner, pårørende og andre som har behov for å forstå kognitive utredninger og utfordringer, særlig i sammenheng med sjeldne diagnoser og nevrologiske tilstander. Det tar for seg sentrale begreper som sensorisk hukommelse, arbeidshukommelse, langtidshukommelse, eksekutive funksjoner (inkludert "kalde" og "varme" funksjoner), samt hvordan svikt i disse områdene kan arte seg og påvirke daglig fungering, læring og sosial tilpasning. Dokumentet er relevant innen helse- og omsorgs...	Dokumentet omhandler hvordan foreldre kan involveres i arbeidet med støttegrupper for søsken til barn med funksjonsnedsettelse eller kronisk sykdom. Hovedformålet er å styrke kommunikasjonen og samspillet mellom foreldre og søsken, samt å gi søsken bedre forståelse og støtte i en krevende familiesituasjon. Dokumentet presenterer erfaringer og funn fra Søskenprosjektet, et forskningssamarbeid mellom Frambu, Psykologisk institutt ved Universitetet i Oslo og flere brukerforeninger, hvor det er utviklet og utprøvd en støttegruppemanual. Målgruppen er primært fagpersoner som arbeider med familier i helse- og omsorgstjenesten, men også foreldre og brukerorganisasjoner. Tjenesten det gjelder er støttegrupper og familieopplæring innen helse- og velferdssektoren, med særlig fokus på psykisk helse og familiekommunikasjon. Sentrale begreper og entiteter inkluderer søskenstøtte, foreldreinvolvering, psykisk helse, funksjonsnedsettelse, kronisk sykdom, Søskenprosjektet, Frambu, NevSom og Autismefor...

• Loss: SpladeLoss with these parameters:
  json

  1{ 2 "loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False)", 3 "document_regularizer_weight": 0.003, 4 "query_regularizer_weight": 5e-05 5}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 1.0
• warmup_ratio: 0.1
• bf16: True
• dataloader_num_workers: 4
• load_best_model_at_end: True
• ddp_find_unused_parameters: False
• batch_sampler: no_duplicates
• router_mapping: {'anchor': 'query', 'positive': 'document', 'negative': 'document'}

All Hyperparameters

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.14.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

SpladeLoss

SparseMultipleNegativesRankingLoss

FlopsLoss