This is a sentence-transformers model finetuned from sentence-transformers/all-distilroberta-v1 on the danish_law_qa dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: sentence-transformers/all-distilroberta-v1
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- danish_law_qa

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("dilovancelik/all-distilroberta-v1_danish_law_fine_tune")
# Run inference
sentences = [
    ' Hvornår skal udlejeren foretage en lejenedsættelse? ',
    'Lov om leje (Lejenedsættelse ved faldende udgifter til ejendomsskatter m.v.):    § 48. Bortfalder eller nedsættes de i §§ 46 og 47 nævnte skatter, afgifter, udgifter og bidrag, skal udlejeren med virkning fra nedsættelsestidspunktet foretage en tilsvarende lejenedsættelse for de beboelseslejligheder og beboelsesrum, i hvis leje udgiften har været indregnet. Udlejeren skal dog ikke foretage lejenedsættelse, hvis bortfald eller nedsættelse af skatter, afgifter, udgifter og bidrag samtidig udlignes eller overstiges af nye forøgede skatter, afgifter, udgifter eller bidrag. I fredede ejendomme, hvorpå der er tinglyst en særlig bevaringsdeklaration i henhold til lovgivningen om bygningsfredning, kan et beløb svarende til den ejendomsskat, der til enhver tid kunne have været opkrævet, dog opkræves som en del af lejen, uanset om en ejendom er fritaget for ejendomsbeskatning.  Stk. 2. Udlejeren skal give lejeren skriftlig meddelelse om nedsættelsen af lejen, senest 6 uger efter at meddelelsen om nedsættelsen af skatter, afgifter, udgifter eller bidrag er kommet frem.\n',
    'Lov om boligforhold (Fondens udførelse af vedligeholdelses- og forbedringsarbejder):    § 69. Har en udlejer ikke udført vedligeholdelses- og forbedringsarbejder inden en af huslejenævnet fastsat frist, jf. § 108, stk. 2, § 114, stk. 2, og § 147, stk. 3, i lov om leje, kan investeringsfonden på begæring af en lejer lade de nævnte arbejder udføre for udlejerens regning, uanset om udlejeren har indbragt huslejenævnets afgørelse for domstolene. Investeringsfonden kan tinglyse meddelelse herom på ejendommen og lade den aflyse, når arbejderne er udført og fonden har fået dækning for sine udlæg.  Stk. 2. Bestrider udlejeren, at investeringsfonden har været berettiget til at udføre arbejderne, eller udgifternes rimelighed, kan udlejeren deponere beløbet eller efter aftale med fonden stille sikkerhed for beløbets betaling.  Stk. 3. Efter at have foretaget deponering eller stillet sikkerhed, jf. stk. 2, har udlejeren pligt til at anlægge sag ved retten med henblik på afklaring af spørgsmålet om, hvorvidt Grundejernes Investeringsfond har været berettiget til at udføre de omtvistede arbejder, jf. stk. 1. Har udlejeren ikke anlagt sag inden for 12 måneder fra deponeringstidspunktet eller tidspunktet for sikkerhedsstillelsen, skal de deponerede midler eller den stillede sikkerhed frigives til Grundejernes Investeringsfond.  Stk. 4. Forrentning af beløb, som fonden har lagt ud, fastsættes af fonden med en rente, der svarer til den effektive rente for et 30-årigt kontant annuitetslån i et godkendt realkreditinstitut.  Stk. 5. Såfremt udlejeren ikke deponerer eller stiller sikkerhed efter stk. 2, kan fonden til dækning af udgifterne ved arbejdernes udførelse yde udlejeren et lån og som sikkerhed for lånet lade tinglyse pant i ejendommen med fortrinsret efter ejendomsskatter, men uden personlig hæftelse. Lånet udbetales kontant og forrentes med en rentesats, der fastsættes af fonden, og som ved lånets optagelse svarer til forrentningen efter stk. 4. Afdragstiden fastsættes til højst 10 år. Dette gælder også for udgifter til dækning af forundersøgelser og lign., som er nødvendige for fondens beslutning efter stk. 1. Fonden kan opkræve et administrationsbidrag svarende til, hvad der opkræves for realkredit som nævnt i stk. 4. Grundejernes Investeringsfond skal på begæring af en ejendoms administrator efter kapitel 5 udlevere materiale vedrørende ejendommen. Investeringsfonden kan kræve betaling til dækning af den udgift, der med rimelighed er afholdt til tilvejebringelse af dette materiale.  Stk. 6. Investeringsfonden kan i øvrigt bestemme, at indtil 50 pct. af lejeindtægten skal indbetales til fonden, indtil fonden har fået dækning for sine udlæg med påløbne omkostninger og renter. Investeringsfonden skal lade beslutningen, der er gyldig mod enhver, tinglyse på ejendommen.  Stk. 7. Såfremt investeringsfonden efter stk. 6 kan oppebære en del af lejeindtægten, skal alle lejerne efter påkrav herom betale lejen til investeringsfonden, som refunderer udlejeren overskydende beløb. Kun betaling til investeringsfonden har frigørende virkning.  Stk. 8. Nærmere regler om fondens adgang til at kræve gebyr for administration i forbindelse med arbejdernes udførelse fastsættes af indenrigs- og boligministeren.\n',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

Datasets: danish_law-validator and ai-job-test
Evaluated with TripletEvaluator

Metric	danish_law-validator	ai-job-test
cosine_accuracy	0.9733	0.9719

Training Details

Training Dataset

danish_law_qa

Dataset: danish_law_qa at 075eed8
Size: 18,715 training samples
Columns: question, context, and neg_context
Approximate statistics based on the first 1000 samples:
question context neg_context
type string string string
details
min: 2 tokens
mean: 31.41 tokens
max: 80 tokens
min: 54 tokens
mean: 413.02 tokens
max: 512 tokens
min: 19 tokens
mean: 413.2 tokens
max: 512 tokens

Samples:

question	context	neg_context
`Hvad skal fremgå af en lejeaftale hvis udlejeren ønsker at opkræve en leje baseret på § 25, stk. 2`	Lov om leje (Lejeaftalens udformning og indhold): § 11. En lejeaftale og andre aftaler om det lejede skal udfærdiges skriftligt, når en af parterne kræver det. Stk. 2. En lejeaftale anses for indgået på lovens vilkår, i det omfang der ikke udtrykkeligt er fastsat andet i aftalen. Stk. 3. Er lejens størrelse ikke aftalt, anses den for at udgøre det beløb, der er rimeligt under hensyn til reglerne i kapitel 3 eller reglerne om det lejedes værdi, jf. § 42, stk. 2 og 3, eller § 43. Stk. 4. Ønsker udlejeren at opkræve en leje, hvor afkastet beregnes efter § 25, stk. 2, skal det fremgå af lejeaftalen, hvornår den aftalte leje senest er fastsat efter § 23, og der skal i aftalen skønsmæssigt angives størrelsen af den leje, der maksimalt kan beregnes for lejemålet på tidspunktet for lejeaftalens indgåelse. Det skal tillige fremgå, om den aftalte leje er nedsat i henhold til § 23, stk. 2. Stk. 5. For lejeaftaler, som er omfattet af udlejerens beslutning om regulering efter nettoprisindeks...	`Lov om Kreditforeningen af kommuner og regioner i Danmark (intro): Lov om Kreditforeningen af kommuner og regioner i Danmark VI MARGRETHE DEN ANDEN, af Guds Nåde Danmarks Dronning, gør vitterligt: Folketinget har vedtaget og Vi ved Vort samtykke stadfæstet følgende lov:[object Object]`
`Gælder reglerne i forvaltningsloven og loven om offentlighed i forvaltningen for sager, hvor en tilskudsmodtager træffer afgørelse om ydelse af tilskud på vegne af staten?`	`Lov om økonomiske og administrative forhold for modtagere af driftstilskud fra Kulturministeriet (Kapitel 6): Andre bestemmelser § 10. Tilskudsmodtageren skal sikre, at informationer om tilskudsmodtagerens organisation og aktiviteter er let tilgængelige for offentligheden. § 11. Reglerne i forvaltningsloven og lov om offentlighed i forvaltningen gælder for de sager, hvori en tilskudsmodtager på vegne af staten træffer afgørelse om ydelse af tilskud.[object Object]`	Lov om en terrorforsikringsordning på skadesforsikringsområdet (Kapitel 2): Finansiering og tilbagebetaling § 3. Udbetalinger efter loven samt de medfølgende administrationsomkostninger finansieres ved et statsligt genudlån. Der kan optages genudlån inden for en samlet ramme på 13,4 mia. kr. (2010-niveau). Genudlånsrammen reguleres efter personskattelovens § 20. Stk. 2. Overstiger værdien af de samlede erstatningsberettigede skader i forbindelse med et NBCR-terrorangreb genudlånsrammen, har de erstatningsberettigede alene krav på en forholdsmæssig udbetaling. Stk. 3. Træk på det statslige genudlån skal tilbagebetales med en forrentning svarende til den til enhver tid fastsatte officielle diskonto. Renten tilskrives ved hvert kalenderårs udløb. Genudlånet tilbagebetales via efterfølgende opkrævninger af en årlig afgift pålagt forsikringspolicer omfattet af ordningen. Stk. 4. Afgiften opkræves af skadesforsikringsselskaberne og udgør et tillæg til forsikringspræmien på 5 pct. pr....
`Hvordan beskytter loven om leje lejerens rettigheder?`	`Lov om leje (Fravigelighed): § 148. §§ 142 og 143, § 144 stk. 2, 2. pkt., og §§ 145 og 146 kan ikke fraviges til skade for lejeren. Kapitel 17 Lejerens brug af det lejede [object Object]`	Lov om projektering og anlæg af en energiø i Nordsøen (Projektering og meddelelse af tilladelser): § 2. Klima-, energi- og forsyningsministeren bemyndiges til at foretage forberedelse og projektering, herunder afholdelse af udbud, og de øvrige dispositioner, som er nødvendige for anlæg af energiøen. § 3. Efter ansøgning fra udbudsvinderen meddeler klima-, energi- og forsyningsministeren tilladelse til gennemførelse af forundersøgelser til energiøen. Stk. 2. Klima-, energi- og forsyningsministeren kan fastsætte vilkår for tilladelsen til forundersøgelser, herunder om de forhold, som skal undersøges, om forundersøgelsernes forløb og tidsrum og om overholdelsen af miljø- og sikkerhedskrav. § 4. Klima-, energi- og forsyningsministeren meddeler tilladelse til anlæg af energiøen. Stk. 2. Tilladelsen, der fastsætter den konkrete placering, konstruktion og størrelse og det konkrete design af energiøen, meddeles på baggrund af udbudsvinderens projektbeskrivelse og ansøgning om tillad...

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Evaluation Dataset

danish_law_qa

Dataset: danish_law_qa at 075eed8
Size: 18,715 evaluation samples
Columns: question, context, and neg_context
Approximate statistics based on the first 1000 samples:
question context neg_context
type string string string
details
min: 10 tokens
mean: 31.79 tokens
max: 88 tokens
min: 19 tokens
mean: 410.47 tokens
max: 512 tokens
min: 19 tokens
mean: 424.61 tokens
max: 512 tokens

Samples:

question	context	neg_context
`Kan vildsvinehegnet udgøres af andre foranstaltninger end almindelige hegn på visse strækninger?`	Lov om projektering og anlæg af et vildsvinehegn langs den dansk-tyske landegrænse (Bemyndigelse til projektering og meddelelse af anlægstilladelse): § 1. Miljø- og fødevareministeren bemyndiges til at projektere og meddele tilladelse til anlæg af et vildsvinehegn langs den dansk-tyske landegrænse, herunder til at træffe de øvrige dispositioner i form af eksempelvis afværgeforanstaltninger eller kompenserende foranstaltninger, som er nødvendige i forbindelse med projekteringen og anlægget af hegnet. Stk. 2. Tilladelse til anlæg af vildsvinehegnet, der fastlægger hegnets præcise placering og udformning m.v. langs den dansk-tyske landegrænse, meddeles af miljø- og fødevareministeren efter projektbeskrivelse og ansøgning om anlægstilladelse fra Naturstyrelsen. Miljø- og fødevareministeren kan tillade, at vildsvinehegnet på visse strækninger udgøres af andre foranstaltninger med barrierevirkning for vildsvin end almindelige hegn, herunder f.eks. flydespærringer. Projektbeskrivelse, an...	`Lov om flagning (Kapitel 1): Danmarks nationalflag § 1. Danmarks Riges nationalflag er Dannebrog. Stk. 2. Dannebrog som splitflag føres af kongehuset, Folketinget, statslige myndigheder og domstolene samt institutioner m.v., der har særlig tilladelse hertil.[object Object]`
`Hvad er formålet med loven om internationale sikkerhedsrettigheder i flymateriel?`	Lov om internationale sikkerhedsrettigheder i flymateriel (Kapitel 1): Anvendelsesområde § 1. Bestemmelserne i Cape Town-konventionen, jf. bilag 1 til denne lov, og den til konventionen knyttede flymaterielprotokol, jf. bilag 2 til denne lov, gælder her i landet, jf. dog stk. 2-4. Stk. 2. Protokollens artikel VIII og XXI finder ikke anvendelse. Stk. 3. Konventionens artikel 13 og 43 finder anvendelse inden for rammerne af Bruxelles I-forordningen, jf. lov om Bruxelles I-forordningen m.v. Stk. 4. Protokollens artikel XI finder anvendelse med den ordlyd, der fremgår af bestemmelsens alternativ A. Karenstiden i henhold til bestemmelsen fastsættes til 60 dage. § 2. Sikkerhedsrettigheder i flygenstande, jf. protokollens artikel I, stk. 2, litra c, der er stiftet ved retsforfølgning, skal registreres i medfør af konventionen og protokollen for at opnå beskyttelse over for aftaler om flygenstanden og mod retsforfølgning. § 3. Fortrinsret for krav på offentlige afgifter i her i l...	Lov om opgradering af Øresundsbanen (Kapitel 1): Projektering og anlæg § 1. Loven omfatter følgende jernbaneprojekter, som gennemføres inden for de områder, der fremgår af lovens bilag 1-3: 1) Udvidelse af Københavns Lufthavn Station. 2) Etablering af overhalingsspor ved Kalvebod. 3) Etablering af vendespor ved Københavns Lufthavn Station. Stk. 2. Sund & Bælt Holding A/S med tilhørende datterselskaber kan projektere og anlægge jernbaneprojekterne nævnt i stk. 1.[object Object]
`Hvad er bilag 1 og bilag 3 i loven omhandlende?`	Lov om anvendelse af multilateral konvention til gennemførelse af tiltag i dobbeltbeskatningsoverenskomster til forhindring af skatteudhuling og overskudsflytning (intro): Lov om anvendelse af multilateral konvention til gennemførelse af tiltag i dobbeltbeskatningsoverenskomster til forhindring af skatteudhuling og overskudsflytning VI MARGRETHE DEN ANDEN, af Guds Nåde Danmarks Dronning, gør vitterligt: Folketinget har vedtaget og Vi ved Vort samtykke stadfæstet følgende lov: § 1. Bestemmelserne i multilateral konvention af 24. november 2016 til gennemførelse af tiltag i dobbeltbeskatningsoverenskomster til forhindring af skatteudhuling og overskudsflytning, jf. bilag 1, kan anvendes på de dobbeltbeskatningsoverenskomster, der er nævnt i bilag 3, jf. dog stk. 2. 1. pkt. kan endvidere anvendes på overenskomst af 14. marts 2018 mellem Kongeriget Danmark og Republikken Armenien til undgåelse af dobbeltbeskatning og forhindring af skatteunddragelse, for så vidt angår indkomst- og formue...	Lov om rørført transport af CO21) (Kapitel 5): Tilsyn § 13. Klima-, energi- og forsyningsministeren fører tilsyn med, at denne lov, regler udstedt i medfør af loven og vilkår udfærdiget i tilladelser overholdes. Stk. 2. Klima-, energi- og forsyningsministeren kan meddele påbud om overholdelse af loven og forskrifter udstedt i medfør heraf. Stk. 3. Klima-, energi- og forsyningsministeren kan fastsætte nærmere regler om udøvelsen af tilsynet. § 14. Klima-, energi- og forsyningsministeren kan i forbindelse med behandling af sager og udøvelse af tilsyn omfattet af denne lov indhente oplysninger, som er nødvendige for varetagelsen af disse opgaver, hos rettighedshavere. Stk. 2. Ved manglende udlevering af alle nødvendige oplysninger kan klima-, energi- og forsyningsministeren pålægge rettighedshaver at indsende manglende oplysninger og fastsætte en tidsfrist for en sådan indsendelse. Stk. 3. Oplysninger, som klima-, energi- og forsyningsministeren modtager i forbindelse med behand...

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
learning_rate: 2e-05
num_train_epochs: 1
warmup_ratio: 0.1
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	danish_law-validator_cosine_accuracy	ai-job-test_cosine_accuracy
-1	-1	-	-	0.8259	-
0.0947	100	1.522	1.0103	0.9498	-
0.1894	200	1.0991	0.8589	0.9573	-
0.2841	300	0.9759	0.8044	0.9658	-
0.3788	400	0.85	0.7616	0.9658	-
0.4735	500	0.8369	0.7363	0.9722	-
0.5682	600	0.8284	0.6936	0.9712	-
0.6629	700	0.8747	0.6794	0.9701	-
0.7576	800	0.7615	0.6735	0.9701	-
0.8523	900	0.7862	0.6651	0.9733	-
0.9470	1000	0.749	0.6638	0.9722	-
-1	-1	-	-	0.9733	0.9719

Framework Versions

Python: 3.12.7
Sentence Transformers: 3.4.0
Transformers: 4.46.3
PyTorch: 2.5.1
Accelerate: 1.3.0
Datasets: 3.2.0
Tokenizers: 0.20.3

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	question	context	neg_context
type	string	string	string
details	min: 2 tokens mean: 31.41 tokens max: 80 tokens	min: 54 tokens mean: 413.02 tokens max: 512 tokens	min: 19 tokens mean: 413.2 tokens max: 512 tokens