This is a sentence-transformers model finetuned from sentence-transformers/all-MiniLM-L6-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: sentence-transformers/all-MiniLM-L6-v2
Maximum Sequence Length: 256 tokens
Output Dimensionality: 384 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Erklären Sie, wie der Eigenmietwert für ein unentgeltlich eingeräumtes Wohnrecht berechnet wird und wer die Steuerpflicht dafür trägt.',
    '642.1\n2 Für ein unentgeltlich eingeräumtes Wohnrecht hat der Wohnrechtberech -\ntigte  den  Eigenmietwert  zu  besteuern.  Für  ein  entgeltlich  eingeräumtes \nWohnrecht hat der Eigentümer den Ertrag zu besteuern. Das unbewegliche  \nVermögen wird beim Eigentümer besteuert.\n3 Der Eigenmietwert einer unentgeltlich eingeräumten Nutzniessung oder ei -\nnes Wohnrechtes wird gemäss Artikel 17 Absatz 2 berechnet.\nArt.  7 2.2. Erbengemeinschaften und Personengesellschaften\n1 Einkommen und Vermögen von Erbengemeinschaften werden den einzel -\nnen Erben, Einkommen und Vermögen von Kollektiv-, Kommandit- und ein -\nfachen Gesellschaften den einzelnen Teilhabern anteilmässig zugerechnet.\n2 Gleicherweise werden die Verlustanteile und die Passivenüberschüsse be -\nrücksichtigt. Artikel 5 Absatz 2 bleibt vorbehalten.\nArt.  8 2.3. Ausländische Handelsgesellschaften und andere Perso-\nnengesamtheiten ohne juristische Persönlichkeit\n1 Ausländische Handelsgesellschaften und andere ausländische Personen -\ngesamtheiten ohne juristische Persönlichkeit, die kraft wirtschaftlicher Zu -\ngehö-rigkeit steuerpflichtig sind, entrichten ihre Steuern nach den für die ju -\nristischen Personen geltenden Bestimmungen.\nArt.  9 2.4. Steuernachfolge und Schenkung\n1 Stirbt der Steuerpflichtige, so treten seine Erben und Erbinnen in seine/ihre  \nRechte und Pflichten ein. Sie haften solidarisch für die vom Erblasser oder  \nErblasserin geschuldeten Steuern bis zur Höhe ihrer Erbteile, mit Einschluss  \nder Vorempfänge. *\n2 Der überlebende Ehegatte oder Ehegattin haftet mit seinem/ihrem Erbteil  \nund dem Betrag, den er oder sie aufgrund ehelichen Güterrechts vom Vor -\nschlag oder Gesamtgut über den gesetzlichen Anteil nach schweizerischem  \nRecht hinaus erhält. *\n3 Bei Schenkung haftet der Beschenkte bis zum Wert der Schenkung für die  \nvom Schenker geschuldeten Steuern, wenn dieser nicht mehr in der Lage  \nist, sie selber zu zahlen.\n6',
    '642.1\nArt.  158 3. Nachsteuern\n3.1. Voraussetzungen\n1 Ergibt sich aufgrund von Tatsachen oder Beweismitteln, die der Steuerbe -\nhörde nicht bekannt waren, dass eine Veranlagung zu Unrecht unterblieben  \noder eine rechtskräftige Veranlagung unvollständig ist, oder ist eine unter -\nbliebene oder unvollständige Veranlagung auf ein Verbrechen oder ein Ver -\ngehen gegen die Steuerbehörde zurückzuführen, so wird die nicht erhobene  \nSteuer samt Zins als Nachsteuer eingefordert. *\n2 Hat der Steuerpflichtige Einkommen, Vermögen, Reingewinn oder Eigen -\nkapital in seiner Steuererklärung vollständig und genau angegeben und ha -\nben die Steuerbehörden die Bewertung anerkannt, so kann keine Nachsteu -\ner wegen ungenügender Bewertung erhoben werden.\n3 Bei Selbstanzeige im Sinne der Artikel 203 ff. wird die Nachsteuer ohne  \nZinsen eingefordert. *\nArt.  159 3.2. Verwirkung\n1 Das Recht, ein Nachsteuerverfahren einzuleiten, erlischt zehn Jahre nach  \nAblauf der Steuerperiode, für die eine Veranlagung zu Unrecht unterblieben  \noder eine rechtskräftige Veranlagung unvollständig ist. *\n2 Die Eröffnung der Strafverfolgung wegen Steuerhinterziehung oder Steuer -\nvergehens gilt zugleich als Einleitung des Nachsteuerverfahrens.\n3 Das Recht, die Nachsteuer festzusetzen, erlischt 15  Jahre nach Ablauf der \nSteuerperiode, auf die sie sich bezieht. *\n4 Die  Einleitung  eines  Nachsteuerverfahrens  wird  dem  Steuerpflichtigen \nschriftlich mitgeteilt. *\n4a Wenn bei Einleitung eines Nachsteuerverfahrens ein Strafverfahren we -\ngen Steuerhinterziehung weder eingeleitet wird, noch hängig ist, noch von  \nvornherein ausgeschlossen werden kann, wird die steuerpflichtige Person  \nauf die Möglichkeit der späteren Einleitung eines solchen Strafverfahrens  \naufmerksam gemacht. *\n5 Das Verfahren, das beim Tod des Steuerpflichtigen noch nicht eingeleitet  \noder noch nicht abgeschlossen ist, kann gegenüber den Erben eingeleitet  \noder fortgesetzt werden. *\n6 Im Übrigen sind die Vorschriften über die Verfahrensgrundsätze, das Ver -\nanlagungs- und das Beschwerdeverfahren sinngemäss anwendbar. *\n92',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.3689
cosine_accuracy@3	0.5123
cosine_accuracy@5	0.5861
cosine_accuracy@10	0.6721
cosine_precision@1	0.3689
cosine_precision@3	0.1708
cosine_precision@5	0.1172
cosine_precision@10	0.0672
cosine_recall@1	0.3689
cosine_recall@3	0.5123
cosine_recall@5	0.5861
cosine_recall@10	0.6721
cosine_ndcg@10	0.5087
cosine_mrr@10	0.4577
cosine_map@100	0.4699

Training Details

Training Dataset

Unnamed Dataset

Size: 540 training samples
Columns: sentence_0 and sentence_1
Approximate statistics based on the first 540 samples:
sentence_0 sentence_1
type string string
details
min: 19 tokens
mean: 35.64 tokens
max: 117 tokens
min: 105 tokens
mean: 252.71 tokens
max: 256 tokens

Samples:

sentence_0	sentence_1
`Welche Arten von Steuern erhebt der Kanton Wallis gemäß dem Steuergesetz vom 10.03.1976, und welche Steuerarten sind speziell für natürliche und juristische Personen vorgesehen?`	642.1[object Object]Steuergesetz[object Object](StG)[object Object]vom 10.03.1976 (Stand 01.01.2025)[object Object]Der Grosse Rat des Kantons Wallis[object Object]eingesehen die Artikel 23 und 24 der Kantonsverfassung;[object Object]auf Antrag des Staatsrates,[object Object]verordnet:[object Object]1 Kantonssteuern[object Object]Art. 1 Gegenstand[object Object]1 Der Kanton erhebt nach diesem Gesetze:[object Object]a) * eine Einkommens-, Grundstückgewinn- und Vermögenssteuer von den [object Object]natürlichen Personen;[object Object]b) eine Gewinn-, Kapital- und Grundstücksteuer von den juristischen Per -[object Object]sonen sowie gegebenenfalls eine Mindeststeuer von diesen Steuer -[object Object]pflichtigen;[object Object]c) eine Quellensteuer von den natürlichen und juristischen Personen;[object Object]d) eine Erbschafts- und Schenkungssteuer.[object Object]e) * …[object Object]2 Bei interkantonalen und internationalen Beziehungen bleiben die Bestim -[object Object]mungen des Bundesrechtes und der Staatsverträge vorbehalten.[object Object]* Änderungstabellen am Schluss des Erlasses[object Object]1
`Inwiefern sind die Bestimmungen des Bundesrechts und der Staatsverträge bei interkantonalen und internationalen Beziehungen im Kontext des Steuergesetzes relevant?`	642.1[object Object]Steuergesetz[object Object](StG)[object Object]vom 10.03.1976 (Stand 01.01.2025)[object Object]Der Grosse Rat des Kantons Wallis[object Object]eingesehen die Artikel 23 und 24 der Kantonsverfassung;[object Object]auf Antrag des Staatsrates,[object Object]verordnet:[object Object]1 Kantonssteuern[object Object]Art. 1 Gegenstand[object Object]1 Der Kanton erhebt nach diesem Gesetze:[object Object]a) * eine Einkommens-, Grundstückgewinn- und Vermögenssteuer von den [object Object]natürlichen Personen;[object Object]b) eine Gewinn-, Kapital- und Grundstücksteuer von den juristischen Per -[object Object]sonen sowie gegebenenfalls eine Mindeststeuer von diesen Steuer -[object Object]pflichtigen;[object Object]c) eine Quellensteuer von den natürlichen und juristischen Personen;[object Object]d) eine Erbschafts- und Schenkungssteuer.[object Object]e) * …[object Object]2 Bei interkantonalen und internationalen Beziehungen bleiben die Bestim -[object Object]mungen des Bundesrechtes und der Staatsverträge vorbehalten.[object Object]* Änderungstabellen am Schluss des Erlasses[object Object]1
`Unter welchen Bedingungen wird eine natürliche Person als steuerpflichtig im Kanton Wallis angesehen, und welche Kriterien müssen erfüllt sein, um einen steuerrechtlichen Wohnsitz oder Aufenthalt zu begründen?`	642.1[object Object]1.1 Die Steuern der natürlichen Personen[object Object]1.1.1 Steuerpflicht[object Object]Art. 2 1. Steuerliche Zugehörigkeit[object Object]1.1. Persönliche Zugehörigkeit[object Object]1 Natürliche Personen sind aufgrund persönlicher Zugehörigkeit steuerpflich -[object Object]tig, wenn sie ihren steuerrechtlichen Wohnsitz oder ihren Aufenthalt im [object Object]Kanton Wallis haben. [object Object]2 Einen steuerrechtlichen Wohnsitz im Kanton hat eine Person, wenn sie [object Object]sich hier mit der Absicht dauernden Verbleibens aufhält oder wenn ihr das [object Object]Bundesrecht hier einen besonderen gesetzlichen Wohnsitz zuweist.[object Object]3 Einen steuerrechtlichen Aufenthalt im Kanton hat eine Person, wenn sie [object Object]hier ungeachtet vorübergehender Unterbrechung: [object Object]a) während mindestens 30 Tagen verweilt und eine Erwerbstätigkeit aus -[object Object]übt;[object Object]b) während mindestens 90 Tagen verweilt und keine Erwerbstätigkeit [object Object]ausübt.[object Object]4 Keinen steuerrechtlichen Wohnsitz oder Aufenthalt begründet eine Person, [object Object]die ihren Wohnsitz in einem anderen Kanton oder im Ausland hat und sich [object Object]im Kanton lediglich zum Besuch ei...

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 10
per_device_eval_batch_size: 10
num_train_epochs: 100
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 10
per_device_eval_batch_size: 10
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 100
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss	cosine_ndcg@10
0.9259	50	-	0.2469
1.0	54	-	0.2482
1.8519	100	-	0.2910
2.0	108	-	0.3052
2.7778	150	-	0.3974
3.0	162	-	0.4210
3.7037	200	-	0.4429
4.0	216	-	0.4545
4.6296	250	-	0.4665
5.0	270	-	0.4667
5.5556	300	-	0.4777
6.0	324	-	0.4882
6.4815	350	-	0.4841
7.0	378	-	0.4907
7.4074	400	-	0.4874
8.0	432	-	0.4815
8.3333	450	-	0.4790
9.0	486	-	0.4742
9.2593	500	0.6806	0.4876
10.0	540	-	0.4876
10.1852	550	-	0.4867
11.0	594	-	0.4944
11.1111	600	-	0.5065
12.0	648	-	0.4940
12.0370	650	-	0.4932
12.9630	700	-	0.4898
13.0	702	-	0.4899
13.8889	750	-	0.4947
14.0	756	-	0.4990
14.8148	800	-	0.4901
15.0	810	-	0.4893
15.7407	850	-	0.5064
16.0	864	-	0.5087

Framework Versions

Python: 3.11.12
Sentence Transformers: 4.1.0
Transformers: 4.52.2
PyTorch: 2.6.0+cu124
Accelerate: 1.7.0
Datasets: 3.6.0
Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss