This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-base
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Supported Modality: Text

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("maximmikhalevich/e5_large_for_law_RAG_2")
# Run inference
queries = [
    'query: Чем наказывается управление транспортным средством, на котором незаконно установлен опознавательный фонарь по КоАП РФ?',
]
documents = [
    'passage: Управление транспортным средством, на котором незаконно установлен опознавательный фонарь легкового такси или опознавательный знак "Инвалид", - влечет наложение административного штрафа на водителя в размере пяти тысяч рублей с конфискацией предмета административного правонарушения. — Статья 12.5 КоАП РФ, часть 4.1.',
    'passage: Управление транспортным средством с заведомо неисправными тормозной системой (за исключением стояночного тормоза), рулевым управлением или сцепным устройством (в составе поезда) - влечет наложение административного штрафа в размере пятисот рублей. — Статья 12.5 КоАП РФ, часть 2.',
    'passage: Опережение транспортных средств при проезде пешеходных переходов осуществляется с учетом требований пункта 14.2 Правил. — пункт 10.5 ПДД РФ.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.8487, 0.6378, 0.5359]])

Evaluation

Metrics

Information Retrieval

Dataset: legal-eval
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.5315
cosine_accuracy@3	0.8198
cosine_accuracy@5	0.8739
cosine_accuracy@10	0.9279
cosine_precision@1	0.5315
cosine_precision@3	0.2733
cosine_precision@5	0.1748
cosine_precision@10	0.0928
cosine_recall@1	0.5315
cosine_recall@3	0.8198
cosine_recall@5	0.8739
cosine_recall@10	0.9279
cosine_ndcg@10	0.7437
cosine_mrr@10	0.6832
cosine_map@10	0.6832

Training Details

Training Dataset

Unnamed Dataset

Size: 632 training samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 100 samples:

	anchor	positive	negative
type	string	string	string
modality	text	text	text
details	min: 13 tokens mean: 31.99 tokens max: 57 tokens	min: 28 tokens mean: 92.92 tokens max: 278 tokens	min: 29 tokens mean: 85.54 tokens max: 278 tokens

Samples:

anchor	positive	negative
`query: Что обязан делать водитель по правилу «применение аварийной сигнализации и знака аварийной остановки» (пункт 6.1 ПДД)?`	passage: Аварийная световая сигнализация должна быть включена: при дорожно-транспортном происшествии; при вынужденной остановке в местах, где остановка запрещена; при ослеплении водителя светом фар; при буксировке (на буксируемом механическом транспортном средстве); при посадке детей в транспортное средство, имеющее опознавательные знаки «Перевозка детей»[2], и высадке из него. Водитель должен включать аварийную световую сигнализацию и в других случаях для предупреждения участников движения об опасности, которую может создать транспортное средство. — пункт 6.1 ПДД РФ.	`passage: При отсутствии или неисправности аварийной световой сигнализации на буксируемом механическом транспортном средстве на его задней части должен быть закреплен знак аварийной остановки. — пункт 6.3 ПДД РФ.`
`query: Какая ответственность за невыполнение водителем транспортного средства требования о прохождении медицинского освидетельствования на состояние опь?`	passage: Невыполнение водителем транспортного средства законного требования уполномоченного должностного лица о прохождении медицинского освидетельствования на состояние опьянения, если такие действия (бездействие) не содержат уголовно наказуемого деяния, — влечет наложение административного штрафа в размере сорока пяти тысяч рублей с лишением права управления транспортными средствами на срок от полутора до двух лет. — Статья 12.26 КоАП РФ, часть 1.	passage: Невыполнение водителем транспортного средства, не имеющим права управления транспортными средствами либо лишенным права управления транспортными средствами, законного требования уполномоченного должностного лица о прохождении медицинского освидетельствования на состояние опьянения, если такие действия (бездействие) не содержат уголовно наказуемого деяния, — влечет административный арест на срок от десяти до пятнадцати суток или наложение административного штрафа на лиц, в отношении которых в соответствии с настоящим Кодексом не может применяться административный арест, в размере сорока пяти тысяч рублей. — Статья 12.26 КоАП РФ, часть 2.
`query: Что обязан делать водитель по правилу «начало движения, маневрирование» (пункт 7.10 ПДД)?`	passage: При наличии полосы торможения водитель, намеревающийся повернуть, должен своевременно перестроиться на эту полосу и снижать скорость только на ней. При наличии в месте въезда на дорогу полосы разгона водитель должен двигаться по ней и перестраиваться на соседнюю полосу, уступая дорогу транспортным средствам, движущимся по этой дороге. — пункт 7.10 ПДД РФ.	passage: При перестроении водитель должен уступить дорогу транспортным средствам, движущимся попутно без изменения направления движения. При одновременном перестроении транспортных средств, движущихся попутно, водитель должен уступить дорогу транспортному средству, находящемуся справа. — пункт 7.4 ПДД РФ.

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false, 5 "directions": [ 6 "query_to_doc" 7 ], 8 "partition_mode": "joint", 9 "hardness_mode": null, 10 "hardness_strength": 0.0 11}

Evaluation Dataset

Unnamed Dataset

Size: 111 evaluation samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 100 samples:

	anchor	positive	negative
type	string	string	string
modality	text	text	text
details	min: 13 tokens mean: 29.57 tokens max: 61 tokens	min: 33 tokens mean: 87.16 tokens max: 247 tokens	min: 33 tokens mean: 80.69 tokens max: 408 tokens

Samples:

anchor	positive	negative
`query: Что говорится в ПДД РФ про «водитель может покидать свое место или оставлять транспортное средство, если им приняты необходимые меры»?`	`passage: Водитель может покидать свое место или оставлять транспортное средство, если им приняты необходимые меры, исключающие самопроизвольное движение транспортного средства или использование его в отсутствие водителя. — пункт 11.8 ПДД РФ.`	passage: Остановка запрещается: на трамвайных путях, а также в непосредственной близости от них, если это создаст помехи движению трамваев; на железнодорожных переездах, в тоннелях, а также на эстакадах, мостах, путепроводах (если для движения в данном направлении имеется менее трех полос) и под ними; в местах, где расстояние между сплошной линией разметки (кроме обозначающей край проезжей части), разделительной полосой или противоположным краем проезжей части и остановившимся транспортным средством менее 3 м; на пешеходных переходах и ближе 5 м перед ними; на проезжей части вблизи опасных поворотов и выпуклых переломов продольного профиля дороги при видимости дороги менее 100 м хотя бы в одном направлении; на пересечении проезжих частей и ближе 5 м от края пересекаемой проезжей части, за исключением стороны напротив бокового проезда трехсторонних пересечений (перекрестков), имеющих сплошную линию разметки или разделительную полос; ближе 15 метров от мест остановки маршрутных транспорт...
`query: Что предусмотрено УК РФ за деяния, предусмотренные частью первой настоящей статьи, повлекшие по неосторожности причинение средней тяжести вреда здоровью?`	`passage: Деяния, предусмотренные частью первой настоящей статьи, повлекшие по неосторожности причинение средней тяжести вреда здоровью — Статья 267 УК РФ, часть 3.`	`passage: Деяния, предусмотренные частью первой настоящей статьи, повлекшие по неосторожности смерть человека — Статья 267 УК РФ, часть 5.`
`query: Какая ответственность за превышение установленной скорости движения транспортного средства на величину более 60, но не более 80 километров в час?`	passage: Превышение установленной скорости движения транспортного средства на величину более 60, но не более 80 километров в час — влечет наложение административного штрафа в размере от трех тысяч до трех тысяч семисот пятидесяти рублей или лишение права управления транспортными средствами на срок от четырех до шести месяцев. — Статья 12.9 КоАП РФ, часть 4.	`passage: Превышение установленной скорости движения транспортного средства на величину более 20, но не более 40 километров в час — влечет наложение административного штрафа в размере семисот пятидесяти рублей. — Статья 12.9 КоАП РФ, часть 2.`

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false, 5 "directions": [ 6 "query_to_doc" 7 ], 8 "partition_mode": "joint", 9 "hardness_mode": null, 10 "hardness_strength": 0.0 11}

Training Hyperparameters

Non-Default Hyperparameters

learning_rate: 5e-06
warmup_steps: 0.2
gradient_accumulation_steps: 4
fp16: True
per_device_eval_batch_size: 32
load_best_model_at_end: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

per_device_train_batch_size: 8
num_train_epochs: 3
max_steps: -1
learning_rate: 5e-06
lr_scheduler_type: linear
lr_scheduler_kwargs: None
warmup_steps: 0.2
optim: adamw_torch_fused
optim_args: None
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
optim_target_modules: None
gradient_accumulation_steps: 4
average_tokens_across_devices: True
max_grad_norm: 1.0
label_smoothing_factor: 0.0
bf16: False
fp16: True
bf16_full_eval: False
fp16_full_eval: False
tf32: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
use_liger_kernel: False
liger_kernel_config: None
use_cache: False
neftune_noise_alpha: None
torch_empty_cache_steps: None
auto_find_batch_size: False
log_on_each_node: True
logging_nan_inf_filter: True
include_num_input_tokens_seen: no
log_level: passive
log_level_replica: warning
disable_tqdm: False
project: huggingface
trackio_space_id: None
trackio_bucket_id: None
trackio_static_space_id: None
per_device_eval_batch_size: 32
prediction_loss_only: True
eval_on_start: False
eval_do_concat_batches: True
eval_use_gather_object: False
eval_accumulation_steps: None
include_for_metrics: []
batch_eval_metrics: False
save_only_model: False
save_on_each_node: False
enable_jit_checkpoint: False
push_to_hub: False
hub_private_repo: None
hub_model_id: None
hub_strategy: every_save
hub_always_push: False
hub_revision: None
load_best_model_at_end: True
ignore_data_skip: False
restore_callback_states_from_checkpoint: False
full_determinism: False
seed: 42
data_seed: None
use_cpu: False
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_pin_memory: True
dataloader_persistent_workers: False
dataloader_prefetch_factor: None
remove_unused_columns: True
label_names: None
train_sampling_strategy: random
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
ddp_static_graph: None
ddp_backend: None
ddp_timeout: 1800
fsdp: []
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
deepspeed: None
debug: []
skip_memory_metrics: True
do_predict: False
resume_from_checkpoint: None
warmup_ratio: None
local_rank: -1
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	legal-eval_cosine_ndcg@10
-1	-1	-	-	0.5083
0.5063	10	1.7947	2.4533	0.5293
1.0	20	1.3967	1.7399	0.5839
1.5063	30	1.0271	1.3093	0.6426
2.0	40	0.8575	1.0372	0.7069
2.5063	50	0.6839	0.8998	0.7409
3.0	60	0.6352	0.8538	0.7437
-1	-1	-	-	0.7437

The bold row denotes the saved checkpoint.

Training Time

Training: 36.2 minutes

Framework Versions

Python: 3.12.13
Sentence Transformers: 5.5.1
Transformers: 5.9.0
PyTorch: 2.10.0+cu128
Accelerate: 1.13.0
Datasets: 4.8.5
Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}