multilingual-e5-small Embed base Legal Matryoshka

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-small
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: rus
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

• Dataset: dim_384
• Evaluated with InformationRetrievalEvaluator with these parameters:
  json

  1{ 2 "truncate_dim": 384 3}

Information Retrieval

• Dataset: dim_256
• Evaluated with InformationRetrievalEvaluator with these parameters:
  json

  1{ 2 "truncate_dim": 256 3}

Information Retrieval

• Dataset: dim_128
• Evaluated with InformationRetrievalEvaluator with these parameters:
  json

  1{ 2 "truncate_dim": 128 3}

Information Retrieval

• Dataset: dim_64
• Evaluated with InformationRetrievalEvaluator with these parameters:
  json

  1{ 2 "truncate_dim": 64 3}

Training Details

Training Dataset

json

• Dataset: json
• Size: 165 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 165 samples:

  	anchor	positive
  type	string	string
  details	min: 12 tokens mean: 25.42 tokens max: 49 tokens	min: 28 tokens mean: 127.88 tokens max: 373 tokens

• Samples:

  anchor	positive
  Как осуществляется государственная регистрация прав на недвижимость согласно российскому законодательству?	['регистрация прав). Государственная регистрация прав осуществляется посредством внесения в Единый государственный реестр недвижимости записи о праве на недвижимое имущество, сведения о котором внесены в Единый государственный реестр недвижимости.\nВ соответствии сост. 14 Федерального закона № ', 'ются на основании заявления, за исключением установленных настоящим Федеральным законом случаев, и документов, поступивших в орган регистрации прав в установленном настоящим Федеральным законом порядке.\nВ силуч. 4 ст. 18 Федерального закона № 218-ФЗк заявлению прилагаются документы, ', 'гласно п. 1 договора купли-продажи квартиры от 07.07.2006, покупатели обязуются принять указанную квартиру в равнодолевую собственность; из п. 6 договора следует, что с момента государственно']
  Какие основания суда первой инстанции подтвердились высшей инстанцией?	['частной жалобы адвоката Канунниковой Е.Н.- Одягайло В.Ф. о том, что в действиях взыскателя АК "АЛРОСА", который затягивает возбуждение исполнительного производства и не реагирует на бездействие судебного пристава- исполнителя, имеются признаки злоупотребления правом, ничем не подтверждаются.\nДоводы частных жалоб направлены на иное толкование норм гражданского ', 'и помощнике судьи Тарасовой А.И.,\nрассмотрев в открытом судебном заседании по докладу судьи\nСемченко А.В.\nгражданское дело по иску Главного управления МЧС России по г. Москве к Коренев', '\nПроверив материалы дела, выслушав представителя истца\nКалинина А.Ф., ответчика, его представителя Михайлову А.Е., обсудив доводы апелляционной жалобы, судебная коллегия приходит к следующему.\nСудом установлено и усматривается из материалов дела, в соответствии с приказом Главного управл']
  Каким образом Арбитражный суд Московского округа решил по вопросу кассационной жалобы Муниципального предприятия 'Домовладение'?	['нныхстатьей 288 Арбитражного процессуального кодекса Российской Федерацииоснований для отмены обжалуемых в кассационном порядке судебных актов не имеется, в связи с чем кассационная жалоба удовлетворению не подлежит.\nРуководствуясьстатьями 284-289 Арбитражного процессуального кодекса ', 'Российской Федерации, суд\nПОСТАНОВИЛ:\nрешение Арбитражного суда города Москвы от 19.11.2024 и постановление Девятого арбитражного апелляционного суда от 04.02.2025 по делу № А40-183451/2024 оставить без изменения, кассационную жалобу - без удовлетворения.\nПредседательствующий-судья Д.И. ']

• Loss: MatryoshkaLoss with these parameters:
  json

  1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 384, 5 256, 6 128, 7 64 8 ], 9 "matryoshka_weights": [ 10 1, 11 1, 12 1, 13 1 14 ], 15 "n_dims_per_step": -1 16}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 16
• gradient_accumulation_steps: 8
• learning_rate: 2e-05
• num_train_epochs: 8
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: False
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.52.4
• PyTorch: 2.7.1+cu126
• Accelerate: 1.7.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

MultipleNegativesRankingLoss