nomic v2 tuned

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: nomic-ai/nomic-embed-text-v2-moe
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: en
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: NomicBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

• Datasets: dim_768, dim_512, dim_256, dim_128 and dim_64
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

json

• Dataset: json
• Size: 42,140 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 10 tokens mean: 40.81 tokens max: 141 tokens	min: 34 tokens mean: 226.88 tokens max: 464 tokens

• Samples:

  anchor	positive
  Решение совета директоров было обжаловано в суде, но суд оставил решение в силе. Изменяет ли обжалование решения в суде его юридическую силу, если суд его подтвердил?	8. Решения совета директоров (наблюдательного совета) общества, принятые с нарушением компетенции совета директоров (наблюдательного совета) общества, при отсутствии кворума для проведения заседания совета директоров (наблюдательного совета) общества, если наличие кворума в соответствии с настоящим Федеральным законом является обязательным условием проведения такого заседания, или без необходимого для принятия решения большинства голосов членов совета директоров (наблюдательного совета) общества, не имеют силы независимо от обжалования их в судебном порядке. (Дополнение пунктом - Федеральный закон от 19.07.2009 № 205-ФЗ )
  В результате незаконных действий сотрудников прокуратуры, дело о банкротстве компании «Бета» было затянуто на год, что привело к значительным финансовым потерям. Может ли компания «Бета» требовать возмещения убытков, и если да, то на основании какой части статьи и в каком порядке?	1. Вред, причиненный гражданину в результате незаконного осуждения, незаконного привлечения к уголовной ответственности, незаконного применения в качестве меры пресечения заключения под стражу или подписки о невыезде, незаконного привлечения к административной ответственности в виде административного ареста, а также вред, причиненный юридическому лицу в результате незаконного привлечения к административной ответственности в виде административного приостановления деятельности, возмещается за счет казны Российской Федерации, а в случаях, предусмотренных законом, за счет казны субъекта Российской Федерации или казны муниципального образования в полном объеме независимо от вины должностных лиц органов дознания, предварительного следствия, прокуратуры и суда в порядке, установленном законом. (В редакции Федерального закона от 09.05.2005 № 45-ФЗ ) 2. Вред, причиненный гражданину или юридическому лицу в результате незаконной деятельности органов дознания, предварительного следствия, прокурату...
  Какие статьи Федерального закона № 73-ФЗ касаются стоимости восстановительных работ или мероприятий по сохранению объектов культурного наследия?	В случаях, когда собственник культурных ценностей, отнесенных в соответствии с законом к особо ценным и охраняемым государством, бесхозяйственно содержит эти ценности, что грозит утратой ими своего значения, такие ценности по решению суда могут быть изъяты у собственника путем выкупа государством или продажи с публичных торгов. При выкупе культурных ценностей собственнику возмещается их стоимость в размере, установленном соглашением сторон, а в случае спора - судом. При продаже с публичных торгов собственнику передается вырученная от продажи сумма за вычетом расходов на проведение торгов, а также стоимости восстановительных работ в отношении объекта культурного наследия, или стоимости мероприятий, необходимых для сохранения объекта археологического наследия, указанных в статье 40 Федерального закона от 25 июня 2002 года № 73-ФЗ "Об объектах культурного наследия (памятниках истории и культуры) народов Российской Федерации". (В редакции Федерального закона от 22.10.2014 № 315-ФЗ )

• Loss: MatryoshkaLoss with these parameters:
  json

  1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 768, 5 512, 6 256, 7 128, 8 64 9 ], 10 "matryoshka_weights": [ 11 1, 12 1, 13 1, 14 1, 15 1 16 ], 17 "n_dims_per_step": -1 18}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 16
• learning_rate: 2e-05
• num_train_epochs: 4
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.43.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.3.0
• Datasets: 3.4.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

MultipleNegativesRankingLoss