nomic v2 tuned

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: nomic-ai/nomic-embed-text-v2-moe
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: en
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: NomicBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

• Datasets: dim_768, dim_512, dim_256, dim_128 and dim_64
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

json

• Dataset: json
• Size: 42,140 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 9 tokens mean: 41.24 tokens max: 139 tokens	min: 37 tokens mean: 226.53 tokens max: 464 tokens

• Samples:

  anchor	positive
  Найдите в документе информацию о том, кто подписал данный документ и где это произошло.	Не подлежат возврату в качестве неосновательного обогащения: 1) имущество, переданное во исполнение обязательства до наступления срока исполнения, если обязательством не предусмотрено иное; 2) имущество, переданное во исполнение обязательства по истечении срока исковой давности; 3) заработная плата и приравненные к ней платежи, пенсии, пособия, стипендии, возмещение вреда, причиненного жизни или здоровью, алименты и иные денежные суммы, предоставленные гражданину в качестве средства к существованию, при отсутствии недобросовестности с его стороны и счетной ошибки; 4) денежные суммы и иное имущество, предоставленные во исполнение несуществующего обязательства, если приобретатель докажет, что лицо, требующее возврата имущества, знало об отсутствии обязательства либо предоставило имущество в целях благотворительности. Президент Российской Федерации Б.Ельцин Москва, Кремль 26 января 1996 года № 14-ФЗ
  Заявитель хочет добавить в заявку на полезную модель новый, незначительный элемент, не влияющий на основной функционал. Изменит ли добавление этого элемента заявку на полезную модель по существу? Как это соотносится с пунктом 3?	указание на технический результат, который обеспечивается изобретением или полезной моделью и не связан с техническим результатом, содержащимся в тех же документах. 3. Дополнительные материалы изменяют заявку на промышленный образец по существу, если они содержат изображения изделия, на которых: представлен иной промышленный образец, не удовлетворяющий требованию единства промышленного образца в отношении промышленного образца или группы промышленных образцов, раскрытых на изображениях, принятых к рассмотрению; представлены существенные признаки промышленного образца, отсутствующие на изображениях, представленных на дату подачи заявки, либо представлены изображения изделия, с которых удалены существенные признаки промышленного образца, имеющиеся на изображениях, представленных на дату подачи заявки. 4. Изменения сведений об авторе, о заявителе, в том числе при передаче права на получение патента другому лицу либо вследствие изменения имени автора, имени или наименования заявителя, а та...
  Предположим, патент на изобретение был выдан 1 января 2020 года. Какова максимальная дата окончания действия этого патента, учитывая возможность продления?	У патентообладателя могут быть запрошены дополнительные материалы, если без них рассмотрение заявления невозможно. Дополнительные материалы должны быть представлены в течение трех месяцев со дня направления такого запроса. Если патентообладатель в этот срок не представит запрошенные материалы или не подаст ходатайство о продлении срока, заявление не удовлетворяется. Срок, установленный для представления дополнительных материалов, может быть продлен федеральным органом исполнительной власти по интеллектуальной собственности не более чем на десять месяцев. При продлении на основании абзаца первого настоящего пункта срока действия исключительного права выдается дополнительный патент с формулой, содержащей совокупность признаков запатентованного изобретения, характеризующую продукт, на применение которого получено разрешение. 3. Срок действия исключительного права на промышленный образец и удостоверяющего это право патента по заявлению патентообладателя может быть неоднократно продлен на п...

• Loss: MatryoshkaLoss with these parameters:
  json

  1{ 2 "loss": "MultipleNegativesSymmetricRankingLoss", 3 "matryoshka_dims": [ 4 768, 5 512, 6 256, 7 128, 8 64 9 ], 10 "matryoshka_weights": [ 11 1, 12 1, 13 1, 14 1, 15 1 16 ], 17 "n_dims_per_step": -1 18}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 16
• learning_rate: 2e-05
• num_train_epochs: 4
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• bf16: True
• tf32: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.43.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.3.0
• Datasets: 3.4.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss