This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-large
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("dankalin/multilingual-e5-large-triplet_loss")
# Run inference
sentences = [
    'Какое значение апертуры миграции было использовано?',
    'Миграция выполнялась с использованием программы TIKIM до суммирования во временной области по классам удалений. Апертура миграции составила 3000 м',
    'коэффициентов взаимной корреляции позволяют использовать полученные зависимости для построения карт ФЕС (в частности – карт значений эффективных толщин ) (Граф',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

Dataset: e5_triplet_eval
Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.9643
dot_accuracy	0.0357
manhattan_accuracy	0.9643
euclidean_accuracy	0.9643
max_accuracy	0.9643

Training Details

Training Dataset

Unnamed Dataset

Size: 4,926 training samples
Columns: anchor, positive, and negative
Approximate statistics based on the first 1000 samples:
anchor positive negative
type string string string
details
min: 9 tokens
mean: 20.24 tokens
max: 41 tokens
min: 21 tokens
mean: 129.99 tokens
max: 512 tokens
min: 2 tokens
mean: 93.1 tokens
max: 512 tokens

Samples:

anchor	positive	negative
`Какова оценка точности (стандартные отклонения) структурных построений для отражающего горизонта А?`	`В таблице 3.5 представлены данные выполненных расч тов. Таблица 3.5. Оценка точности структурных построений ОГ Vпл/ м/с Т/ с Т/ с Vпл/ м/с Н/ м ТЮ2 Т3 (ЮВ10) А 3350 3400 3400 0.005 0.010 0.020 0`	`Точность структурных построений Горизонт НБВ7 НБВ4 НБВ3 М max, м 17 15 19 9 min, м 0 0 0 0 max, м min, м 18 7 10 8 1 0 0 0 , м 8 8 8 4 4 Структурные карты (схемы) по всем отражающим горизонтам`
`Какова точность структурных построений для отражающего горизонта Б?`	2 Точность структурных построений ОГ АП5 ОГ БП9 1 ОГ БП10 0 Абсолютная отметка, м поправка, м Абсолютная отметка, м поправка, м Абсолютная отметка, м поправка, м 6.51 10.51 9.65 ОГ Б поправка , м (миним. вариант) -11.93 поправка , м (максим. вариант) 11.01 Абсолютна я отметка, м 3227.584 1 ОГ Ю1 поправка , м (миним. вариант) 1.116 поправка , м (максим. вариант) 15.971 Абсолютна я отметка, м 3282.26 2 ОГ Ю1 поправка , м (миним. вариант) 1.53 поправка , м (максим. вариант) -0.813 14.51 16.63 6.03 15.51 3.38 1.64 172 4	`Отражающий горизонт Г является реперным горизонтом и коррелируется без затруднений по всему Валынтойскому кубу сейсморазведки 3D`
`В скольки скважинах есть данных акустического каротажа?`	`Комплекс ГИС, выполненный в скважинах 93Р и 309ПО Скв`	`Проведены сейсморазведочные работы 3Д на Валынтойской площади в объ ме 300 квадратных километров. Полевые работы ВСП в скважине 309ПО Валынтойской площади`

Loss: TripletLoss with these parameters:
json
1{ 2 "distance_metric": "TripletDistanceMetric.EUCLIDEAN", 3 "triplet_margin": 5 4}

Evaluation Dataset

Unnamed Dataset

Size: 1,232 evaluation samples
Columns: anchor, positive, and negative
Approximate statistics based on the first 1000 samples:
anchor positive negative
type string string string
details
min: 9 tokens
mean: 20.38 tokens
max: 41 tokens
min: 21 tokens
mean: 132.2 tokens
max: 512 tokens
min: 2 tokens
mean: 86.95 tokens
max: 512 tokens

Samples:

anchor	positive	negative
`Какова оценка точности (стандартные отклонения) структурных построений для отражающего горизонта А?`	`В таблице 3.5 представлены данные выполненных расч тов. Таблица 3.5. Оценка точности структурных построений ОГ Vпл/ м/с Т/ с Т/ с Vпл/ м/с Н/ м ТЮ2 Т3 (ЮВ10) А 3350 3400 3400 0.005 0.010 0.020 0`	`Бирюзовой Вертикальны й 1:2 500 Структурная карта по отражающему горизонту А (подошва юрского комплекса) Карта изохрон по отражающему горизонту А Структурная карта по отражающему горизонту Т3(ЮВ10)`
`Какова оценка точности (стандартные отклонения) структурных построений для отражающего горизонта ТЮ2?`	`В таблице 3.5 представлены данные выполненных расч тов. Таблица 3.5. Оценка точности структурных построений ОГ Vпл/ м/с Т/ с Т/ с Vпл/ м/с Н/ м ТЮ2 Т3 (ЮВ10) А 3350 3400 3400 0.005 0.010 0.020 0`	`Построение и анализ карт средних толщин между полученными и интервальных также карт точности структурных структурными поверхностями`
`Сколько скважин было выбрано для обоснования выделения коллекторов?`	`После анализа каротажных данных для обоснования выделения коллекторов были отобраны 15 скважин Критериями их отбора послужило наличие в комплексе ГИС акустического каротажа по продольным волнам`	После анализа каротажных данных для обоснования выделения коллекторов были отобраны 15 скважин Критериями их отбора послужило наличие в комплексе ГИС акустического каротажа по продольным волнам хорошего и удовлетворительного качества, а также близкое расположение скважин к сейсмическим профилям. Кроме того, в статистической обработке принимали участие ещ две скважины: 115 и 122, поскольку в них записан акустический каротаж по поперечной волне

Loss: TripletLoss with these parameters:
json
1{ 2 "distance_metric": "TripletDistanceMetric.EUCLIDEAN", 3 "triplet_margin": 5 4}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 2
per_device_eval_batch_size: 2
gradient_accumulation_steps: 64
learning_rate: 2e-05
warmup_ratio: 0.1
bf16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 2
per_device_eval_batch_size: 2
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 64
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 1
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
eval_use_gather_object: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	loss	e5_triplet_eval_max_accuracy
0	0	-	-	0.8166
0.0520	1	4.9631	-	-
0.1040	2	4.96	-	-
0.1560	3	4.9406	4.9202	0.8799
0.2080	4	4.9321	-	-
0.2600	5	4.9293	-	-
0.3119	6	4.91	4.8456	0.9237
0.3639	7	4.8801	-	-
0.4159	8	4.8692	-	-
0.4679	9	4.838	4.7461	0.9432
0.5199	10	4.8053	-	-
0.5719	11	4.7793	-	-
0.6239	12	4.7584	4.6476	0.9489
0.6759	13	4.6925	-	-
0.7279	14	4.6888	-	-
0.7799	15	4.6673	4.5346	0.9554
0.8318	16	4.626	-	-
0.8838	17	4.6053	-	-
0.9358	18	4.5582	4.4151	0.9570
0.9878	19	4.5486	-	-
1.0398	20	4.4967	-	-
1.0918	21	4.4503	4.2993	0.9667
1.1438	22	4.3997	-	-
1.1958	23	4.326	-	-
1.2478	24	4.3163	4.1739	0.9643
1.2998	25	4.2882	-	-
1.3517	26	4.1748	-	-
1.4037	27	4.1791	4.0528	0.9594
1.4557	28	4.1503	-	-
1.5077	29	4.1213	-	-
1.5597	30	4.049	3.9291	0.9586
1.6117	31	4.0259	-	-
1.6637	32	3.9762	-	-
1.7157	33	3.9038	3.8741	0.9651
1.7677	34	3.9605	-	-
1.8197	35	3.9297	-	-
1.8716	36	3.8387	3.7686	0.9619
1.9236	37	3.871	-	-
1.9756	38	3.8464	-	-
2.0276	39	3.7463	3.7241	0.9643
2.0796	40	3.8166	-	-
2.1316	41	3.801	-	-
2.1836	42	3.6812	3.6745	0.9610
2.2356	43	3.6979	-	-
2.2876	44	3.7102	-	-
2.3396	45	3.648	3.6470	0.9635
2.3916	46	3.6465	-	-
2.4435	47	3.6907	-	-
2.4955	48	3.6242	3.5768	0.9635
2.5475	49	3.6351	-	-
2.5995	50	3.659	-	-
2.6515	51	3.6246	3.5535	0.9643
2.7035	52	3.5615	-	-
2.7555	53	3.5733	-	-
2.8075	54	3.577	3.5572	0.9667
2.8595	55	3.5187	-	-
2.9115	56	3.6122	-	-
2.9634	57	3.5786	3.5517	0.9643

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.0.1
Transformers: 4.43.3
PyTorch: 2.4.0+cu121
Accelerate: 0.33.0
Datasets: 2.20.0
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

bibtex

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification}, 
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

	anchor	positive	negative
type	string	string	string
details	min: 9 tokens mean: 20.24 tokens max: 41 tokens	min: 21 tokens mean: 129.99 tokens max: 512 tokens	min: 2 tokens mean: 93.1 tokens max: 512 tokens