Views
No views yet
sentence-transformers/all-MiniLM-L6-v2 для работы с русскоязычными текстами. Дообучение проводилось на 20,000 примерах из датасета deepvk/ru-HNP в течение 5 эпох.1from sentence_transformers import SentenceTransformer
2
3model = SentenceTransformer("your-username/all-MiniLM-L6-v2-ru-hnp-mnrl")
4
5# Кодирование текстов
6texts = ["Как купить яблоки?", "Продажа свежих фруктов"]
7embeddings = model.encode(texts)
8
9# Вычисление сходства
10similarities = model.similarity(embeddings, embeddings)
11print(similarities)
12
13
14# SentenceTransformer based on sentence-transformers/all-MiniLM-L6-v2
15
16This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [sentence-transformers/all-MiniLM-L6-v2](https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2). It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for retrieval.
17
18## Model Details
19
20### Model Description
21- **Model Type:** Sentence Transformer
22- **Base model:** [sentence-transformers/all-MiniLM-L6-v2](https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2) <!-- at revision 1110a243fdf4706b3f48f1d95db1a4f5529b4d41 -->
23- **Maximum Sequence Length:** 256 tokens
24- **Output Dimensionality:** 384 dimensions
25- **Similarity Function:** Cosine Similarity
26- **Supported Modality:** Text
27<!-- - **Training Dataset:** Unknown -->
28<!-- - **Language:** Unknown -->
29<!-- - **License:** Unknown -->
30
31### Model Sources
32
33- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
34- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
35- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
36
37### Full Model Architecture
38
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers1from sentence_transformers import SentenceTransformer
2
3# Download from the 🤗 Hub
4model = SentenceTransformer("Gloomreach/all-MiniLM-L6-v2-ru-hnp-mnrl")
5# Run inference
6sentences = [
7 'Генеральными продюсерами являлись Тина Канделаки и Василий Бровко, им же принадлежала оригинальная идея.',
8 'Тина Канделаки и Василий Бровко были генеральными продюсерами, им же принадлежала уникальная концепция.',
9 'Тина Канделаки и Василий Бровко не являлись генеральными продюсерами, и оригинальная идея была у кого-то другого.',
10]
11embeddings = model.encode(sentences)
12print(embeddings.shape)
13# [3, 384]
14
15# Get the similarity scores for the embeddings
16similarities = model.similarity(embeddings, embeddings)
17print(similarities)
18# tensor([[1.0000, 0.8183, 0.4228],
19# [0.8183, 1.0000, 0.3047],
20# [0.4228, 0.3047, 1.0000]])sentence_0, sentence_1, and sentence_2| sentence_0 | sentence_1 | sentence_2 | |
|---|---|---|---|
| type | string | string | string |
| modality | text | text | text |
| details |
|
|
|
| sentence_0 | sentence_1 | sentence_2 |
|---|---|---|
После окончания Московского среднего технического училища (1918) работал электромехаником в Московском практическом электротехническом институте и одновременно учился там же (окончил в 1921 г. со званием инженера по электрооборудованию фабрик и заводов). | Работая электромехаником в Московском практическом электротехническом институте, после окончания Московского среднего технического училища (1918), он одновременно учился там же и успешно закончил в 1921 году, получив звание инженера по электрооборудованию фабрик и заводов. | Не после окончания Московского среднего технического училища в 1918 году он работал электромехаником в Московском практическом электротехническом институте и не учился там же, не получив в 1921 году звание инженера по электрооборудованию фабрик и заводов. |
В течение своей жизни Шарлотта неоднократно отказывалась от замужества, иногда воспринимая брачные предложения серьёзно, иногда относясь к ним с юмором. | Шарлотта неоднократно отклоняла сватовство в течение своей жизни, то серьезно воспринимая брачные предложения, то с улыбкой. | В течение своей жизни Шарлотта всегда радовалась предложениям о замужестве, не принимая их всерьёз, чаще всего смеясь. |
В 1978 году окончил Уфимский государственный институт искусств (ныне — Уфимская государственная академия искусств имени Загира Исмагилова) по специальности «сольное пение», класс заслуженного деятеля искусств России и Башкортостана, профессора М. Г. Муртазиной. | В 1978 году закончил Уфимский государственный институт искусств (ныне — Уфимская государственная академия искусств имени Загира Исмагилова) по направлению «сольное пение», класса заслуженной артистки России и Башкортостана, профессора Е. П. Ибрагимова. | Не получил степень бакалавра по специальности «сольное пение» из-за неудачного окончания обучения в Уфимском государственном институте искусств. |
MultipleNegativesRankingLoss with these parameters:
1{
2 "scale": 20.0,
3 "similarity_fct": "cos_sim",
4 "gather_across_devices": false,
5 "directions": [
6 "query_to_doc"
7 ],
8 "partition_mode": "joint",
9 "hardness_mode": null,
10 "hardness_strength": 0.0
11}per_device_train_batch_size: 64num_train_epochs: 5per_device_eval_batch_size: 64multi_dataset_batch_sampler: round_robinper_device_train_batch_size: 64num_train_epochs: 5max_steps: -1learning_rate: 5e-05lr_scheduler_type: linearlr_scheduler_kwargs: Nonewarmup_steps: 0optim: adamw_torch_fusedoptim_args: Noneweight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08optim_target_modules: Nonegradient_accumulation_steps: 1average_tokens_across_devices: Truemax_grad_norm: 1label_smoothing_factor: 0.0bf16: Falsefp16: Falsebf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Nonetorch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneuse_liger_kernel: Falseliger_kernel_config: Noneuse_cache: Falseneftune_noise_alpha: Nonetorch_empty_cache_steps: Noneauto_find_batch_size: Falselog_on_each_node: Truelogging_nan_inf_filter: Trueinclude_num_input_tokens_seen: nolog_level: passivelog_level_replica: warningdisable_tqdm: Falseproject: huggingfacetrackio_space_id: Nonetrackio_bucket_id: Nonetrackio_static_space_id: Noneper_device_eval_batch_size: 64prediction_loss_only: Trueeval_on_start: Falseeval_do_concat_batches: Trueeval_use_gather_object: Falseeval_accumulation_steps: Noneinclude_for_metrics: []batch_eval_metrics: Falsesave_only_model: Falsesave_on_each_node: Falseenable_jit_checkpoint: Falsepush_to_hub: Falsehub_private_repo: Nonehub_model_id: Nonehub_strategy: every_savehub_always_push: Falsehub_revision: Noneload_best_model_at_end: Falseignore_data_skip: Falserestore_callback_states_from_checkpoint: Falsefull_determinism: Falseseed: 42data_seed: Noneuse_cpu: Falseaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedataloader_drop_last: Falsedataloader_num_workers: 0dataloader_pin_memory: Truedataloader_persistent_workers: Falsedataloader_prefetch_factor: Noneremove_unused_columns: Truelabel_names: Nonetrain_sampling_strategy: randomlength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falseddp_static_graph: Noneddp_backend: Noneddp_timeout: 1800fsdp: Nonefsdp_config: Nonedeepspeed: Nonedebug: []skip_memory_metrics: Truedo_predict: Falseresume_from_checkpoint: Nonewarmup_ratio: Nonelocal_rank: -1prompts: Nonebatch_sampler: batch_samplermulti_dataset_batch_sampler: round_robinrouter_mapping: {}learning_rate_mapping: {}| Epoch | Step | Training Loss |
|---|---|---|
| 1.5974 | 500 | 0.3045 |
| 3.1949 | 1000 | 0.1435 |
| 4.7923 | 1500 | 0.1118 |
1@inproceedings{reimers-2019-sentence-bert,
2 title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
3 author = "Reimers, Nils and Gurevych, Iryna",
4 booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
5 month = "11",
6 year = "2019",
7 publisher = "Association for Computational Linguistics",
8 url = "https://arxiv.org/abs/1908.10084",
9}1@misc{oord2019representationlearningcontrastivepredictive,
2 title={Representation Learning with Contrastive Predictive Coding},
3 author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
4 year={2019},
5 eprint={1807.03748},
6 archivePrefix={arXiv},
7 primaryClass={cs.LG},
8 url={https://arxiv.org/abs/1807.03748},
9}