Views
No views yet
SentenceTransformer(
(0): Transformer({'max_seq_length': 128, 'do_lower_case': False, 'architecture': 'BertModel'})
(1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)pip install -U sentence-transformers1from sentence_transformers import SentenceTransformer
2
3# Download from the 🤗 Hub
4model = SentenceTransformer("sentence_transformers_model_id")
5# Run inference
6sentences = [
7 'श --------------ीमद्भगवद्गीता\nकिया दान मुझे पहुंचता है और मैं उसे स्वीकार करता हूँ।\nअथवा जो मेरी भक्ति से प्रेरित होकर पात्रों को पत्र, पुष्प, फल\nतथा जल देता है वह मैं स्वीकार करता हूँ। (इनमें से कोई भी अर्थ\nसमझ लिया जाय दोनों ठीक हैं) ।\nयत्करोषि यदश्नासि यज्नुहोषि ददासि यत्\u200c।\nयत्\u200c तपस्यसि कौन्तेय तत्कुरुष्व मदर्पणम्\u200c ॥ २७॥\nहे कौन्तेय! यत्\u200c करोषि यत्\u200c अश्नासि यत्\u200c जुहोषि यत्\u200c ददासि\nयत्\u200c तपस्यसि तत्\u200c मदर्पणं कुरुष्व ।\nहे कौन्तेय ! तू जो कुछ करता है, जो खाता है, जो हवन करता\nहै, जो दान करता है, जो तप करता है, सो सब मेरे अर्पण कर\nअर्थात्\u200c तू जो विद्या पदाता है, सैनिक कार्य करता है, व्यापार करता\nहे, मजदूरी करता है वह सब सर्वभूत-हित में रत होकर मेरी आज्ञा\nपूरी करने के निमित्त कर और जो फल मिले उसे भी मेरी सेवा\nमें लगा। उस प्रकार अभिमान तथा स्वार्थ दोनों से शून्य होकर तू\nपूर्ण आनन्द को प्राप्त होगा।\nसमर्पण का लाभ है आसक्ति से मोक्ष। सो कहा कि--\nशुभाशुभफलैरेवं मोक्ष्यसे कर्मलन्धनैः।\nसंन्यासयोगयुक्तात्मा विमुक्तो मामुपैष्यसि ॥ २८ ॥\nएवं शुभाशुभफलैः कर्मबन्धनैः मोक्ष्यसे सन्यास-योग- मुक्तात्मा\nविमुक्तः माम्\u200c उपैष्यसि ।\nजो प्रत्यक्ष रूप से शुभ दीखने वाला परन्तु परिणाम में लोक-\nपीडाकर कर्म है उसमें आसक्ति मनुष्य को उस कर्म से छूटने नहीं\nदेती । उदाहरण के लिये पूजा-पाठ प्रत्यक्ष रूप से देखने में कितना\nसुन्दर पवित्र तथा मंगलकारी कर्म है, किन्तु किसी घर में आततायी\nआग लगा रहे हों तो उस समय पूजा छोड़कर उस दुष्ट का दमन\nकरना चाहिये । किन्तु पूजापाठ में आसक्त मनुष्य सारे गाँव को भस्म\nहोने देगा, परन्तु अपनी पूजा नहीं छोड़ेगा । इसके विपरीत आपाततः\nअशुभ प्रतीत होने वाले कर्म को करने की इच्छा न हो तो भी अपनी\nइच्छा को दबाकर वह करना चाहिये । किन्तु यह अशुभ-फल वाले\nकर्म के प्रति घृणा में आसक्ति अर्जुन को भीष्म, द्रोण आदि स्वजनों\nका वध करने से रोक रही है । किन्तु जो अपने आपको प्रभु के अर्पण',
8 'श --------------ीमद्भगवद्गीता\nकिया दान मुझे पहुंचता है और मैं उसे स्वीकार करता हूँ।\nअथवा जो मेरी भक्ति से प्रेरित होकर पात्रों को पत्र, पुष्प, फल\nतथा जल देता है वह मैं स्वीकार करता हूँ। (इनमें से कोई भी अर्थ\nसमझ लिया जाय दोनों ठीक हैं) ।\nयत्करोषि यदश्नासि यज्नुहोषि ददासि यत्\u200c।\nयत्\u200c तपस्यसि कौन्तेय तत्कुरुष्व मदर्पणम्\u200c ॥ २७॥\nहे कौन्तेय! यत्\u200c करोषि यत्\u200c अश्नासि यत्\u200c जुहोषि यत्\u200c ददासि\nयत्\u200c तपस्यसि तत्\u200c मदर्पणं कुरुष्व ।\nहे कौन्तेय ! तू जो कुछ करता है, जो खाता है, जो हवन करता\nहै, जो दान करता है, जो तप करता है, सो सब मेरे अर्पण कर\nअर्थात्\u200c तू जो विद्या पदाता है, सैनिक कार्य करता है, व्यापार करता\nहे, मजदूरी करता है वह सब सर्वभूत-हित में रत होकर मेरी आज्ञा\nपूरी करने के निमित्त कर और जो फल मिले उसे भी मेरी सेवा\nमें लगा। उस प्रकार अभिमान तथा स्वार्थ दोनों से शून्य होकर तू\nपूर्ण आनन्द को प्राप्त होगा।\nसमर्पण का लाभ है आसक्ति से मोक्ष। सो कहा कि--\nशुभाशुभफलैरेवं मोक्ष्यसे कर्मलन्धनैः।\nसंन्यासयोगयुक्तात्मा विमुक्तो मामुपैष्यसि ॥ २८ ॥\nएवं शुभाशुभफलैः कर्मबन्धनैः मोक्ष्यसे सन्यास-योग- मुक्तात्मा\nविमुक्तः माम्\u200c उपैष्यसि ।\nजो प्रत्यक्ष रूप से शुभ दीखने वाला परन्तु परिणाम में लोक-\nपीडाकर कर्म है उसमें आसक्ति मनुष्य को उस कर्म से छूटने नहीं\nदेती । उदाहरण के लिये पूजा-पाठ प्रत्यक्ष रूप से देखने में कितना\nसुन्दर पवित्र तथा मंगलकारी कर्म है, किन्तु किसी घर में आततायी\nआग लगा रहे हों तो उस समय पूजा छोड़कर उस दुष्ट का दमन\nकरना चाहिये । किन्तु पूजापाठ में आसक्त मनुष्य सारे गाँव को भस्म\nहोने देगा, परन्तु अपनी पूजा नहीं छोड़ेगा । इसके विपरीत आपाततः\nअशुभ प्रतीत होने वाले कर्म को करने की इच्छा न हो तो भी अपनी\nइच्छा को दबाकर वह करना चाहिये । किन्तु यह अशुभ-फल वाले\nकर्म के प्रति घृणा में आसक्ति अर्जुन को भीष्म, द्रोण आदि स्वजनों\nका वध करने से रोक रही है । किन्तु जो अपने आपको प्रभु के अर्पण',
9 'हे अर्जुन! आत्मा के अतिरिक्त अन्य किसी भी वस्तु के द्वारा\nसुख पाने कौ इच्छा अन्ततोगत्वा परावरम्बन- परतन्त्रता ही तो है,\nइस प्रकार की परतन्त्रता में फसा हुआ मनुष्य किसी न किसी तुच्छ\nवस्तु के सामने गिड़गिड़ाता है, यह गिड़गिड़ाने की अवस्था समाप्त\nहोनी चाहिये।',
10]
11embeddings = model.encode(sentences)
12print(embeddings.shape)
13# [3, 384]
14
15# Get the similarity scores for the embeddings
16similarities = model.similarity(embeddings, embeddings)
17print(similarities)
18# tensor([[1.0000, 1.0000, 0.5960],
19# [1.0000, 1.0000, 0.5960],
20# [0.5960, 0.5960, 1.0000]])sentence_0 and sentence_1| sentence_0 | sentence_1 | |
|---|---|---|
| type | string | string |
| details |
|
|
| sentence_0 | sentence_1 |
|---|---|
हे पाण्डव} यत् ज्ञात्वा ( त्वम ) पुनः एवम् मोहम् न यास्यसि[object Object]येन अशोषेण भूतानि आत्मनि अथो मयि द्रक्ष्यसि । | हे पाण्डव} यत् ज्ञात्वा ( त्वम ) पुनः एवम् मोहम् न यास्यसि[object Object]येन अशोषेण भूतानि आत्मनि अथो मयि द्रक्ष्यसि । |
कर्मणः हि अपि बोद्धव्यम् विकर्मणः च बोद्धव्यम् अकर्मणः[object Object]च लद्धोव्यम् कर्मणः गतिः गहना । | कर्मणः हि अपि बोद्धव्यम् विकर्मणः च बोद्धव्यम् अकर्मणः[object Object]च लद्धोव्यम् कर्मणः गतिः गहना । |
इस शरीर के स्वामी जीवात्मा को शस्त्र काट नहीं सकते । आग[object Object]जला नहीं सकती । पानी गीला नहीं कर सकता। पवन सुखा नहीं[object Object]सकता। | इस शरीर के स्वामी जीवात्मा को शस्त्र काट नहीं सकते । आग[object Object]जला नहीं सकती । पानी गीला नहीं कर सकता। पवन सुखा नहीं[object Object]सकता। |
MultipleNegativesRankingLoss with these parameters:
1{
2 "scale": 20.0,
3 "similarity_fct": "cos_sim",
4 "gather_across_devices": false
5}num_train_epochs: 1multi_dataset_batch_sampler: round_robinoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: noprediction_loss_only: Trueper_device_train_batch_size: 8per_device_eval_batch_size: 8per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 1eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 5e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1num_train_epochs: 1max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.0warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falsebf16: Falsefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Falseignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}parallelism_config: Nonedeepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torch_fusedoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthproject: huggingfacetrackio_space_id: trackioddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsehub_revision: Nonegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters:auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: noneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseliger_kernel_config: Noneeval_use_gather_object: Falseaverage_tokens_across_devices: Trueprompts: Nonebatch_sampler: batch_samplermulti_dataset_batch_sampler: round_robinrouter_mapping: {}learning_rate_mapping: {}1@inproceedings{reimers-2019-sentence-bert,
2 title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
3 author = "Reimers, Nils and Gurevych, Iryna",
4 booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
5 month = "11",
6 year = "2019",
7 publisher = "Association for Computational Linguistics",
8 url = "https://arxiv.org/abs/1908.10084",
9}1@misc{henderson2017efficient,
2 title={Efficient Natural Language Response Suggestion for Smart Reply},
3 author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
4 year={2017},
5 eprint={1705.00652},
6 archivePrefix={arXiv},
7 primaryClass={cs.CL}
8}