Views
No views yet
SentenceTransformer(
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)pip install -U sentence-transformers1from sentence_transformers import SentenceTransformer
2
3# Download from the 🤗 Hub
4model = SentenceTransformer("vtgh1602/giahuy_legal_embedding_v3")
5# Run inference
6sentences = [
7 'Giả sử một khu vực khoáng sản được xác định có cả khoáng sản vàng và đồng. Nếu cơ quan quản lý nhà nước có thẩm quyền quyết định tổ chức đấu giá quyền khai thác khoáng sản đối với vàng, thì tỷ lệ thu tiền cấp quyền khai thác khoáng sản đối với đồng sẽ được xác định như thế nào nếu khoáng sản đồng cũng được khai thác? Điều 105. Phương pháp xác định, phương thức thu, nộp, quản lý tiền cấp quyền khai thác khoáng sản ở khu vực trúng đấu giá quyền khai thác khoáng sản\n\n1. Phương pháp xác định, phương thức thu, nộp, quản lý tiền cấp quyền khai thác khoáng sản ở khu vực trúng đấu giá quyền khai thác khoáng sản thực hiện như đối với tiền cấp quyền khai thác khoáng sản ở khu vực không đấu giá quyền khai thác khoáng sản.\n\n2. Tỷ lệ thu tiền cấp quyền khai thác khoáng sản đối với khoáng sản đi kèm phát hiện trong quá trình thăm dò, khai thác khoáng sản sau khi đấu giá quyền khai thác khoáng sản và được cơ quan quản lý nhà nước có thẩm quyền cho phép khai thác, thu hồi được xác định bằng tỷ lệ thu tiền cấp quyền khai thác khoáng sản đối với khoáng sản cùng loại ở khu vực không đấu giá quyền khai thác khoáng sản.\n\n3. Tỷ lệ thu tiền cấp quyền khai thác khoáng sản đối với loại khoáng sản đưa ra đấu giá quyền khai thác khoáng sản được áp dụng ổn định trong suốt thời gian khai thác khoáng sản, bao gồm cả thời gian điều chỉnh, gia hạn, cấp lại giấy phép khai thác khoáng sản.\n\n4. Trường hợp khu vực khoáng sản khi đưa ra đấu giá quyền khai thác khoáng sản đã xác định được có từ 02 loại khoáng sản trở lên, cơ quan quản lý nhà nước có thẩm quyền cấp giấy phép quy định tại Điều 108 của Luật này lựa chọn 01 loại khoáng sản để tổ chức đấu giá quyền khai thác khoáng sản. Tỷ lệ thu tiền cấp quyền khai thác khoáng sản của các khoáng sản còn lại được xác định căn cứ theo tỷ lệ thu tiền cấp quyền khai thác khoáng sản trúng đấu giá quyền khai thác khoáng sản.\n\n5. Chính phủ quy định chi tiết khoản 4 Điều này; quy định trình tự, thủ tục phê duyệt kết quả trúng đấu giá quyền khai thác khoáng sản.',
8 'Căn cứ Khoản 4 Điều 105 của Luật Địa chất và Khoáng sản, trường hợp khu vực khoáng sản khi đưa ra đấu giá quyền khai thác khoáng sản đã xác định được có từ 02 loại khoáng sản trở lên (như vàng và đồng), cơ quan quản lý nhà nước có thẩm quyền sẽ lựa chọn 01 loại khoáng sản (ở đây là vàng) để tổ chức đấu giá quyền khai thác khoáng sản. Tỷ lệ thu tiền cấp quyền khai thác khoáng sản của khoáng sản còn lại (đồng) sẽ được xác định căn cứ theo tỷ lệ thu tiền cấp quyền khai thác khoáng sản trúng đấu giá quyền khai thác khoáng sản (vàng). Điều này có nghĩa là tỷ lệ thu tiền cấp quyền khai thác đồng sẽ được tính toán dựa trên tỷ lệ đã được thiết lập cho vàng thông qua kết quả đấu giá.',
9 'Khi thực hiện hội nhập và hợp tác quốc tế về địa chất, khoáng sản, Việt Nam cần tuân thủ một số nguyên tắc và khuôn khổ pháp lý quan trọng. Cụ thể, Khoản 1 Điều 5 quy định việc này phải đặt trong tổng thể chiến lược phát triển kinh tế - xã hội của đất nước, chiến lược địa chất, khoáng sản và công nghiệp khai khoáng. Về khuôn khổ pháp lý, Việt Nam phải tuân thủ Hiến pháp, pháp luật Việt Nam, Hiến chương Liên hợp quốc, và các điều ước quốc tế mà Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên. Đồng thời, việc hợp tác phải bảo đảm phù hợp với đường lối và chính sách đối ngoại của Việt Nam, và tuân thủ nguyên tắc hợp tác bình đẳng, cùng có lợi trên cơ sở tôn trọng độc lập, chủ quyền và toàn vẹn lãnh thổ, không can thiệp vào công việc nội bộ của nhau.',
10]
11embeddings = model.encode(sentences)
12print(embeddings.shape)
13# [3, 768]
14
15# Get the similarity scores for the embeddings
16similarities = model.similarity(embeddings, embeddings)
17print(similarities.shape)
18# [3, 3]vlegal_bench_v3InformationRetrievalEvaluator| Metric | Value |
|---|---|
| cosine_accuracy@1 | 0.2492 |
| cosine_accuracy@3 | 0.2678 |
| cosine_accuracy@5 | 0.2709 |
| cosine_accuracy@10 | 0.2733 |
| cosine_precision@1 | 0.2492 |
| cosine_precision@3 | 0.0893 |
| cosine_precision@5 | 0.0542 |
| cosine_precision@10 | 0.0273 |
| cosine_recall@1 | 0.2492 |
| cosine_recall@3 | 0.2678 |
| cosine_recall@5 | 0.2709 |
| cosine_recall@10 | 0.2733 |
| cosine_ndcg@10 | 0.2626 |
| cosine_mrr@10 | 0.259 |
| cosine_map@100 | 0.2595 |
anchor and positive| anchor | positive | |
|---|---|---|
| type | string | string |
| details |
|
|
| anchor | positive |
|---|---|
Theo Điều 5 Luật Địa chất và Khoáng sản, hội nhập và hợp tác quốc tế về địa chất, khoáng sản được thực hiện trong những hoạt động cụ thể nào? Điều 5. Nguyên tắc hội nhập và hợp tác quốc tế về địa chất, khoáng sản[object Object][object Object]1. Hội nhập và hợp tác quốc tế trong nghiên cứu, điều tra cơ bản địa chất, điều tra địa chất về khoáng sản, hoạt động khoáng sản, quản lý hoạt động khoáng sản phải đặt trong tổng thể chiến lược phát triển kinh tế - xã hội của đất nước trong từng thời kỳ; chiến lược địa chất, khoáng sản và công nghiệp khai khoáng; tuân thủ Hiến pháp, pháp luật Việt Nam, Hiến chương Liên hợp quốc, điều ước quốc tế mà nước Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên, bảo đảm phù hợp với đường lối và chính sách đối ngoại của Việt Nam; bảo đảm nguyên tắc hợp tác bình đẳng, cùng có lợi trên cơ sở tôn trọng độc lập, chủ quyền và toàn vẹn lãnh thổ, không can thiệp vào công việc nội bộ của nhau.[object Object][object Object]2. Tranh chấp quốc tế về địa chất, khoáng sản được giải quyết thông qua các biện pháp hòa bình, theo ... | Theo Khoản 1 Điều 5 Luật Địa chất và Khoáng sản, hội nhập và hợp tác quốc tế về địa chất, khoáng sản được thực hiện trong các hoạt động sau: nghiên cứu, điều tra cơ bản địa chất; điều tra địa chất về khoáng sản; hoạt động khoáng sản; và quản lý hoạt động khoáng sản. |
Theo Điều 5 của Luật, khi thực hiện hội nhập và hợp tác quốc tế về địa chất, khoáng sản, Việt Nam cần tuân thủ những nguyên tắc và khuôn khổ pháp lý nào? Điều 5. Nguyên tắc hội nhập và hợp tác quốc tế về địa chất, khoáng sản[object Object][object Object]1. Hội nhập và hợp tác quốc tế trong nghiên cứu, điều tra cơ bản địa chất, điều tra địa chất về khoáng sản, hoạt động khoáng sản, quản lý hoạt động khoáng sản phải đặt trong tổng thể chiến lược phát triển kinh tế - xã hội của đất nước trong từng thời kỳ; chiến lược địa chất, khoáng sản và công nghiệp khai khoáng; tuân thủ Hiến pháp, pháp luật Việt Nam, Hiến chương Liên hợp quốc, điều ước quốc tế mà nước Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên, bảo đảm phù hợp với đường lối và chính sách đối ngoại của Việt Nam; bảo đảm nguyên tắc hợp tác bình đẳng, cùng có lợi trên cơ sở tôn trọng độc lập, chủ quyền và toàn vẹn lãnh thổ, không can thiệp vào công việc nội bộ của nhau.[object Object][object Object]2. Tranh chấp quốc tế về địa chất, khoáng sản được giải quyết thông qua các biện pháp hòa... | Khi thực hiện hội nhập và hợp tác quốc tế về địa chất, khoáng sản, Việt Nam cần tuân thủ một số nguyên tắc và khuôn khổ pháp lý quan trọng. Cụ thể, Khoản 1 Điều 5 quy định việc này phải đặt trong tổng thể chiến lược phát triển kinh tế - xã hội của đất nước, chiến lược địa chất, khoáng sản và công nghiệp khai khoáng. Về khuôn khổ pháp lý, Việt Nam phải tuân thủ Hiến pháp, pháp luật Việt Nam, Hiến chương Liên hợp quốc, và các điều ước quốc tế mà Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên. Đồng thời, việc hợp tác phải bảo đảm phù hợp với đường lối và chính sách đối ngoại của Việt Nam, và tuân thủ nguyên tắc hợp tác bình đẳng, cùng có lợi trên cơ sở tôn trọng độc lập, chủ quyền và toàn vẹn lãnh thổ, không can thiệp vào công việc nội bộ của nhau. |
Giả sử có một tranh chấp quốc tế phát sinh liên quan đến địa chất, khoáng sản mà Việt Nam là một bên, việc giải quyết tranh chấp này sẽ được thực hiện theo nguyên tắc và cơ sở pháp lý nào theo Luật Địa chất và Khoáng sản? Hãy phân tích ý nghĩa của quy định này. Điều 5. Nguyên tắc hội nhập và hợp tác quốc tế về địa chất, khoáng sản[object Object][object Object]1. Hội nhập và hợp tác quốc tế trong nghiên cứu, điều tra cơ bản địa chất, điều tra địa chất về khoáng sản, hoạt động khoáng sản, quản lý hoạt động khoáng sản phải đặt trong tổng thể chiến lược phát triển kinh tế - xã hội của đất nước trong từng thời kỳ; chiến lược địa chất, khoáng sản và công nghiệp khai khoáng; tuân thủ Hiến pháp, pháp luật Việt Nam, Hiến chương Liên hợp quốc, điều ước quốc tế mà nước Cộng hòa xã hội chủ nghĩa Việt Nam là thành viên, bảo đảm phù hợp với đường lối và chính sách đối ngoại của Việt Nam; bảo đảm nguyên tắc hợp tác bình đẳng, cùng có lợi trên cơ sở tôn trọng độc lập, chủ quyền và toàn vẹn lãnh thổ, không can thiệp vào công việc... | Theo Khoản 2 Điều 5 Luật Địa chất và Khoáng sản, nếu có một tranh chấp quốc tế phát sinh liên quan đến địa chất, khoáng sản, việc giải quyết tranh chấp này sẽ được thực hiện thông qua các biện pháp hòa bình. Cơ sở pháp lý để giải quyết bao gồm thông lệ quốc tế, pháp luật quốc tế và pháp luật của các bên liên quan.Ý nghĩa của quy định này rất quan trọng. Thứ nhất, nó khẳng định cam kết của Việt Nam trong việc tuân thủ luật pháp quốc tế và các nguyên tắc giải quyết tranh chấp một cách hòa bình, tránh sử dụng vũ lực hoặc các biện pháp cưỡng ép. Thứ hai, việc tham chiếu đến “thông lệ quốc tế, pháp luật quốc tế và pháp luật của các bên liên quan” cho thấy sự linh hoạt và toàn diện trong việc áp dụng các quy tắc pháp lý, đảm bảo rằng việc giải quyết tranh chấp được thực hiện công bằng, minh bạch và có tính đến các yếu tố đặc thù của từng trường hợp. Cuối cùng, điều này cũng phù hợp với nguyên tắc hợp tác bình đẳng, cùng có lợi, tôn trọng độc lập, chủ quyền và không can thiệp vào công việc nộ... |
MatryoshkaLoss with these parameters:
1{
2 "loss": "MultipleNegativesRankingLoss",
3 "matryoshka_dims": [
4 768,
5 512,
6 256,
7 128,
8 64
9 ],
10 "matryoshka_weights": [
11 1,
12 1,
13 1,
14 1,
15 1
16 ],
17 "n_dims_per_step": -1
18}eval_strategy: stepsper_device_train_batch_size: 16per_device_eval_batch_size: 32gradient_accumulation_steps: 2num_train_epochs: 1warmup_ratio: 0.05fp16: Trueload_best_model_at_end: Trueoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: stepsprediction_loss_only: Trueper_device_train_batch_size: 16per_device_eval_batch_size: 32per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 2eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 5e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 1max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.05warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falseuse_ipex: Falsebf16: Falsefp16: Truefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Trueignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torchoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters:auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Nonedispatch_batches: Nonesplit_batches: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: Falseneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseeval_use_gather_object: Falseaverage_tokens_across_devices: Falseprompts: Nonebatch_sampler: batch_samplermulti_dataset_batch_sampler: proportional| Epoch | Step | Training Loss | vlegal_bench_v3_cosine_ndcg@10 |
|---|---|---|---|
| 0.0322 | 100 | 2.6621 | - |
| 0.0645 | 200 | 0.8326 | - |
| 0.0967 | 300 | 0.4889 | - |
| 0.1289 | 400 | 0.4393 | - |
| 0.1611 | 500 | 0.3371 | - |
| 0.1934 | 600 | 0.312 | - |
| 0.2256 | 700 | 0.2656 | - |
| 0.2578 | 800 | 0.2833 | - |
| 0.2900 | 900 | 0.2198 | - |
| 0.3223 | 1000 | 0.2012 | 0.2606 |
| 0.3545 | 1100 | 0.1965 | - |
| 0.3867 | 1200 | 0.1741 | - |
| 0.4189 | 1300 | 0.1621 | - |
| 0.4512 | 1400 | 0.1373 | - |
| 0.4834 | 1500 | 0.1689 | - |
| 0.5156 | 1600 | 0.1539 | - |
| 0.5479 | 1700 | 0.132 | - |
| 0.5801 | 1800 | 0.1159 | - |
| 0.6123 | 1900 | 0.1218 | - |
| 0.6445 | 2000 | 0.1194 | 0.2609 |
| 0.6768 | 2100 | 0.1398 | - |
| 0.7090 | 2200 | 0.12 | - |
| 0.7412 | 2300 | 0.1132 | - |
| 0.7734 | 2400 | 0.1015 | - |
| 0.8057 | 2500 | 0.0893 | - |
| 0.8379 | 2600 | 0.1049 | - |
| 0.8701 | 2700 | 0.0841 | - |
| 0.9024 | 2800 | 0.0762 | - |
| 0.9346 | 2900 | 0.0931 | - |
| 0.9668 | 3000 | 0.0788 | 0.2626 |
| 0.9990 | 3100 | 0.0801 | - |
1@inproceedings{reimers-2019-sentence-bert,
2 title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
3 author = "Reimers, Nils and Gurevych, Iryna",
4 booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
5 month = "11",
6 year = "2019",
7 publisher = "Association for Computational Linguistics",
8 url = "https://arxiv.org/abs/1908.10084",
9}1@misc{kusupati2024matryoshka,
2 title={Matryoshka Representation Learning},
3 author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
4 year={2024},
5 eprint={2205.13147},
6 archivePrefix={arXiv},
7 primaryClass={cs.LG}
8}1@misc{henderson2017efficient,
2 title={Efficient Natural Language Response Suggestion for Smart Reply},
3 author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
4 year={2017},
5 eprint={1705.00652},
6 archivePrefix={arXiv},
7 primaryClass={cs.CL}
8}