This is a sentence-transformers model finetuned from mhaseeb1604/bge-m3-law. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: mhaseeb1604/bge-m3-law
Maximum Sequence Length: 256 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("ychafiqui/bge-m3-law-morocco-ar-emb")
# Run inference
sentences = [
    'أنا صاحب مشروع وتلقيت إشعاراً بمخالفة بناء استناداً إلى المادة 7 من القانون رقم 52.09 كما عدلتها المادة الثانية من القانون رقم 85.21. هل تُطبق هذه التعديلات على المادة 7 اعتباراً من تاريخ صدور القانون 85.21 أم أنها تنطبق فقط على المخالفات اللاحقة؟ كما أن المادة 8 من القانون رقم 52.09 جرت تعديلها وفق المادة الثانية من القانون 85.21، ما التغييرات الجوهرية في الإجراءات والعقوبات التي قد تترتب على ذلك؟ ما هي الخيارات والإجراءات للطعن في القرار المستند إلى هاتين المادتين المعدلتين، وما المواعيد النهائية للطعن بموجب القانون 85.21؟',
    'المادة 7 من القانون رقم 52.09، بمقتضى المادة الثانية من القانون رقم 85.21 السالف الذكر. 8 - تممت وغيرة أحكام المادة 8 من القانون رقم 52.09، بمقتضى المادة الثانية من القانون رقم 85.21 السالف الذكر. -8-',
    'أقدم على إغلاق مؤسسة  يعاقب بغرامة من 15.000 إلى 30.000 درهم كل مؤسس\n\nللرعاية الاجتماعية، دون التصريح بذلك مسبقا لدى الإدارة المختصة وفقا لأحكام المادة 32\n\nأعلاه.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7232, 0.0653],
#         [0.7232, 1.0000, 0.0178],
#         [0.0653, 0.0178, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

Size: 7,200 training samples
Columns: sentence_0 and sentence_1
Approximate statistics based on the first 1000 samples:
sentence_0 sentence_1
type string string
details
min: 12 tokens
mean: 129.74 tokens
max: 256 tokens
min: 2 tokens
mean: 127.35 tokens
max: 256 tokens

Samples:

sentence_0	sentence_1
في عقد تأمين، تُطبق فقرة المادة 21 الثالثة عند عدم دفع القسط المستحق قبل انتهاء مهلة العشرة أيام. [object Object]إذا لم يدفع المؤمن له القسط أو جزء منه قبل انقضاء مهلة العشرة أيام، فهل يصبح فسخ العقد ساري المفعول عند انتهاء هذه المهلة؟ [object Object]عندما يقرر الفسخ، يجب تبليغه للمؤمن له بواسطة رسالة مضمونة. [object Object]وتعتبر سريان الفسخ في نهاية اليوم الثلاثين الموالي لتاريخ توجيه الإنذار المنصوص عليه في المادة 21. [object Object]غير أنه عندما يكون الإنذار موجهاً خارج المغرب، لا يصير سريان الفسخ إلا في نهاية اليوم الخمسين الموالي لتاريخ توجيه الرسالة. [object Object]بناءً على ذلك، ما النصيحة القانونية أو التفسير الصحيح للمدة والسريان في هذه الحالة؟	لا يصير فسخ العقد ساري المفعول في حالة تطبيق الفقرة الثالثة من المادة 21 أعلاه إلا[object Object]إذا لم يؤد القسط أو الجزء من القسط قبل انصرام أجل العشرة )10( أيام المنصوص عليه في[object Object][object Object]الفقرة الثالثة من المادة 21 أعلاه.[object Object][object Object]يصير الفسخ، الذي يجب تبليغه للمؤمن له بواسطة رسالة مضمونة، ساري المفعول في[object Object]نهاية اليوم الثلاثين )30( الموالي لتاريخ توجيه رسالة الإنذار المنصوص عليها في المادة 21[object Object]أعلاه. غير أنه عندما يكون الإنذار موجها خارج المغرب، لا يصير الفسخ ساري المفعول إلا[object Object][object Object]في نهاية اليوم الخمسين )50( الموالي لتاريخ توجيه الرسالة المذكورة.
إذا قمت بتشغيل الأجراء في أيام الأعياد المؤدى عنها وفي أيام العطل، ما هي العقوبة المحتملة وفق المادة المذكورة؟ [object Object]وإذا لم أؤد الأجر عن أيام العطل التي تقرر الأداء عنها باعتبارها أوقات شغل فعلي وفق المادة 218، ما العقوبة وكيف يمكنني تعويض الأجراء؟ [object Object]إذا لم أقدّر التعويض وفق أحكام المادة 219 ولم أؤدِ التعويض المنصوص عليه في المادة 224 للأجراء الذين اشتغلوا يوم عطلة كما تشير المادة 223، ما التداعيات القانونية؟ [object Object]وإذا تكررت المخالفات على عدد من الأجراء وتراكمت الغرامات حتى يصل المجموع إلى 20,000 درهم، كيف يتم تطبيق العقوبات وتحديد الأجراء المشمولين؟	يعاقب بغرامة من 300 إلى 500 درهم عن الأفعال التالية:[object Object][object Object]- تشغيل الأجراء في أيام الأعياد المؤدى عنها وفي أيام العطل؛[object Object][object Object]- عدم أداء الأجر عن أيام العطل التي تقرر الأداء عنها باعتبارها أوقات شغل فعلي[object Object]طبقا للمادة 218؛[object Object][object Object]- عدم تقدير التعويض وفق أحكام المادة 219؛[object Object][object Object]- عدم أداء التعويض المنصوص عليه في المادة 224 إلى أجراء المؤسسات المشار[object Object]إليها في المادة 223 الذين اشتغلوا يوم عطلة يتعطل فيه الشغل ويؤدى عنه الأجر؛[object Object][object Object]- عدم إتاحة الراحة التعويضية المنصوص عليها في الفقرة الثانية من المادة 224 وفي[object Object]المادة 225، أو إتاحتها على نحو يخالف أحكام المادتين المذكورتين؛[object Object][object Object]- عدم أداء التعويض المنصوص عليه في المادة 226؛[object Object][object Object]- استدراك ساعات الشغل الضائعة بسبب عطلة، وفق شروط تخالف أحكام الفقرتين[object Object]الأولى والثانية من المادة 227؛[object Object][object Object]- عدم إبلاغ العون المكلف بتفتيش الشغل بالتواريخ التي تقرر فيها مباشرة الاستدراك،[object Object]أو إعلام العون المكلف بالتفتيش، على نحو يخالف أحكام الفقرة الأخيرة من المادة 227؛[object Object][object Object]- الأداء عن ساعات الشغل المستدركة، على نحو يخالف أحكام المادة 228؛[object Object][object Object]تتكرر عقوبات الغرامة بتعدد الأجراء الذين لم يراع في حقهم تطبيق أحكام ه...
أنا أمين أوقاف أحلت إلى المجلس حساب أوقاف مع الوثائق المشار إليها في الفقرات 3 و4 من المادة 150 من مدونة الأوقاف. وأرفقت بجانب الحساب جميع الملاحظات التي ترى إدارة الأوقاف فائدة في إبدائها لتوضيح وتدقيق الحساب. هل يلتزم المجلس بإجراء التدقيق وفق هذه الوثائق والملاحظات أم له سلطة رفض بعضها وتحديد ما يحتاجه التدقيق؟ كما أن عنوان الفرع الثاني من الفصل الثاني من الباب الثالث تغير بموجب المادة 2 من الظهير الشريف رقم 1.19.47، فهل لهذا التغيير أثر على تطبيق مواد التدقيق والحساب؟ وفي حال وجود تغييرات إضافية بموجب المادة الأولى من الظهير الشريف نفسه، كيف ينبغي لممثلي الأوقاف تعديل أو مواكبة الحساب المعروض للمجلس لضمان مطابقته للنص المعدل؟	يرفق حساب الأوقاف المحال إلى المجلس بالوثائق المشار إليها في الفقرتين الثالثة[object Object]والرابعة من المادة 150 من مدونة الأوقاف، وعند الاقتضاء، بجميع الملاحظات التي ترى[object Object][object Object]إدارة الأوقاف فائدة في إبدائها، أومن شأنها تقديم توضيحات تساعد المجلس على تدقيق[object Object]حساب الأوقاف المعروض عليه.[object Object][object Object][object Object]26 - تم تغيير عنوان الفرع الثاني من الفصل الثاني من الباب الثالث بموجب المادة الثانية من الظهير الشريف رقم[object Object][object Object]1.19.47 السالف الذكر.[object Object][object Object]27 - تم تغيير وتتميم هذه المادة بموجب المادة الأولى من الظهير الشريف رقم1.19.47 بمقتضى المادة الأولى من[object Object]الظهير الشريف رقم 1.19.47 السالف الذكر.[object Object][object Object]28 - تم تغيير الفقرة الأولى من وتتميم المادة 66 بمقتضى المادة الأولى من الظهير ال شريف رقم 1.19.47 السالف[object Object]الذكر.[object Object][object Object]29 - تم تغيير وتتميم المادة بمقتضى المادة الأولى من الظهير الشريف رقم 1.19.47 السالف الذكر.[object Object][object Object]30 - تم تغيير وتتميم هذه المادة بمقتضى المادة الأولى من الظهير ال شريف رقم 1.19.47 السالف الذكر.[object Object][object Object]- 22 -

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Training Hyperparameters

Non-Default Hyperparameters

num_train_epochs: 1
fp16: True
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 8
per_device_eval_batch_size: 8
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: None
warmup_ratio: None
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
enable_jit_checkpoint: False
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
use_cpu: False
seed: 42
data_seed: None
bf16: False
fp16: True
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: -1
ddp_backend: None
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
group_by_length: False
length_column_name: length
project: huggingface
trackio_space_id: trackio
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_for_metrics: []
eval_do_concat_batches: True
auto_find_batch_size: False
full_determinism: False
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_num_input_tokens_seen: no
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: True
use_cache: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.5556	500	0.0143

Framework Versions

Python: 3.12.12
Sentence Transformers: 5.2.3
Transformers: 5.0.0
PyTorch: 2.10.0+cu128
Accelerate: 1.12.0
Datasets: 4.0.0
Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	sentence_0	sentence_1
type	string	string
details	min: 12 tokens mean: 129.74 tokens max: 256 tokens	min: 2 tokens mean: 127.35 tokens max: 256 tokens