SentenceTransformer based on yoriis/NAMAA-retriever-contrastive-1

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: yoriis/NAMAA-retriever-contrastive-1
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

Unnamed Dataset

• Size: 13,476 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 5 tokens mean: 22.42 tokens max: 512 tokens	min: 9 tokens mean: 39.78 tokens max: 373 tokens	min: 0.0 mean: 0.24 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  ما هي الأحداث التي وقعت بين سيدنا موسى والخضر؟	فوجدا عبدا من عبادنا آتيناه رحمة من عندنا وعلمناه من لدنا علما {65} قال له موسى هل أتبعك على أن تعلمن مما علمت رشدا {66} قال إنك لن تستطيع معي صبرا {67} وكيف تصبر على ما لم تحط به خبرا {68} قال ستجدني إن شاء الله صابرا ولا أعصي لك أمرا {69} قال فإن اتبعتني فلا تسألني عن شيء حتى أحدث لك منه ذكرا {70} فانطلقا حتى إذا ركبا في السفينة خرقها قال أخرقتها لتغرق أهلها لقد جئت شيئا إمرا {71} قال ألم أقل إنك لن تستطيع معي صبرا {72} قال لا تؤاخذني بما نسيت ولا ترهقني من أمري عسرا {73} فانطلقا حتى إذا لقيا غلاما فقتله قال أقتلت نفسا زكية بغير نفس لقد جئت شيئا نكرا {74} قال ألم أقل لك إنك لن تستطيع معي صبرا {75} قال إن سألتك عن شيء بعدها فلا تصاحبني قد بلغت من لدني عذرا {76} فانطلقا حتى إذا أتيا أهل قرية استطعما أهلها فأبوا أن يضيفوهما فوجدا فيها جدارا يريد أن ينقض فأقامه قال لو شئت لاتخذت عليه أجرا {77} قال هذا فراق بيني وبينك سأنبئك بتأويل ما لم تستطع عليه صبرا {78} أما السفينة فكانت لمساكين يعملون في البحر فأردت أن أعيبها وكان وراءهم ملك يأخذ كل سفينة غصبا {79} وأما الغلام فكان أبواه مؤمنين فخش...	1.0
  ماذا تقرأ بعد الاستفتاح في الصلاة؟	فأخذتهم الصيحة مشرقين{73}الحجر.	0.0
  ماذا يشمل الإحسان؟	ووصى بها إبراهيم بنيه ويعقوب يا بني إن الله اصطفى لكم الدين فلا تموتن إلا وأنتم مسلمون{132} البقرة .	0.0

• Loss: ContrastiveLoss with these parameters:
  json

  1{ 2 "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", 3 "margin": 0.5, 4 "size_average": true 5}

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 4
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.54.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.9.0
• Datasets: 4.0.0
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

ContrastiveLoss