RoBERTa Amharic Text Embedding Medium

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: yosefw/roberta-base-am-embed
• Maximum Sequence Length: 510 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json
• Language: en
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 510, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Information Retrieval

• Datasets: dim_768 and dim_256
• Evaluated with InformationRetrievalEvaluator

Training Details

Training Dataset

json

• Dataset: json
• Size: 40,237 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 5 tokens mean: 14.57 tokens max: 37 tokens	min: 47 tokens mean: 295.23 tokens max: 510 tokens

• Samples:

  anchor	positive
  በጠበቃ የመወከል መብቱ አልተከበረም የተባለ ፍርደኛ ውሳኔ ተቀለበሰ	የፌዴራል ከፍተኛው ፍርድ ቤት በአንድ ተከሳሽ ላይ መጋቢት 13 ቀን 2008 ዓ.ም. በዕድሜ ልክ ጽኑ እስራት እንዲቀጣ የሰጠውን ፍርድ፣ በጠበቃ የመወከል መብቱ አልተከበረም በማለት የፌዴራል ጠቅላይ ፍርድ ቤት ይግባኝ ሰሚ ችሎት ታኅሳስ 14 ቀን 2009 ዓ.ም. ውድቅ አደረገው፡፡የፌዴራል ዓቃቤ ሕግ ወርቁ ከበደ ካሳ የተባለ ግለሰብ የወንጀል ሕግ አንቀጽ 32(1ሀ) እና 539(1ሀ) ሥር የተደነገገውን በመተላለፍ፣ ከባድ የግፍ አገዳደል በመጠቀም ሰው መግደሉን በመጥቀስ ለከፍተኛ ፍርድ ቤት ክስ ያቀርባል፡፡ ከፍተኛው ፍርድ ቤት የዓቃቤ ሕግ አንድ ምስክርን በመስማትና ተከሳሽ በአግባቡ ሊከላከል እንዳልቻለ በመግለጽ፣ በዕድሜ ልክ ጽኑ እስራት እንዲቀጣ ፍርድ መስጠቱን የጠቅላይ ፍርድ ቤት ውሳኔ ያስረዳል፡፡ፍርደኛው ለጠቅላይ ፍርድ ቤት ባቀረበው የይግባኝ አቤቱታ እንደገለጸው፣ ዓቃቤ ሕግ በሥር ፍርድ ቤት ያቀረበው ምስክሮች የሚመሰክሩበት ጭብጥና ያቀረባቸው ምስክሮች በሌላ ተከሳሽ ላይ የሚያስረዱ መሆኑ ተረጋግጧል፡፡ ሌላኛው ተከሳሽም ወንጀሉን መፈጸሙን መርቶ አሳይቷል፡፡ ሒደቱ ይህንን የሚያስረዳ ቢሆንም፣ ፍርድ ቤቱ ይግባኝ ባይን ጥፋተኛ በማለት ቅጣቱን እንደጣለበት አስረድቷል፡፡ በተጨማሪም ጥፋተኛ ሲባል ያቀረበው የቅጣት ማቅለያ እንዳልተያዘለት፣ ቅጣቱ በቅጣት ማንዋሉ መሠረት ሲሰላ ስህተት እንደተፈጸመና አቅም እንደሌለው እየታወቀ ተከላካይ ጠበቃ ሊቆምለት ሲገባ እንዳልቆመለት አስረድቷል፡፡ በሥር ፍርድ ቤት በሰነድ ማስረጃነት የቀረበበት በቀዳሚ ምርመራ አድራጊ ፍርድ ቤት የተሰጠ የምስክር ቃል ሲሆን፣ እሱ የሕግ ዕውቀት የሌለውና የተከሰሰበትም ድንጋጌ ከባድ መሆኑ እየታወቀ፣ ያለ ተከላካይ ጠበቃ መታየቱ ተገቢ አለመሆኑንና ሕገ መንግሥታዊ መብቱ ያልተጠበቀለት መሆኑን አስረድ...
  የሱዳን ጦር እና የቀድሞ የደህንነት ሃይሎች ተጋጩ	አዲስ አበባ፣ ጥር 6፣ 2012 (ኤፍ.ቢ.ሲ) የሱዳን ጦር እና የሱዳን የቀድሞው ፕሬዚዳንት ኦማር ሃሰን አልበሽር ታማኝ ናቸው የተባሉ የደህንነት ሃይሎች ተጋጩ።የቀድሞ የደህንነት አካላት በሰሜናዊ ካርቱም ከባድ መሳሪያዎችን መተኮሳቸውን ነዋሪዎች ተናግረዋል።ከዚህ ባለፈም ከአውሮፕላን ማረፊያው አቅራቢያ የሚገኝን የደህንነት መስሪያ ቤት ህንጻም ተቆጣጥረዋል ተብሏል።የሱዳን ወታደራዊ ምንጮች ደግሞ የመንግሥት ወታደሮች በተቀናቃኞቻቸው የተያዙትን ህንጻዎች መልሰው መቆጣጠራቸውን ገልጸዋል።በተኩስ ልውውጡ አምስት ሰዎች መቁሰላቸውም ነው የተነገረው።የሱዳን ሉዓላዊ ምክር ቤት የቀድሞ የደህንነት ሰዎች በሃገሪቱ መረጋጋት እንዳይሰፍን እያደረጉ ነው በሚል ይወነጅላቸዋል።አሁን ላይ በሃገሪቱ ለሚስተዋለው አመጽና አለመረጋጋትም የቀድሞው የደህንነት ሃላፊ ሳላህ ጎሽ አስተዋጽኦ አድርገዋልም ነው ያለው።የሉዓላዊ ምክር ቤቱ ከፍተኛ የስራ ሃላፊ የሆኑት ጀኔራል ሞሃመድ ሃምዳን ዳጋሎ፥ ድርጊቱን እንደማይታገሱ ተናግረዋል።አሁን ላይ በሃገሪቱ እየታየ ያለው ሰላምና መረጋጋት የሃገሪቱ የቀድሞ ፕሬዚዳንት ኦማር ሃሰን አልበሽር ከስልጣን ከወረዱ በኋላ የተካሄደውን ማሻሻያ ሲቃወሙ በነበሩ አካላት ፈተና ሊገጥመው ይችላል የሚል ስጋትም አጭሯል።ከዚህ ቀደም የተካሄዱ ተቃውሞዎችን ሲመሩ የነበሩ አካላት መሰል ኃላፊነት የጎደላቸው ተግባራት እንዲቆሙ ጥሪ አቅርበዋል።ምንጭ፦ ቢ.ቢ.ሲ
  የ2018 ኦስካር ዕጩዎች ይፋ ተደርገዋል	ለ90ኛ ጊዜ የሚካሄደው የ2018 የኦስካር ሽልማት ዕጩዎች ዝርዝር ከሰሞኑ ይፋ የተደረገ ሲሆን፣ 13 ጊዜ ለሽልማት የታጨው ዘ ሼፕ ኦፍ ዋተር፣ በአመቱ በብዛት በመታጨት ቀዳሚነቱን የያዘ ፊልም ሆኗል፡፡የሮማንቲክ ሳይንስ ፊክሽን ዘውግ ያለው ዘ ሼፕ ኦፍ ዋተር፣ በዘንድሮው የኦስካር ሽልማት በብዛት በመታጨት ታሪክ ቢሰራም፣ በኦስካር ታሪክ 14 ጊዜ በመታጨት ክብረወሰኑን ከያዙት ታይታኒክ፣ ኦል አባውት ኢቭ እና ላላ ላንድ ተርታ በመሰለፍ ሌላ ታሪክ መስራቱ ለጥቂት ሳይሳካለት ቀርቷል፡፡በ24 የተለያዩ ዘርፎች ዕጩዎች በቀረቡበት በዘንድሮው ኦስካር፣ በብዛት በመታጨት የሚመራው በስምንት ዘርፎች የታጨው ዳንኪርክ ሲሆን፣ ስሪ ቢልቦርድስ አውትሳይድ ኢቢንግ ሚሱሪ በ7፣ ፋንተም ትሬድ በ6 ይከተላሉ፡፡ የ22 አመቱ የፊልም ተዋናይ ቲሞቲ ቻላሜት፣ በኦስካር ታሪክ በለጋ እድሜው ለምርጥ ወንድ ተዋናይነት በመታጨት የሶስተኛነት ደረጃን መያዙን ያስታወቀው ተቋሙ፣ ሁለቱን ደረጃዎች የያዙት ጃኪ ኩፐር የተባለው የ9 አመት ታዳጊና ሚኪ ሩኒ የተባለው የ19 ወጣት መሆናቸውን አስታውሷል፡፡ ኦል ዘ መኒ ኢን ዘወርልድ በሚለው ፊልሙ በምርጥ ረዳት ተዋናይ ዘርፍ ለሽልማት የታጨው የ88 አመቱ የፊልም ተዋናይ ክሪስቶፈር ፕላመር፣ ረጅም እድሜ የገፋ የኦስካር ዕጩ በመሆን በታሪክ ተመዝግቧል፡፡በብዛት በታጨው ዘ ሼፕ ኦፍ ዋተር ላይ የምትተውነው ኦክታቪያ ስፔንሰር፣ ለሶስት ጊዜ ለኦስካር ሽልማት በመታጨት ቀዳሚዋ ጥቁር ሴት ተዋናይት የሚለውን ማዕረግ ከቪዮላ ዳቪስ ጋር ተጋርታለች፡፡ ዴንዘል ዋሽንግተን በበኩሉ፤ ስምንት ጊዜ በመታጨት ቀዳሚው ጥቁር የፊልም ተዋናይ በመሆን ታሪክ ሰርቷል፡፡ ሁለቱም ጥቁር ተዋንያን በብዛት በመታጨት ብቻ ሳይሆን፣ በተከታታይ አመታት ለዕጩነት በመቅረብም ታሪክ መስረታቸው...

• Loss: MatryoshkaLoss with these parameters:
  json

  1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 768, 5 256 6 ], 7 "matryoshka_weights": [ 8 1, 9 1 10 ], 11 "n_dims_per_step": -1 12}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• gradient_accumulation_steps: 4
• num_train_epochs: 4
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.11.11
• Sentence Transformers: 3.4.1
• Transformers: 4.48.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.3.0
• Datasets: 3.3.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

MultipleNegativesRankingLoss