SentenceTransformer based on intfloat/multilingual-e5-base

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

Unnamed Dataset

• Size: 79,912 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 3 tokens mean: 7.31 tokens max: 113 tokens	min: 5 tokens mean: 258.54 tokens max: 512 tokens

• Samples:

  anchor	positive
  Культ	Прозерпіна була офіційно додана до римської релігії в 205 до н. е., разом із приєднанням Церери до обряду римських богів, коли римляни набирали армію з богів для боротьби проти Карфагену наприкінці Другої Пунічної війни. Цей культ був створений на півдні Італії і, ймовірно, що базувався на грецькому святі Тесмофорії, таємничому віросповіданні, що вшановував Деметру та Персефону як «Матір та Діву». Воно прибуло разом із грецькими жрицями, яким було надано римське громадянство, тому вони могли молитися богам «з іноземними та додатковими знаннями, але з місцевим та громадянським наміром». Новий культ був встановлений в раніше античному храмі Церери, Лібера та Лібери, Авентин був заступником всіх плебеїв; з кінця III ст. до н. е., храм Деметри у Енні, на Сицилії, був визнаний найстарішим та найвладнішим центром культу Церери, а Ліберу вважали Прозерпіною, романським прототипом дочки Деметри Персефони. Зв'язок між цими культами простежується у пошуку Деметри Персефони, після її зґвалтування...
  Шостий хрестовий похід	==Шостий хрестовий похід== Фрідріх зробив останні зусилля, щоб помиритися з Григорієм. Це не мало ефекту, і Фрідріх відплив із Бріндізі в червні 1228 року. Після зупинки на Кіпрі Фрідріх II прибув до Акри 7 вересня 1228 року і був тепло прийнятий військовими орденами, незважаючи на його відлучення. Армія Фрідріха була невеликою, в основному німцями, сицилійцями та англійцями. [143] З війська, яке він надіслав у 1227 році, більшість повернулася додому. Він не міг ні дозволити собі, ні здійснити подовжену кампанію у Святій Землі, враховуючи триваючу Війну Ключів з Римом. Шостий хрестовий похід був би походом переговорів. [144] Після вирішення міжусобної боротьби в Сирії позиція аль-Каміля була сильнішою, ніж роком раніше, коли він зробив свою первісну пропозицію Фрідріху. З невідомих причин обидві сторони дійшли згоди. Яффський договір був укладений 18 лютого 1229 року, коли аль-Каміль здав Єрусалим, за винятком деяких мусульманських святих місць, і погодився на десятирічне перемир'я. [1...
  Чисельність	Через відсутність сучасних переписів населення України з 2001 року населення міста до російського вторгнення в Україну оцінювалося як приблизне до 70 000 осіб.

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Evaluation Dataset

Unnamed Dataset

• Size: 9,990 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 3 tokens mean: 7.33 tokens max: 138 tokens	min: 8 tokens mean: 264.53 tokens max: 512 tokens

• Samples:

  anchor	positive
  Економіка та промисловість	У вересні 2016 року Ірпінському регіоні діяли 125 підприємств, загальний фонд оплати праці яких складав 79,4 млн грн. Чисельність працюючих на підприємствах регіону 16 203 особи. Виробництво промислової продукції здійснюють 28 промислових підприємств. Переважає недержавний сектор, частка якого у загальному обсязі промислового виробництва становить близько 95 %. Обсяги реалізованої продукції за даними промислових підприємств основного кола за перше півріччя 2016 року склали 1354518,6 тис. грн. Станом на 1 липня 2016 року у місті Ірпені та селищах Ворзель, Гостомель, Коцюбинське було 8920 малих та середнього підприємців, на яких працювало 9200 осіб. Вагомою складовою економіки регіону є будівництво. Основними компаніями будівельної галузі регіону на даний час є наступні компанії: * Товариство «Відважних», яке звело 16 житлових комплексів, у яких уже проживає 10 тисяч мешканців. Серед них — ЖК «Новатор», «Варшавський Двір», «Rich Tawn, Буча», «Буча Квартал», «Центральний», «Парковий», «Лі...
  Виробничий процес	Виробничий процес складається з наступних основних стадій: # «Приготування ячмінного солоду, або солодження ячменю». Ячмінь ретельно перебирають, очищають і сушать. Потім його замочують і розсипають шаром в 5—7 см на підлозі солодовні для проростання протягом 7—10 днів. Пророщене зерно (солод) надходить на сушку. Якщо зерно не пророщені, то отримане віскі називається зерновим (grain). У чистому вигляді він в продаж майже не надходить, а застосовується для купажу. В Шотландії випускають усього 4 марки чистого зернового віскі в пляшках: Glen Wolf, Black Barrel, Glen Clyde і Invergordon. # «Сушка солоду». У Шотландії солод сушать гарячим димом від згорання торфу, деревного вугілля і букових стружок, отримуючи таким чином «копчене зерно». У результаті готовий продукт має характерний димний йодисто-торф'яний аромат, який відрізняє шотландське віскі від усіх інших. В Ірландії та інших країнах дим для сушіння солоду не використовується. # «Отримання сусла». Солод подрібнюють, отримуючи борошн...
  Праджня (мудрість): медитація віпасана	Праджня означає мудрість, що базується на усвідомленні причинно-наслідкового ланцюга, Чотирьох благородних істин та Трьох ознак існування. Праджня є мудрістю, яка спроможна усунути причини страждання та привести до бодгі. Кажуть, що це основний спосіб досягнути нірвани через осягання правдивої природи всіх речей: дукхи (незадовільності, страждання), анітьї (непостійності) та анатману (не-Я). Праджня є також шостою з шести параміт Махаяни. Спочатку праджня осягається на концептуальному рівні через слухання проповідей (розмов про дгарму), читання, вивчення, деколи через повторення вголос буддистських текстів та участь у бесідах. Коли досягнуто концептуальне розуміння, його застосовують до щоденного життя щоб кожен буддист міг перевірити правдивість вчень Будди на практиці. Між іншим, теоретично можна досягнути нірвани на будь-якому рівні практики, чи то глибоко медитуючи, слухаючи проповідь, здійснюючи щоденні справи чи будь-яку іншу діяльність.

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 48
• gradient_accumulation_steps: 10
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 12
• warmup_steps: 100
• bf16: True

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 4.1.0
• Transformers: 4.52.4
• PyTorch: 2.7.1+cu126
• Accelerate: 1.7.0
• Datasets: 3.6.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss