You can deploy this model and start earning money today!

avemio-digital/
German-RAG_ModernBERT_base_pairs_embedding

Name: German-RAG_ModernBERT_base_pairs_embedding
Availability: InStock

Views

No views yet

ModernBERT_base_pairs_embedding

This is a sentence-transformers model finetuned from answerdotai/ModernBERT-base on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: answerdotai/ModernBERT-base
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- json
Language: en
License: apache-2.0

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("avemio-digital/ModernBERT_base_pairs_embedding")
# Run inference
sentences = [
    'Das Rebhuhn erreicht normalerweise gegen Ende des ersten Lebensjahres die Geschlechtsreife und hat in der Regel zu diesem Zeitpunkt auch die erste Verpaarung.',
    'Das Rebhuhn erreicht die Geschlechtsreife gegen Ende des ersten Lebensjahres. Zu diesem Zeitpunkt erfolgt in der Regel auch die erste Verpaarung. Das Rebhuhn führt eine monogame Brutehe. Diese beschränkt sich in der Regel auf eine Jahresbrut, bei frühem Gelegeverlust ist jedoch ein Nachgelege möglich. Die Legezeit liegt in den meisten Verbreitungsgebieten zwischen Mitte/Ende April und Anfang/Mitte Mai.',
    'Traditionell ist Schmallenberg seit dem 19. Jahrhundert Zentrum der Sauerländer Textilindustrie (größtes Unternehmen: Falke-Gruppe). Da die Entwicklung der Textilindustrie jedoch rückläufig ist, dominieren mittelständische Unternehmen. Diese sind vor allem in Industrie und Handwerk angesiedelt. Zu den bedeutenden Schmallenberger Unternehmen gehören die Firmen Audiotec Fischer GmbH (Car-Hifi: Brax / Helix), die Burgbad AG (Badmöbelhersteller mit Sitz in Bad Fredeburg) und Transfluid Maschinenbau GmbH (Weltmarktführer bei Rohrbearbeitungsmaschinen der gesteuerten Roll-Umformtechnik (inkrementell)) sowie die Firma Feldhaus (Bau- und Bergbauunternehmen). Auf Grund der waldreichen Lage kommt der Holzwirtschaft eine wichtige Bedeutung zu. In Bad Fredeburg existiert etwa ein Holzgewerbepark, der kleinen und mittleren Unternehmen Gewerbefläche bietet. Einen großen Anteil am Dienstleistungssektor haben aufgrund der landschaftlich reizvollen Lage und der Wintersportmöglichkeiten Gastronomie und Fremdenverkehr.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

Dataset: json
Size: 933,246 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 29 tokens
mean: 54.99 tokens
max: 131 tokens
min: 33 tokens
mean: 183.9 tokens
max: 766 tokens

Samples:

anchor	positive
`Häufig festgestellte Besonderheiten bei Babys mit Trisomie 21 sind vorgeburtlich ein bis drei Merkmale, die mittels Ultraschall- oder Blutuntersuchungen erkannt werden können.`	Im Zuge der sich stetig entwickelnden Möglichkeiten vorgeburtlicher Untersuchungen (Pränataldiagnostik) sind mit der Zeit einige Besonderheiten dokumentiert worden, die vergleichsweise häufig bei Babys mit Trisomie 21 festgestellt werden und mitunter mittels Ultraschall- oder Blutuntersuchungen zu erkennen sind. Bei keinem Baby mit Down-Syndrom treten alle diese Besonderheiten auf; bei den meisten Babys finden sich vorgeburtlich nur ca. ein bis drei Merkmale, und bei manchen finden sich keine, die ausgeprägt genug wären, als Hinweiszeichen eingestuft zu werden. Manche der Besonderheiten sind darüber hinaus vorgeburtlich vergleichsweise schwer zu erkennen bzw. in ihrer Bedeutung zu bewerten.
`Wer sind einige herausragende Spitzenspieler im englischsprachigen Scrabble, die in den letzten Jahren eine prägende Rolle gespielt haben?`	`Weitere Spitzenspieler, die in den letzten Jahren das englischsprachige Scrabble geprägt haben, sind Pakorn Nemitrmansuk (Weltmeister 2009, Vizeweltmeister 2011), Komol (Weltmeisterschaftsfinalist 2013) sowie Craig Beevers aus England (Sieger der inoffiziellen Weltmeisterschaften 2014).`
`DMC ist eine Sorte von Marine Distillate Fuel Oil, bei der das Zumischen von Rückstandsöl erlaubt ist.`	Schweröl ist in verschiedenen Qualitäten erhältlich. So regelt MARPOL 73/78 Annex VI den Ausstoß von Schwefel-Verbrennungsprodukten in bestimmten Seegebieten, weshalb sogar – von der Norm abweichende – schwefelreduzierte Qualitäten hergestellt werden. Entsprechend der Norm für Marine-Kraftstoffe in der aktuellen Fassung von 2005 wird zwischen „Marine Distillate Fuel Oil“ (DMX, DMA/MGO = Marine Gasoil, DMB/MDO = Marine Diesel Oil, DMC) und „Marine Residual Fuel Oil“ (siehe Tabelle) unterschieden, wobei es sich bei den „Residual Fuels“ um Schweröle im engeren Sinne handelt. Eine Sonderstellung stellt die Sorte DMC dar: Hier erlauben die Spezifikationen das Zumischen von Rückstandsöl.

Loss: MatryoshkaLoss with these parameters:
json
1{ 2 "loss": "MultipleNegativesRankingLoss", 3 "matryoshka_dims": [ 4 768 5 ], 6 "matryoshka_weights": [ 7 1 8 ], 9 "n_dims_per_step": -1 10}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
gradient_accumulation_steps: 16
learning_rate: 2e-05
num_train_epochs: 1
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: True
tf32: True
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 8
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 16
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: True
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0014	10	28.6172
0.0027	20	28.332
0.0041	30	27.473
0.0055	40	26.1415
0.0069	50	23.9641
0.0082	60	20.6191
0.0096	70	16.1172
0.0110	80	12.5431
0.0123	90	9.249
0.0137	100	7.6371
0.0151	110	5.7917
0.0165	120	4.4105
0.0178	130	4.4039
0.0192	140	3.6235
0.0206	150	3.2179
0.0219	160	2.7913
0.0233	170	2.5342
0.0247	180	2.1533
0.0261	190	1.995
0.0274	200	1.6953
0.0288	210	1.6049
0.0302	220	1.493
0.0315	230	1.5513
0.0329	240	1.2957
0.0343	250	1.0484
0.0357	260	1.1896
0.0370	270	1.0246
0.0384	280	1.1058
0.0398	290	0.8532
0.0411	300	1.0489
0.0425	310	0.9015
0.0439	320	0.7919
0.0453	330	0.819
0.0466	340	0.7241
0.0480	350	0.5492
0.0494	360	0.7083
0.0507	370	0.6678
0.0521	380	0.7194
0.0535	390	0.675
0.0549	400	0.7268
0.0562	410	0.565
0.0576	420	0.5987
0.0590	430	0.6854
0.0603	440	0.4752
0.0617	450	0.5567
0.0631	460	0.5327
0.0645	470	0.5543
0.0658	480	0.6658
0.0672	490	0.2744
0.0686	500	0.5259
0.0699	510	0.3637
0.0713	520	0.5176
0.0727	530	0.5165
0.0741	540	0.4119
0.0754	550	0.339
0.0768	560	0.395
0.0782	570	0.3159
0.0796	580	0.3716
0.0809	590	0.2447
0.0823	600	0.2547
0.0837	610	0.4384
0.0850	620	0.454
0.0864	630	0.4057
0.0878	640	0.5004
0.0892	650	0.357
0.0905	660	0.3942
0.0919	670	0.3632
0.0933	680	0.3011
0.0946	690	0.3115
0.0960	700	0.2438
0.0974	710	0.2611
0.0988	720	0.3467
0.1001	730	0.348
0.1015	740	0.296
0.1029	750	0.276
0.1042	760	0.2709
0.1056	770	0.2756
0.1070	780	0.2728
0.1084	790	0.2234
0.1097	800	0.4266
0.1111	810	0.3324
0.1125	820	0.2346
0.1138	830	0.271
0.1152	840	0.201
0.1166	850	0.1921
0.1180	860	0.2042
0.1193	870	0.1907
0.1207	880	0.1248
0.1221	890	0.2835
0.1234	900	0.3189
0.1248	910	0.2218
0.1262	920	0.1911
0.1276	930	0.2351
0.1289	940	0.1395
0.1303	950	0.308
0.1317	960	0.2879
0.1330	970	0.1979
0.1344	980	0.1912
0.1358	990	0.204
0.1372	1000	0.2426
0.1385	1010	0.1963
0.1399	1020	0.1617
0.1413	1030	0.2054
0.1426	1040	0.1462
0.1440	1050	0.2215
0.1454	1060	0.1975
0.1468	1070	0.275
0.1481	1080	0.1647
0.1495	1090	0.0933
0.1509	1100	0.1575
0.1522	1110	0.1903
0.1536	1120	0.1834
0.1550	1130	0.0865
0.1564	1140	0.1348
0.1577	1150	0.2203
0.1591	1160	0.1545
0.1605	1170	0.1512
0.1618	1180	0.2597
0.1632	1190	0.1015
0.1646	1200	0.1339
0.1660	1210	0.1925
0.1673	1220	0.1521
0.1687	1230	0.2436
0.1701	1240	0.1407
0.1714	1250	0.1839
0.1728	1260	0.1393
0.1742	1270	0.2673
0.1756	1280	0.1537
0.1769	1290	0.1208
0.1783	1300	0.1518
0.1797	1310	0.209
0.1810	1320	0.219
0.1824	1330	0.1047
0.1838	1340	0.1655
0.1852	1350	0.1296
0.1865	1360	0.15
0.1879	1370	0.1376
0.1893	1380	0.1529
0.1906	1390	0.1382
0.1920	1400	0.1012
0.1934	1410	0.2086
0.1948	1420	0.134
0.1961	1430	0.0845
0.1975	1440	0.0712
0.1989	1450	0.1158
0.2002	1460	0.1419
0.2016	1470	0.0943
0.2030	1480	0.157
0.2044	1490	0.2123
0.2057	1500	0.0999
0.2071	1510	0.0949
0.2085	1520	0.1389
0.2098	1530	0.0914
0.2112	1540	0.0973
0.2126	1550	0.1101
0.2140	1560	0.0882
0.2153	1570	0.1571
0.2167	1580	0.1137
0.2181	1590	0.1232
0.2194	1600	0.1152
0.2208	1610	0.1743
0.2222	1620	0.1063
0.2236	1630	0.1271
0.2249	1640	0.0903
0.2263	1650	0.1425
0.2277	1660	0.0922
0.2290	1670	0.142
0.2304	1680	0.0991
0.2318	1690	0.1518
0.2332	1700	0.0825
0.2345	1710	0.079
0.2359	1720	0.1486
0.2373	1730	0.1063
0.2387	1740	0.1264
0.2400	1750	0.0743
0.2414	1760	0.1113
0.2428	1770	0.0722
0.2441	1780	0.0635
0.2455	1790	0.0502
0.2469	1800	0.0487
0.2483	1810	0.1659
0.2496	1820	0.2265
0.2510	1830	0.1222
0.2524	1840	0.1219
0.2537	1850	0.0567
0.2551	1860	0.1375
0.2565	1870	0.1253
0.2579	1880	0.0603
0.2592	1890	0.1453
0.2606	1900	0.0907
0.2620	1910	0.0607
0.2633	1920	0.1449
0.2647	1930	0.0774
0.2661	1940	0.1089
0.2675	1950	0.0378
0.2688	1960	0.089
0.2702	1970	0.0931
0.2716	1980	0.0705
0.2729	1990	0.0405
0.2743	2000	0.1108
0.2757	2010	0.0623
0.2771	2020	0.0619
0.2784	2030	0.0453
0.2798	2040	0.0391
0.2812	2050	0.0597
0.2825	2060	0.0659
0.2839	2070	0.0904
0.2853	2080	0.0972
0.2867	2090	0.0594
0.2880	2100	0.0707
0.2894	2110	0.0821
0.2908	2120	0.0441
0.2921	2130	0.083
0.2935	2140	0.1237
0.2949	2150	0.0478
0.2963	2160	0.0709
0.2976	2170	0.0521
0.2990	2180	0.0863
0.3004	2190	0.0473
0.3017	2200	0.0875
0.3031	2210	0.1146
0.3045	2220	0.0474
0.3059	2230	0.0745
0.3072	2240	0.0406
0.3086	2250	0.0534
0.3100	2260	0.0368
0.3113	2270	0.0749
0.3127	2280	0.0807
0.3141	2290	0.0969
0.3155	2300	0.114
0.3168	2310	0.1219
0.3182	2320	0.0892
0.3196	2330	0.1291
0.3209	2340	0.1145
0.3223	2350	0.0761
0.3237	2360	0.1284
0.3251	2370	0.0712
0.3264	2380	0.1442
0.3278	2390	0.0778
0.3292	2400	0.1032
0.3305	2410	0.0642
0.3319	2420	0.0746
0.3333	2430	0.131
0.3347	2440	0.0461
0.3360	2450	0.0407
0.3374	2460	0.1121
0.3388	2470	0.0712
0.3401	2480	0.2035
0.3415	2490	0.0687
0.3429	2500	0.0528
0.3443	2510	0.06
0.3456	2520	0.0892
0.3470	2530	0.074
0.3484	2540	0.1052
0.3497	2550	0.0612
0.3511	2560	0.045
0.3525	2570	0.0907
0.3539	2580	0.1082
0.3552	2590	0.1077
0.3566	2600	0.0512
0.3580	2610	0.1034
0.3593	2620	0.0324
0.3607	2630	0.0621
0.3621	2640	0.1106
0.3635	2650	0.0769
0.3648	2660	0.123
0.3662	2670	0.1007
0.3676	2680	0.1268
0.3689	2690	0.0614
0.3703	2700	0.0487
0.3717	2710	0.033
0.3731	2720	0.0895
0.3744	2730	0.0633
0.3758	2740	0.0377
0.3772	2750	0.0573
0.3785	2760	0.0814
0.3799	2770	0.028
0.3813	2780	0.0936
0.3827	2790	0.023
0.3840	2800	0.0424
0.3854	2810	0.023
0.3868	2820	0.0559
0.3881	2830	0.0746
0.3895	2840	0.0838
0.3909	2850	0.1613
0.3923	2860	0.075
0.3936	2870	0.0768
0.3950	2880	0.0408
0.3964	2890	0.081
0.3978	2900	0.0752
0.3991	2910	0.0363
0.4005	2920	0.037
0.4019	2930	0.07
0.4032	2940	0.0632
0.4046	2950	0.0388
0.4060	2960	0.0486
0.4074	2970	0.1143
0.4087	2980	0.0479
0.4101	2990	0.043
0.4115	3000	0.0662
0.4128	3010	0.0854
0.4142	3020	0.0521
0.4156	3030	0.0463
0.4170	3040	0.0412
0.4183	3050	0.0298
0.4197	3060	0.0756
0.4211	3070	0.0659
0.4224	3080	0.1408
0.4238	3090	0.0861
0.4252	3100	0.062
0.4266	3110	0.0424
0.4279	3120	0.0372
0.4293	3130	0.0887
0.4307	3140	0.1115
0.4320	3150	0.0384
0.4334	3160	0.0946
0.4348	3170	0.0373
0.4362	3180	0.0311
0.4375	3190	0.0641
0.4389	3200	0.0957
0.4403	3210	0.0925
0.4416	3220	0.0469
0.4430	3230	0.0329
0.4444	3240	0.0318
0.4458	3250	0.0298
0.4471	3260	0.0637
0.4485	3270	0.0889
0.4499	3280	0.1015
0.4512	3290	0.0574
0.4526	3300	0.0204
0.4540	3310	0.0471
0.4554	3320	0.021
0.4567	3330	0.0397
0.4581	3340	0.1484
0.4595	3350	0.018
0.4608	3360	0.1063
0.4622	3370	0.0253
0.4636	3380	0.0479
0.4650	3390	0.0449
0.4663	3400	0.0382
0.4677	3410	0.0714
0.4691	3420	0.0333
0.4704	3430	0.0508
0.4718	3440	0.0497
0.4732	3450	0.0304
0.4746	3460	0.0479
0.4759	3470	0.0567
0.4773	3480	0.0264
0.4787	3490	0.0552
0.4800	3500	0.0334
0.4814	3510	0.0316
0.4828	3520	0.0334
0.4842	3530	0.0535
0.4855	3540	0.0968
0.4869	3550	0.0678
0.4883	3560	0.0768
0.4896	3570	0.0538
0.4910	3580	0.0439
0.4924	3590	0.0388
0.4938	3600	0.0978
0.4951	3610	0.0342
0.4965	3620	0.0539
0.4979	3630	0.0712
0.4992	3640	0.0395
0.5006	3650	0.0549
0.5020	3660	0.125
0.5034	3670	0.0558
0.5047	3680	0.0607
0.5061	3690	0.0667
0.5075	3700	0.0556
0.5088	3710	0.0409
0.5102	3720	0.0178
0.5116	3730	0.0377
0.5130	3740	0.0847
0.5143	3750	0.0428
0.5157	3760	0.0795
0.5171	3770	0.0631
0.5184	3780	0.0212
0.5198	3790	0.0259
0.5212	3800	0.076
0.5226	3810	0.02
0.5239	3820	0.0928
0.5253	3830	0.0233
0.5267	3840	0.0447
0.5280	3850	0.0338
0.5294	3860	0.0331
0.5308	3870	0.1292
0.5322	3880	0.0163
0.5335	3890	0.0375
0.5349	3900	0.029
0.5363	3910	0.0356
0.5376	3920	0.0804
0.5390	3930	0.0546
0.5404	3940	0.0506
0.5418	3950	0.0177
0.5431	3960	0.0388
0.5445	3970	0.0206
0.5459	3980	0.0237
0.5473	3990	0.0701
0.5486	4000	0.0269
0.5500	4010	0.0741
0.5514	4020	0.0381
0.5527	4030	0.0257
0.5541	4040	0.0354
0.5555	4050	0.0579
0.5569	4060	0.0134
0.5582	4070	0.0297
0.5596	4080	0.0462
0.5610	4090	0.0497
0.5623	4100	0.0564
0.5637	4110	0.0224
0.5651	4120	0.0451
0.5665	4130	0.0168
0.5678	4140	0.0238
0.5692	4150	0.0209
0.5706	4160	0.0471
0.5719	4170	0.0438
0.5733	4180	0.0286
0.5747	4190	0.0548
0.5761	4200	0.0367
0.5774	4210	0.0165
0.5788	4220	0.0492
0.5802	4230	0.0327
0.5815	4240	0.0682
0.5829	4250	0.0448
0.5843	4260	0.0736
0.5857	4270	0.0398
0.5870	4280	0.0294
0.5884	4290	0.0553
0.5898	4300	0.0832
0.5911	4310	0.0414
0.5925	4320	0.0261
0.5939	4330	0.0295
0.5953	4340	0.0187
0.5966	4350	0.0325
0.5980	4360	0.0619
0.5994	4370	0.0362
0.6007	4380	0.0159
0.6021	4390	0.0453
0.6035	4400	0.0343
0.6049	4410	0.0322
0.6062	4420	0.0501
0.6076	4430	0.0351
0.6090	4440	0.0257
0.6103	4450	0.036
0.6117	4460	0.0557
0.6131	4470	0.0722
0.6145	4480	0.0624
0.6158	4490	0.0124
0.6172	4500	0.0676
0.6186	4510	0.0166
0.6199	4520	0.0294
0.6213	4530	0.0595
0.6227	4540	0.0143
0.6241	4550	0.022
0.6254	4560	0.0394
0.6268	4570	0.0242
0.6282	4580	0.0312
0.6295	4590	0.0219
0.6309	4600	0.0742
0.6323	4610	0.0282
0.6337	4620	0.0656
0.6350	4630	0.044
0.6364	4640	0.0295
0.6378	4650	0.0285
0.6391	4660	0.0328
0.6405	4670	0.0311
0.6419	4680	0.0446
0.6433	4690	0.0232
0.6446	4700	0.0334
0.6460	4710	0.0342
0.6474	4720	0.0672
0.6487	4730	0.0705
0.6501	4740	0.0349
0.6515	4750	0.044
0.6529	4760	0.0438
0.6542	4770	0.1152
0.6556	4780	0.0195
0.6570	4790	0.03
0.6583	4800	0.0357
0.6597	4810	0.0163
0.6611	4820	0.0416
0.6625	4830	0.0177
0.6638	4840	0.0139
0.6652	4850	0.0789
0.6666	4860	0.0247
0.6679	4870	0.0533
0.6693	4880	0.0205
0.6707	4890	0.1045
0.6721	4900	0.0395
0.6734	4910	0.0189
0.6748	4920	0.0287
0.6762	4930	0.0372
0.6775	4940	0.0197
0.6789	4950	0.0171
0.6803	4960	0.0239
0.6817	4970	0.0406
0.6830	4980	0.0152
0.6844	4990	0.0392
0.6858	5000	0.0333
0.6871	5010	0.0297
0.6885	5020	0.0525
0.6899	5030	0.0736
0.6913	5040	0.0536
0.6926	5050	0.0261
0.6940	5060	0.0597
0.6954	5070	0.0738
0.6967	5080	0.0277
0.6981	5090	0.0741
0.6995	5100	0.044
0.7009	5110	0.0221
0.7022	5120	0.0102
0.7036	5130	0.0312
0.7050	5140	0.0237
0.7064	5150	0.0156
0.7077	5160	0.0297
0.7091	5170	0.0213
0.7105	5180	0.0187
0.7118	5190	0.0328
0.7132	5200	0.0192
0.7146	5210	0.024
0.7160	5220	0.0723
0.7173	5230	0.0469
0.7187	5240	0.0188
0.7201	5250	0.0411
0.7214	5260	0.0345
0.7228	5270	0.0156
0.7242	5280	0.032
0.7256	5290	0.0298
0.7269	5300	0.0372
0.7283	5310	0.0217
0.7297	5320	0.0327
0.7310	5330	0.0218
0.7324	5340	0.0381
0.7338	5350	0.022
0.7352	5360	0.0432
0.7365	5370	0.0122
0.7379	5380	0.0249
0.7393	5390	0.0248
0.7406	5400	0.0933
0.7420	5410	0.0269
0.7434	5420	0.0204
0.7448	5430	0.0184
0.7461	5440	0.0667
0.7475	5450	0.0286
0.7489	5460	0.0119
0.7502	5470	0.0232
0.7516	5480	0.0259
0.7530	5490	0.026
0.7544	5500	0.0466
0.7557	5510	0.0809
0.7571	5520	0.0224
0.7585	5530	0.1008
0.7598	5540	0.0247
0.7612	5550	0.0212
0.7626	5560	0.0294
0.7640	5570	0.0307
0.7653	5580	0.0198
0.7667	5590	0.022
0.7681	5600	0.0105
0.7694	5610	0.0471
0.7708	5620	0.0207
0.7722	5630	0.0315
0.7736	5640	0.0169
0.7749	5650	0.0281
0.7763	5660	0.0183
0.7777	5670	0.0353
0.7790	5680	0.0198
0.7804	5690	0.0076
0.7818	5700	0.0359
0.7832	5710	0.0327
0.7845	5720	0.0187
0.7859	5730	0.0233
0.7873	5740	0.0424
0.7886	5750	0.0202
0.7900	5760	0.0266
0.7914	5770	0.0257
0.7928	5780	0.042
0.7941	5790	0.0304
0.7955	5800	0.0357
0.7969	5810	0.0318
0.7982	5820	0.0146
0.7996	5830	0.0145
0.8010	5840	0.0241
0.8024	5850	0.0301
0.8037	5860	0.018
0.8051	5870	0.0312
0.8065	5880	0.0202
0.8078	5890	0.0516
0.8092	5900	0.0445
0.8106	5910	0.0146
0.8120	5920	0.0744
0.8133	5930	0.0186
0.8147	5940	0.0322
0.8161	5950	0.0536
0.8174	5960	0.0305
0.8188	5970	0.025
0.8202	5980	0.0665
0.8216	5990	0.0162
0.8229	6000	0.0124
0.8243	6010	0.0527
0.8257	6020	0.0116
0.8270	6030	0.029
0.8284	6040	0.0178
0.8298	6050	0.015
0.8312	6060	0.0234
0.8325	6070	0.0342
0.8339	6080	0.0202
0.8353	6090	0.0313
0.8366	6100	0.0474
0.8380	6110	0.0342
0.8394	6120	0.0114
0.8408	6130	0.0227
0.8421	6140	0.0163
0.8435	6150	0.0207
0.8449	6160	0.0296
0.8462	6170	0.0175
0.8476	6180	0.0685
0.8490	6190	0.0481
0.8504	6200	0.0253
0.8517	6210	0.1079
0.8531	6220	0.0195
0.8545	6230	0.0322
0.8558	6240	0.0219
0.8572	6250	0.0153
0.8586	6260	0.0247
0.8600	6270	0.0117
0.8613	6280	0.0162
0.8627	6290	0.052
0.8641	6300	0.038
0.8655	6310	0.0922
0.8668	6320	0.0169
0.8682	6330	0.0305
0.8696	6340	0.0104
0.8709	6350	0.0396
0.8723	6360	0.0162
0.8737	6370	0.0143
0.8751	6380	0.0204
0.8764	6390	0.0295
0.8778	6400	0.0474
0.8792	6410	0.0561
0.8805	6420	0.016
0.8819	6430	0.0447
0.8833	6440	0.0154
0.8847	6450	0.0216
0.8860	6460	0.0647
0.8874	6470	0.0218
0.8888	6480	0.0141
0.8901	6490	0.0693
0.8915	6500	0.0146
0.8929	6510	0.0194
0.8943	6520	0.0106
0.8956	6530	0.0715
0.8970	6540	0.0309
0.8984	6550	0.0692
0.8997	6560	0.0111
0.9011	6570	0.0187
0.9025	6580	0.0646
0.9039	6590	0.0774
0.9052	6600	0.0329
0.9066	6610	0.0293
0.9080	6620	0.0162
0.9093	6630	0.0373
0.9107	6640	0.0585
0.9121	6650	0.0771
0.9135	6660	0.1385
0.9148	6670	0.0418
0.9162	6680	0.0171
0.9176	6690	0.0265
0.9189	6700	0.0203
0.9203	6710	0.0493
0.9217	6720	0.0255
0.9231	6730	0.0248
0.9244	6740	0.0204
0.9258	6750	0.0194
0.9272	6760	0.012
0.9285	6770	0.0161
0.9299	6780	0.0231
0.9313	6790	0.0667
0.9327	6800	0.0163
0.9340	6810	0.0168
0.9354	6820	0.0179
0.9368	6830	0.0453
0.9381	6840	0.045
0.9395	6850	0.0346
0.9409	6860	0.0253
0.9423	6870	0.0122
0.9436	6880	0.0367
0.9450	6890	0.0563
0.9464	6900	0.0208
0.9477	6910	0.0323
0.9491	6920	0.0195
0.9505	6930	0.0382
0.9519	6940	0.0198
0.9532	6950	0.0158
0.9546	6960	0.0203
0.9560	6970	0.0154
0.9573	6980	0.0359
0.9587	6990	0.0128
0.9601	7000	0.0283
0.9615	7010	0.0174
0.9628	7020	0.057
0.9642	7030	0.0994
0.9656	7040	0.0225
0.9669	7050	0.0336
0.9683	7060	0.0197
0.9697	7070	0.0399
0.9711	7080	0.0341
0.9724	7090	0.0821
0.9738	7100	0.022
0.9752	7110	0.0283
0.9765	7120	0.0414
0.9779	7130	0.0596
0.9793	7140	0.0133
0.9807	7150	0.0436
0.9820	7160	0.0231
0.9834	7170	0.0115
0.9848	7180	0.029
0.9861	7190	0.0697
0.9875	7200	0.0257
0.9889	7210	0.0141
0.9903	7220	0.0105
0.9916	7230	0.0105
0.9930	7240	0.0175
0.9944	7250	0.0303
0.9957	7260	0.0273
0.9971	7270	0.017
0.9985	7280	0.0125
0.9999	7290	0.0092

Framework Versions

Python: 3.11.11
Sentence Transformers: 3.3.1
Transformers: 4.48.1
PyTorch: 2.5.1+cu124
Accelerate: 1.2.1
Datasets: 2.19.1
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

bibtex

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

bibtex

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

	anchor	positive
type	string	string
details	min: 29 tokens mean: 54.99 tokens max: 131 tokens	min: 33 tokens mean: 183.9 tokens max: 766 tokens

avemio-digital/German-RAG_ModernBERT_base_pairs_embedding

ModernBERT_base_pairs_embedding

Model Details

Model Description

Model Sources

Full Model Architecture

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

json

Training Hyperparameters

Non-Default Hyperparameters

All Hyperparameters

Training Logs

Framework Versions

Citation

BibTeX

Sentence Transformers

MatryoshkaLoss

MultipleNegativesRankingLoss

avemio-digital/
German-RAG_ModernBERT_base_pairs_embedding