This is a sentence-transformers model trained on the json dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer

Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- json

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: Qwen3Model 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': True, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'El documento del PSOE donde habla de "personas de sexo biológico masculino" tiene un lenguaje cuya finalidad es decir "las mujeres trans en realidad no son mujeres". Recuerdo cuando sacaron a la luz datos médicos personales de Imane Khelif, violando sus derechos a la privacidad y calificandola así. || La ley trans de Argentina, la primera en el mundo en garantizar la autodeterminación del género. Ahora mismo en peligro. || @subetealanutria.bsky.social  Arrestaron a tu nutria. www.elcomercio.es/aviles/polic... || Lo anacrónicas que son ya las monarquías, y el olor a rancio que desprenden. || Yo no quiero que está guerra me deshumanice. No soy nacionalista, ni tampoco sionista. Simplemente soy judía, y ni siquiera la religión es un aspecto tan importante en mi vida. Tengo amigas árabes a las que quiero conservar como tales. Mi pareja es católica. Creo en la convivencia y en el respeto. || Cuenten conmigo para ello. Muchos judíos lo decimos, no en nuestro nombre. Como bien dices, la religión de cada quien es algo personal. Y el estado, las leyes, etc... tienen que ser neutrales en ese sentido. || En el pensamiento judío, históricamente hay un concepto, el "Kol Israel arevim ze laze" que expresa una suerte de responsabilidad colectiva del pueblo judío. Entendida en que cada judío es responsable el uno por el otro. Es algo que muchos no compartimos, porque cada persona es responsable por sí. || Soy trans y vaya que he perdido amigos, hasta lazos familiares se han roto. Pero es que, la transfobia es tan grande en la sociedad, que yo he notado incluso como mi género llega a afectar a mi pareja. La gente la juzga todo el tiempo, y es que como somos dos mujeres, hay quien no nos entiende. || Esos son como la canción de Luis Miguel: "la incondicional, la que no espera nada". || En EEUU en lugar de un doctor de prestigio al timón de la Secretaría de Salud, vamos a tener a un antivacunas. En Texas han incorporado estudios bíblicos creacionistas al currículo escolar. A cargo de la defensa, nada de un militar de carrera, a un presentador de la Fox que no sabe donde esta España',
    'Exactamente, o sea, como una enseñanza religiosa de los tiempos de Moisés, pues está bien. Pero no podemos hacer leyes basadas en responsabilidades colectivas, o en preceptos religiosos. El problema es que en Israel, los haredim cada vez tienen más peso e influencia política. Es un acoso total. || A mi me decían cosas horribles sobre los árabes. Racismo puro, pero mi espíritu es rebelde, y por eso quise conocer más sobre ellos. Cuando empecé a conocer chicas árabes, entendí que esas ideas no tenían sentido. Descubrí una cultura muy hospitalaria y que guarda mucha relación con la nuestra. || ???????? EE.UU: Viernes Negro (Black Friday) para seguir con la fiebre consumista. || Desde aquel último día de Sucot, cuando empezó esta última guerra, he vivido una crisis personal. Soy judía y mi idea sobre Israel ha pasado de cierta simpatía a cuestionarme su legitimidad. Estoy harta de tanta violencia. De hecho le he expresado mis sentimientos de afecto a todos mis amigos árabes || Le pide a un pueblo mestizo que celebre un genocidio de indígenas. Con lo que nos ha costado dejar de celebrar el dichoso Día de la Raza y darle otro significado. En fin, como dijo Madero, de tal palo tal astilla. || No sean mal pensados. Quiere hacer un pastel de calabaza y sorprender a su novia/o. Lo demás es por si surge plan. || Hay gente que gracias a sus padrinos, están por encima de la ley. Ya hay países como Francia, Alemania y Hungría que han dicho que no van a detener a Netanyahu. Como signatarios del Estatuto de Roma, tienen la obligación de detenerlo, porque sobre él pesa una orden de arresto por crímenes de guerra. || Vi sheyne ir kuk. Her Majesty. Que guapa se mira usted, Su Majestad. || Pues eso sería con la ley romana, porque lo que es la judía literalmente se la saltó a la torera. || Yo siento que soy más bien una señora estilo Toulouse Lautrec. || Apalizan a enfermeras, cuya vocación es cuidar a las personas enfermas. Cuando simplemente están pidiendo un salario justo y condiciones laborales dignas. Es una vergüenza. Cuanta gente votó a Milei y se ha dado cuenta ya a la mala como les cagaron.',
    'Yaaaaa ????. Lo importante es el alma, el sitio y sus pobladores. No le podemos quitar mérito a quienes dan todo aquí desde el principio sólo porque no les gustan los mismos nombres para denominar a un post, que es lo que son realmente. Yo soy emotiva, pero poco dada a palabras cursis ????, me cuestan || Gracias, QQ! || Muuuuuuuu malo. || Espero que te ayude el médico ???????????????? || Es que eso es lo que me parece lo normal. No se me había ocurrido que alguien fuera a mirar las cifras de seguidores de alguien antes de dar me gusta o RT a un post. Me quedo loquer. || Jajajaja. He cenado hace una hora. Creo que tiempo insuficiente para asentar lo ingerido ???? || Gracias por hacerme verlo así ???? || Ayyy ???? ???? || Ay el gif ???? || Ahhh jajaja. Pues es cuando hablas contando un tema que se refiere a una persona concreta, pero sin mencionarla. Como el chiste de Gila del señor pasando junto a un asesino y diciendo al aire “alguien ha matado a alguien… alguien es un asesino…”. || Gracias!! || Desvelada por tercer día consecutivo. Tengo unos picores insoportables en la piel que no me dejan dormir y me despierto. || Oii, qué bonito ???? || ???????? || Una conversación de machos discutiendo sobre si las mujeres hacen bien o mal el feminismo, pasando ahora por mis narices, no, que me enamoro. || Además, alguna vez recibí una medio queja de quien no se veía en el circulito, como si fuera culpa mía que salga alguien o no, como si los hiciéramos a mano ????????\u200d♀️ || Justo lo que yo pensaba ???? || Aaaaaanda narices! || Ay, Gracias Mery ???? || El problema es que si sigues a 5.000, ya no puedes leerlas. Precisamente porqué me gusta leer e interactuar sin perderme mucho, no concibo poder seguir a 400 personas. Acabaría teniendo un batiburrillo en el que encuentro a los amigos. Seguir a 5000 cuentas creo que es como un tener un tío en Murcia || Es que lo idea sería no saber ni preocuparse por saber cuántos seguidores tiene una cuenta. ¿Te gusta un tuit? Pues RT. No me entra en la cabeza otro uso. || Felicidades!! || 3. El paritorio. || Pero si justo aquí no hay ninguna pseudo, solo una mención como un piano ???? || Muchas Gracias Yoto ????',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Binary Classification

Dataset: test_pairs
Evaluated with BinaryClassificationEvaluator

Metric	Value
cosine_accuracy	0.7478
cosine_accuracy_threshold	0.4423
cosine_f1	0.7557
cosine_f1_threshold	0.3603
cosine_precision	0.6841
cosine_recall	0.8439
cosine_ap	0.8477

Training Details

Training Dataset

json

Dataset: json
Size: 438,990 training samples
Columns: anchor, positive, and negative
Approximate statistics based on the first 1000 samples:
anchor positive negative
type string string string
details
min: 398 tokens
mean: 503.44 tokens
max: 512 tokens
min: 392 tokens
mean: 503.36 tokens
max: 512 tokens
min: 407 tokens
mean: 505.06 tokens
max: 512 tokens

Samples:

anchor	positive	negative
`The validation they're looking for is showing they can make us mad. Give them contempt instead. Never sound hurt or offended; they interpret that as, they have exerted power over us. So, give them something they DON'T want. Contempt works well, or insult their genital size.`		On 10/7, Gaza chose war. They're getting war, all the war they could want and then some. I don't see the problem. If you assholes ever actually want peace - IF - you'll demand that Gaza stop firing rockets at Israel, return the hostages, and accept a ceasefire. Until then you are full of shit.
`My gift to you babe????????`		Wouldn’t think that a person who clearly on drugs should be the head of the FBI
`Questo è sicuro: ma la rubrica di Dan Savage è imperdibile!`		Voi GenZ siete dei dandies, altroché.

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 128
per_device_eval_batch_size: 128
gradient_accumulation_steps: 2
learning_rate: 2e-05
weight_decay: 0.01
num_train_epochs: 1
warmup_ratio: 0.05
bf16: True
gradient_checkpointing: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 128
per_device_eval_batch_size: 128
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 2
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.01
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
project: huggingface
trackio_space_id: trackio
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: True
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: no
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: True
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	test_pairs_cosine_ap
None	0	-	0.8477
0.0146	25	2.5467	-
0.0292	50	2.3516	-
0.0437	75	2.0079	-
0.0583	100	1.6434	-
0.0729	125	1.3248	-
0.0875	150	1.0804	-
0.1020	175	0.9261	-
0.1166	200	0.8262	-
0.1312	225	0.7508	-
0.1458	250	0.7286	-
0.1603	275	0.6879	-
0.1749	300	0.648	-
0.1895	325	0.6298	-
0.2041	350	0.6237	-
0.2187	375	0.622	-
0.2332	400	0.5987	-
0.2478	425	0.6071	-
0.2624	450	0.5753	-
0.2770	475	0.5826	-
0.2915	500	0.5398	-
0.3061	525	0.5718	-
0.3207	550	0.5456	-
0.3353	575	0.5395	-
0.3499	600	0.5418	-
0.3644	625	0.554	-
0.3790	650	0.5296	-
0.3936	675	0.5144	-
0.4082	700	0.5116	-
0.4227	725	0.5186	-
0.4373	750	0.5247	-
0.4519	775	0.5164	-
0.4665	800	0.5423	-
0.4810	825	0.507	-
0.4956	850	0.5029	-
0.5102	875	0.5099	-
0.5248	900	0.4794	-
0.5394	925	0.5004	-
0.5539	950	0.489	-
0.5685	975	0.479	-
0.5831	1000	0.4856	-
0.5977	1025	0.4651	-
0.6122	1050	0.487	-
0.6268	1075	0.4718	-
0.6414	1100	0.4578	-
0.6560	1125	0.4782	-
0.6706	1150	0.4511	-
0.6851	1175	0.4521	-
0.6997	1200	0.4706	-
0.7143	1225	0.4531	-
0.7289	1250	0.4631	-
0.7434	1275	0.4413	-
0.7580	1300	0.4577	-
0.7726	1325	0.4483	-
0.7872	1350	0.4618	-
0.8017	1375	0.4415	-
0.8163	1400	0.4375	-
0.8309	1425	0.4404	-
0.8455	1450	0.4337	-
0.8601	1475	0.4416	-
0.8746	1500	0.4629	-
0.8892	1525	0.4488	-
0.9038	1550	0.4512	-
0.9184	1575	0.4504	-
0.9329	1600	0.4583	-
0.9475	1625	0.4252	-
0.9621	1650	0.4423	-
0.9767	1675	0.4326	-
0.9913	1700	0.443	-

Framework Versions

Python: 3.11.12
Sentence Transformers: 3.3.1
Transformers: 4.57.0
PyTorch: 2.7.0+cu128
Accelerate: 1.12.0
Datasets: 4.8.4
Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss