This is a sentence-transformers model finetuned from sentence-transformers/LaBSE. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: sentence-transformers/LaBSE
Maximum Sequence Length: 256 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 768, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
  (3): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'kabupaten ngada kabupaten pulau flores provinsi nusa tenggara timur indonesia ibu kota kabupaten bajawa luas wilayah jumlah penduduk pertengahan sebanyak jiwa kabupaten ngada memiliki tiga suku besar suku nagekeo suku bajawa suku riung geografi kabupaten ngada membentang lintang selatan bujur timur kabupaten ngada memiliki luas daratan luas perairan panjang pantai rincian berikut luas perairan pantai utara panjang pantai luas perairan pantai selatan panjang pantai batas wilayah batas batas wilayahnya berikut topografi kondisi topografi kabupaten ngada umumnya berbukit tingkat kemiringan lahan relatif tinggi komposisi kemiringan derajat seluas luas wilayah kabupaten ngada kemiringan derajat seluas total luas wilayah kabupaten kemiringan atas derajat seluas total luas wilayah kabupaten ngada hidrologi keadaan hidrologis kabupaten ngada terdiri atas sumber sumber air berasal air tanah air permukaan curah hujan daerah mempunyai permukaan bergunung gunung air tanah umummya didapatkan mata air berasal kawasan pegunungan mempunyai kondisi jenis flora tumbuhan pepohonan cukup rapat kondisi hidrologi kabupaten ngada merupakan air sungai sungai sungai bermuara baik pantai utara maupun pantai selatan kabupaten ngada merupakan hulu daerah aliran sungai das aesesa meliputi sub das wulabhara sub das wae woki iklim berdasarkan klasifikasi iklim wilayah kabupaten ngada sebagian besar beriklim sabana tropis sebagian kecil lainnya beriklim muson tropis suhu udara wilayah ngada sangat erat kaitannya kontur topografinya berbukit bukit suhu udara sebagian besar wilayah ngada cenderung lebih sejuk dibandingkan wilayah nusa tenggara timur berkisar tingkat kelembapan bervariasi beriklim sabana tropis wilayah kabupaten ngada memiliki musim musim penghujan musim kemarau musim kemarau wilayah kabupaten ngada berlangsung bulan bulan mei hingga oktober bulan terkering bulan agustus musim penghujan wilayah berlangsung periode bulan bulan basah november hingga april puncak musim hujan terjadi pertengahan bulan januari hingga bulan februari rata rata curah hujan bulanan lebih per bulan curah hujan tahunan wilayah ngada berkisar per tahun jumlah hari hujan bervariasi hari hujan per tahun pemerintahan kepala daerah dewan perwakilan berikut komposisi anggota dprd kabupaten ngada tiga periode terakhir kecamatan kabupaten ngada terdiri kecamatan kelurahan desa tahun jumlah penduduknya mencapai jiwa luas wilayah sebaran penduduk jiwa daftar kecamatan kelurahan kabupaten ngada berikut demografi penduduk jumlah penduduk kabupaten ngada tahun sebanyak jiwa terdiri laki laki perempuan jumlah penduduk terbanyak terpadat berada kecamatan bajawa jumlah penduduk paling sedikit berada kecamatan wolomeze kecamatan kepadatan penduduk terjarang berada kecamatan riung barat suku bahasa kabupaten ngada memiliki tiga suku besar suku nagekeo suku bajawa suku riung masing masing suku mempunyai kebudayaan sendiri sendiri dipertahankan rumah adat bahasa berbeda satu sama lainnya tarian pakaian adat kebudayaan ngada rumah adat main peranan penting pola kemasyarakatan seorang ngada bagian suatu rumah adat berarti satu marga lambang marga berupa ukiran daerah ngada dimasukkan world heritage tentative list unesco tanggal oktober kategori kebudayaan bahasa utama daerah ngada bahasa ngada agama mayoritas penduduk kabupaten ngada menganut agama kekristenan sebesar rincian katolik sebanyak selebihnya menganut agama kristen protestan sebanyak sebagian lainnya menganut agama islam sebanyak hindu sebanyak kesehatan rumah sakit pariwisata wisata budaya kabupaten ngada sangat terkenal kalangan wisatawan asing tertarik kebudayaan beberapa kampung adat paling banyak dikunjungi kabupaten ngada kampung bena desa tiworiwu kecamatan jerebuu kampung wogo desa ratogesa kecamatan golewa mana terdapat rumah adat peninggalan megalithik kampung bela desa beja kecamatan bajawa kampung gurusina desa watumanu kecamatan jerebuu kampung belaraghi desa keligejo kecamatan aimere wisata alam kabupaten ngada memiliki banyak objek wisata potensi wisata alam lengkap mulai pantai danau air terjun bukit gunung hingga pemandian air panas berikut sejumlah objek wisata potensi wisata alam kabupaten ngada taman laut nasional pulau riung tempat terdapat mawar laut aneka jenis terumbu karang pulau pasir putih kelelawar bakau pulau ontoloe mbou varanus riungnensis kadal raksasa merupakan binatang purbakala hidup alamiah habitatnya hingga wisata air pantai sini air terjun ogi air terjun wae roa air terjun wae pua air terjun wae waru air terjun wae niba air terjun wae laja air terjun soso pantai waewaru pantai enabhara pantai sewowoto permandian air panas mengeruda danau wawomudha tempat wisata lainnya gunung inerie bukit wolobobo ekowisata lekolodo ekonomi perikanan kabupaten ngada memiliki wilayah perairan laut sangat potensial baik pantai utara laut flores kecamatan riung maupun pantai laut selatan laut sawu masing masing kecamatan golewa selatan kecamatan aimere kekayaan laut utama ikan lobster rumput laut mutiara sumber daya perikanan kelautan kabupaten gada memiliki garis pantai sepanjang rincian pantai utara pantai selatan sesuai nomor tahun luas laut menjadi kewenangan kabupaten mencapai mil laut luas wilayah perairan laut sebesar potensi lestari sebanyak ton tahun terdiri potensi ikan pelagis sebanyak ton ikan demersal sebanyak ton tahun tingkat pemanfaatannya baru mencapai ton sisanya perairan umum budidaya jumlah rumah tangga perikanan rtp sebanyak rumah tangga terdiri rumah tangga perikanan nelayan rumah tangga perikanan budidaya jumlah tersebut berstatus nelayan penuh sebanyak orang orang nelayan sambilan pertambangan jenis potensi pertambangan lokasi jumlah kandungannya masing masing terinci berikut besi mangan lokasi mbong milong riung emas lokasi rawangkalo wangka lindi ton perak belerang lokasi mataloko tembaga pasir besi pasir batu lokasi naru aimere tanah liat lokasi bomari langa marmer lokasi sambinasi rawangkalo wangka granodiort zeolit batu permata permata perkebunan kabupaten ngada memiliki potensi perkebunan cukup potensial dikembangkan beberapa jenis komoditas andalan dikembangkan kabupaten ngada kopi kakao jambu mete kemiri kelapa cengkih vanili merica luas lahan kering potensial fungsional seluas sisanya sebesar dimanfaatkan lihat cagar alam riung referensi pranala luar ngada traditional house and megalithic complex unesco world heritage centre accessed phillimore lisa goodson qualitative research tourism ontologies epistemologies and methodologies routledge isbn',
    'kabupatèn ngada kabupatèn provinsi nusa tenggara wétan kutha bajawa kutha krajan kabupatèné kutha kutha liyané liya yané jembar wewengkon kabupatèn hèktar géografi lintang kidul bujur wétan pamaréntahan kabupatèn ngada ketata saking kacamatan désa kalurahan kacamatan kacamatan kabupatèn yaiku aesesa aimere bajawa boawae jere buu keo tengah maupongo nangaroro ngada bawa riung barat riung soa wogomang ulewa wolowae deleng uga pratélan daerah tingkat pranala njaba situs web resmi urung provinsi nusa tenggara wétan',
    'kursi dhampar piranti kanggo lungguh lumrahé kursi nduwéni sikil cacahé papat uga kursi duwé sikil siji tengah kursi barstool lumrahé kursi duwé sèndènan pancikan kanggo sikil ngisor jinisé dideleng bahané antawis kursi digawé kayu plastik wesi miturut kagunaané kursi dipérang sawatara jinis antawis kursi tamu kursi goyang kursi rodha kursi listrik sapanunggalané sajinis kursi wujudé dawa diarani bangku bangku wujudé dawa isa dilungguhi loro luwih lumrahé bangku dianggo prabot ruang tunggu taman pekarangan pranala njaba ergonomics sitting postures and seating archived the wayback machine what armchair archived the wayback machine the versatile folding chairs office furniture store',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000,  0.9158, -0.1236],
#         [ 0.9158,  1.0000, -0.1163],
#         [-0.1236, -0.1163,  1.0000]])

Training Details

Training Dataset

Unnamed Dataset

Size: 1,753 training samples
Columns: sentence_0 and sentence_1
Approximate statistics based on the first 1000 samples:
sentence_0 sentence_1
type string string
details
min: 13 tokens
mean: 234.74 tokens
max: 256 tokens
min: 2 tokens
mean: 172.69 tokens
max: 256 tokens

Samples:

sentence_0	sentence_1
kabupaten pekalongan bahasa jawa hanacaraka pegon sebuah wilayah kabupaten terletak provinsi jawa tengah indonesia ibu kotanya kajen kabupaten berbatasan langsung laut jawa kota pekalongan sebelah utara kabupaten batang sebelah timur kabupaten banjarnegara sebelah selatan kabupaten pemalang sebelah barat penduduk kabupaten pekalongan tahun berjumlah jiwa sebanyak jiwa pertengahan tahun pekalongan berada jalur utara pulau jawa menghubungkan jakarta tuban surabaya angkutan umum antar kota dilayani bus kereta api kota pekalongan geografi bagian utara kabupaten pekalongan merupakan dataran rendah sedang bagian selatan berupa pegunungan bagian rangkaian dataran tinggi dieng sungai sungai besar mengalir antaranya kali sragi kali sengkarang beserta anak anak sungainya kesemuanya bermuara laut jawa kajen ibu kota kabupaten pekalongan berada bagian tengah tengah wilayah kabupaten sebelah selatan kota pekalongan batas wilayah demografi hampir seluruh penduduk kabupaten pekalongan suku jawa mayor...	kabupatèn pekalongan kabupatèn jawa tengah pernahé pantura kutha kajen kutha krajan kabupatèné kutha kutha liyané liya liyané jembar wewengkon kabupatèn hèktar kabupatèn pekalongan dumunung jalur pantura pasisir utara jawa sajarah kabupatèn pekalongan resmi diadegaké miturut undang undang nomor taun ngenani pamaréntah laladan kabupatèn provinsi jawa tengah titiwanci dina selasa pon tanggal agustus dikukuhaké yogyakarta déning pemangku jabatan sementara présidhèn républik indonésia mantri dalam negeri soesanto tirtoprodjo mantri kehakiman pringgo digdo miturut undang undang mau pamaréntah laladan kabupatèn pekalongan diwangun bebarengan laladan liya antarané semarang kendhal demak grobogan pekalongan pemalang tegal brebes pati kudus djepara rembang blora banjumas tjilatjap purbalingga banjarnegara magelang temanggung wonosobo purworejo kebumèn boyolali sragen sukoharjo karanganyar wanagiri géografi kabupatèn pekalongan kalebu salah sijine kabupatèn jawa tengah panggone pinggir lor pulau...
susu kocok bahasa inggris milkshake minuman dingin campuran susu krim sirop berperasa dikocok hingga berbusa dikocok blender susu kocok dibuat memakai gelas pengocok bertutup shaker britania raya susu kocok dibuat susu dicampur buah cokelat sebagian besar orang amerika serikat susu kocok biasanya terbuat susu krim buah segar cokelat orang amerika serikat tinggal rhode island negara bagian massachusetts bertetangga susu kocok dibuat krim susu dikocok sirop berperasa susu kocok memakai krim disebut cabinet dibuat mesin pengocok berbentuk sebuah peti kecil cabinet negara bagian new england susu kocok dibuat krim disebut velvet frappe istilah frappe dipakai sejak abad sejenis minuman bahasa prancis frappé berarti memakai didinginkan berasal verba frapper berarti membekukan mendinginkan sejarah sebuah kamus terbitan tahun menjelaskan milk shake minuman dibuat susu manis berperasa air soda kadang kadang telur mentah semua bahan diaduk cepat sebuah mesin khusus diciptakan membuat minuman susu...	`milkshake mung goyang minangka salah sawijining ombenan biasane digawe nganggo campuran susu krim rasa rasa legi kayata butterscotch saus karamel sirup coklat sirup buah woh utuh campuran kenthel legi adhem`
kabupaten purwakarta bahasa sunda sebuah wilayah kabupaten terletak bagian barat tengah provinsi jawa barat indonesia ibu kota kabupaten berada kecamatan purwakarta kota berjarak sebelah tenggara kota jakarta sebelah barat laut kota bandung kabupaten purwakarta dijuluki kota pensiun suasananya tenang jauh hiruk piruk kota kota pensiun kabupaten purwakarta memiliki julukan kota tasbih purwakarta istimewa kabupaten purwakarta dikenal tempat kelahiran beberapa negarawan pemimpin besar asal jawa barat masanya awal pendirian republik indonesia antaranya pahlawan nasional kusumah atmaja ketua pertama mahkamah agung republik indonesia ipik gandamana bupati pertama kabupaten bogor gubernur jawa barat menteri negeri etimologi purwakarta berasal suku kata purwa artinya permulaan karta berarti ramai hidup pemberian nama purwakarta dilakukan kepindahan ibu kota kabupaten purwakarta wanayasa sindangkasih tahun peristiwa kepindahan ibu kota kabupaten tahunnya diperingati tanggal juli melakukan napak...	kabupatèn purwakarta kabupatèn jawa kulon jembar wewengkon kabupatèn hèktar géografi bujur wétan dan lintang kidul papréntahan kabupatèn purwakarta ketata saking kacamatan kalurahan désa kacamatan kacamatan kabupatèn yaiku babakancikao bojong bungursari campaka cibatu darangdan jatiluhur kiarapedes maniis pasawahan plered pondoksalam purwakarta sukasari sukatani tegalwaru wanayasa deleng uga pratélan kabupatèn kutha indonésia pranala njaba situs web resmi archived the wayback machine jawa kulon cithakan kabupatèn purwakarta

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Training Hyperparameters

Non-Default Hyperparameters

num_train_epochs: 10
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 8
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 10
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
project: huggingface
trackio_space_id: trackio
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: no
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: True
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin
router_mapping: {}
learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
2.2727	500	0.015
4.5455	1000	0.0013
6.8182	1500	0.0015
9.0909	2000	0.0005

Framework Versions

Python: 3.12.12
Sentence Transformers: 5.2.0
Transformers: 4.57.1
PyTorch: 2.8.0+cu126
Accelerate: 1.11.0
Datasets: 4.4.1
Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss