SentenceTransformer based on vinai/phobert-base-v2

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: vinai/phobert-base-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • wiki-data

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

wiki-data

• Dataset: wiki-data at 9d83c37
• Size: 2,162,860 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 5 tokens mean: 7.34 tokens max: 22 tokens	min: 13 tokens mean: 200.81 tokens max: 256 tokens

• Samples:

  anchor	positive
  Giới_thiệu của Internet_Society	Internet_Society hay ISOC là một tổ_chức quốc_tế hoạt_động phi lợi_nhuận , phi chính_phủ và bao_gồm các thành_viên có trình_độ chuyên_ngành . Tổ_chức này chú_trọng đến : tiêu_chuẩn , giáo_dục và các vấn_đề về chính_sách . Với trên 145 tổ_chức thành_viên và 65.000 thành_viên cá_nhân , ISOC bao_gồm những con_người cụ_thể trong cộng_đồng Internet . Mọi chi_tiết có_thể tìm thấy tại website của ISOC. [object Object] Internet Society nằm ở gần thủ_đô Washington , DC , Hoa_Kỳ và Geneva , Thụy_Sĩ . Số hội_viên của nó bao_gồm hơn 145 tổ_chức thành_viên và hơn 65.000 cá_nhân . Thành_viên còn có_thể tự_lập một chi_nhánh của tổ_chức tùy theo vị_trí hoặc sở_thích . Hiện_nay tổ_chức có tới 90 chi_nhánh trên toàn thế_giới . ( Who We Are : Partnerships and Expertise )
  Nhiệm_vụ và mục_đích hoạt_động của Internet_Society	Bảo_đảm , cổ_vũ cho sự phát_triển , mở_rộng và sử_dụng Internet được thuận_lợi nhất cho mọi người trên toàn thế_giới .
  Giới_thiệu của Tiếng Việt	Tiếng Việt hay tiếng Kinh là một ngôn_ngữ thuộc ngữ_hệ Nam_Á , được công_nhận là ngôn_ngữ chính_thức tại Việt_Nam . Đây là tiếng mẹ_đẻ của khoảng 85 % dân_cư Việt_Nam và nhiều người trong số 5 triệu Việt_kiều . Tiếng Việt_còn là ngôn_ngữ thứ hai của các dân_tộc_thiểu_số tại Việt_Nam , và là một trong những ngôn_ngữ chính_thức của thành_phố San_Francisco , ( ) cũng là một ngôn_ngữ dân_tộc_thiểu_số được công_nhận tại Czechia và Slovakia . [object Object] Dựa trên từ_vựng cơ_bản , tiếng Việt được phân_loại là một ngôn_ngữ thuộc ngữ_hệ Nam_Á . Tiếng Việt_là ngôn_ngữ có nhiều người nói nhất trong ngữ_hệ này ( nhiều hơn tổng_số người nói của tất_cả các ngôn_ngữ còn lại trong ngữ_hệ ) . Vì Việt_Nam thuộc Vùng văn_hóa Á_Đông , tiếng Việt cũng chịu nhiều ảnh_hưởng về từ tiếng Hán , do vậy là ngôn_ngữ có ít điểm tương_đồng_nhất với các ngôn_ngữ khác trong ngữ_hệ Nam_Á .

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 48
• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1
• save_safetensors: False
• fp16: True
• push_to_hub: True
• hub_model_id: iambestfeed/phobert-base-v2-finetuned-wiki-data-raw_data_wseg-lr2e-05-1-epochs-bs-48
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs