SentenceTransformer based on vinai/phobert-base-v2

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: vinai/phobert-base-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • vnexpress-data-similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

vnexpress-data-similarity

• Dataset: vnexpress-data-similarity at e6cb542
• Size: 349,711 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 5 tokens mean: 29.65 tokens max: 70 tokens	min: 22 tokens mean: 205.8 tokens max: 256 tokens

• Samples:

  anchor	positive
  Tôi ở chung_cư , dịp cuối tuần hoặc ngày lễ là người hàng_xóm lại rủ bạn_bè đến nhậu , lôi loa kẹo kéo ra hành_lang hát , & quot ; tra_tấn & quot ; cả tầng trong nhiều giờ . - VnExpress	Họ vặn loa hết cỡ , hát từ trưa đến chiều . Căn_hộ tôi ở sát bên , dù đã đóng hết cửa nhưng các con tôi vẫn không ngủ được . [object Object] Trước đó , trưởng tầng từng góp_ý với gia_đình này , tôi cũng báo bảo_vệ chung_cư lên nhắc_nhở , nhưng họ vẫn tái_diễn . Tôi không biết hành_vi này có bị xử_phạt vì gây ô_nhiễm tiếng ồn không ? Tôi nên làm gì để tình_trạng này được xử_lý dứt_điểm ? ( Ngọc_Dung )
  Việt_Nam nằm trong số năm nước có khối_lượng giao_dịch lớn nhất trên sàn Binance với số tiền 20 tỷ USD trong tháng 5 . - VnExpress	Theo thống_kê của WSJ , các nhà đầu_tư Việt_Nam giao_dịch khoảng 20 tỷ USD trên sàn tiền số lớn nhất thế_giới và hình_thức chiếm 90 % là Future ( hợp_đồng tương_lai ) . Con_số này đạt gần 5 % trong tổng khối_lượng giao_dịch toàn_cầu của Binance . [object Object] Nước có lượng giao_dịch hàng tháng cao nhất là Trung_Quốc với 90 tỷ USD , tiếp_theo là Hàn_Quốc và Thổ_Nhĩ_Kỳ với 60 tỷ và 45 tỷ USD. Khu_vực còn lại trong top 5 là Quần_đảo Virgin của Anh với 18 tỷ USD. [object Object] Số_liệu thống_kê gây bất_ngờ khi Trung_Quốc chiếm 20 % tổng khối_lượng giao_dịch toàn_cầu của Binance , trong khi chính_phủ nước này cấm tất_cả hoạt_động giao_dịch và đầu_tư tiền số từ 2021 . Bên cạnh đó , Binance cũng tuyên_bố không còn hoạt_động tại đây . Theo nguồn tin nội_bộ , hiện có 900.000 nhà đầu_tư Trung_Quốc hoạt_động trên Binance , còn tổng_số nhà đầu_tư tiền số nói_chung tại quốc_gia này là 5,6 triệu . Để lách luật , Binance điều hướng người dùng Trung_Quốc đến các trang_web có tên_miền thuộc quốc_gia này trước khi chuyển tới s...
  Màn giả gái của Jang_Dong_Yoon trong ' The_Tale of Nokdu ' lên top tìm_kiếm mạng xã_hội Hàn .	Drama_cổ trang The_Tale of Nokdu lên sóng 2 tập đầu_vào thứ hai - thứ ba vừa_qua . Phim của đài KBS có rating đứng đầu trong các phim cùng khung giờ . Theo chỉ_số từ Nielsen_Korea , hai tập đầu The_Tale of Nokdu có rating trung_bình lần_lượt là 6,5 % và 8,3 % , thời_điểm rating cao nhất lên 9,6 % . Đã lâu rồi đài KBS mới có phim đạt rating cao như_vậy . Tác_phẩm trước của đài này là I Wanna Hear Your Song chỉ có rating ở mức 3,6 - 4.0 % . [object Object] The_Tale of Nokdu kể về Jeon Nok_Du ( do Jang_Dong_Yoon_thủ vai ) , một chàng trai lưu_lạc đến ngôi làng toàn góa phụ . Để sống được ở đây , Nok_Du phải giả gái và nhận Dong_Dong_Joo ( Kim So_Hyun ) làm con gái nuôi , hướng_dẫn cô các kỹ_năng để trở_thành một kỹ_nữ . [object Object] Trong 2 tập đầu , Nok_Du đã tìm đến ngôi làng . Vì phải giả gái , anh_chàng tạo ra biết_bao tình_huống dở khóc dở cười . Nam diễn_viên Jang_Dong_Yoon nhận được lời khen qua cách thể_hiện sự bối_rối khi phải mặc trang_phục nữ_giới , đồng_thời diễn_vẻ điệu_đà , tinh_tế của phụ_nữ ở từng...

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• gradient_accumulation_steps: 5
• learning_rate: 5e-06
• warmup_ratio: 0.1
• save_safetensors: False
• fp16: True
• push_to_hub: True
• hub_model_id: iambestfeed/phobert-base-v2-finetuned-raw_data_wseg-lr5e-06
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.47.0
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.3.1
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss