SentenceTransformer based on sentence-transformers/all-MiniLM-L6-v2

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/all-MiniLM-L6-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False, 'architecture': 'BertModel'})
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Training Details

Training Dataset

Unnamed Dataset

• Size: 32,440 training samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 10 tokens mean: 26.97 tokens max: 63 tokens	min: 72 tokens mean: 157.54 tokens max: 256 tokens	min: 75 tokens mean: 155.26 tokens max: 256 tokens

• Samples:

  query	positive	negative
  Em muốn ôn lại kiến thức cơ bản Introduction to computing, nên xem khóa nào?	edX – Computing in Python (Georgia Tech) | Covers program execution models, state changes, loops, functions, and the conceptual mechanics behind code execution. | Bao quát mô hình thực thi chương trình, thay đổi trạng thái, vòng lặp, hàm và cơ chế hoạt động của mã nguồn. | python programming, execution model, control flow, state changes, functions, intro Python course, lập trình Python cơ bản	Performance Optimization: Image and Asset Loading | Techniques for optimizing website speed by properly sizing, compressing, and serving images (WebP, SVG) and other assets, including lazy loading and caching strategies. | Các kỹ thuật tối ưu hóa tốc độ trang web bằng cách định cỡ, nén và phân phát hình ảnh (WebP, SVG) và các tài sản khác một cách hợp lý, bao gồm chiến lược tải lười (lazy loading) và bộ nhớ đệm (caching). | Web Performance, Optimization, Image Compression, Lazy Loading, Caching, Tối ưu hiệu suất, Tốc độ tải, Bộ nhớ đệm
  Beginner friendly material to understand the basics of Database Systems	Advanced SQL: MySQL Data Analysis & Business Intelligence on Udemy | Teaches advanced SQL techniques for data analysis and business intelligence reporting using MySQL. Learners master complex queries, window functions, and subqueries to extract meaningful insights from data. | Giảng dạy các kỹ thuật SQL nâng cao dành cho phân tích dữ liệu và báo cáo Business Intelligence với MySQL. Người học sẽ nắm vững truy vấn phức tạp, hàm cửa sổ và truy vấn lồng để khai thác insight ý nghĩa từ dữ liệu. | analytical SQL, business intelligence, window functions, CTEs, reporting queries, MySQL analysis	Essence of linear algebra & Essence of calculus by 3Blue1Brown on YouTube | Develops a deep, visual intuition for the core ideas of linear algebra and calculus. This series helps learners understand the 'why' behind the formulas, focusing on concepts like vectors, matrices, and the geometric meaning of derivatives. | Phát triển trực giác hình học sâu sắc cho các ý tưởng cốt lõi của đại số tuyến tính và giải tích. Series này giúp người học hiểu được “vì sao” đằng sau các công thức, tập trung vào các khái niệm như vectơ, ma trận và ý nghĩa hình học của đạo hàm. | visual intuition, geometric thinking, vector spaces, matrix intuition, calculus intuition
  What will I learn in the course Introduction to Mobile Development: Native vs. Hybrid vs. Cross-Platform?	Introduction to Mobile Development: Native vs. Hybrid vs. Cross-Platform | Defines the three main approaches to mobile development: [object Object] (Swift/Kotlin), [object Object] (Web views), and [object Object] (single codebase for multiple OS). Highlights the pros and cons of each. | Định nghĩa ba cách tiếp cận chính trong phát triển di động: [object Object] (bản địa), [object Object] (lai), và [object Object] (đa nền tảng). Nêu bật ưu và nhược điểm của từng phương pháp. | Cross-Platform, Đa nền tảng, Native, Hybrid, Mobile Development, Phát triển ứng dụng, Single Codebase	Generics in C#: Defining Type-Safe Collections and Methods | Explains the concept of [object Object] in C# for creating reusable, type-safe data structures and methods without committing to a specific data type. Focuses on generic collections like [object Object] and [object Object]. | Giải thích khái niệm [object Object] trong C# để tạo ra các cấu trúc dữ liệu và phương thức an toàn kiểu dữ liệu, có thể tái sử dụng mà không cần cam kết với một kiểu dữ liệu cụ thể. Tập trung vào các collection generic. | Generics, Generic Collections, Type Safety, An toàn kiểu dữ liệu, List[object Object]

• Loss: MultipleNegativesRankingLoss with these parameters:
  json

  1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim", 4 "gather_across_devices": false 5}

Training Hyperparameters

Non-Default Hyperparameters

• learning_rate: 2e-05
• num_train_epochs: 1
• warmup_ratio: 0.1

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.1.2
• Transformers: 4.57.1
• PyTorch: 2.9.0+cu126
• Accelerate: 1.11.0
• Datasets: 4.0.0
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss