SentenceTransformer based on sergeyzh/rubert-tiny-turbo

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sergeyzh/rubert-tiny-turbo
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 312 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 312, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Binary Classification

• Dataset: item-classification
• Evaluated with BinaryClassificationEvaluator

Training Details

Training Dataset

Unnamed Dataset

• Size: 48,868 training samples
• Columns: anchor, text, and label
• Approximate statistics based on the first 1000 samples:

  	anchor	text	label
  type	string	string	int
  details	min: 5 tokens mean: 17.78 tokens max: 118 tokens	min: 57 tokens mean: 318.85 tokens max: 1182 tokens	0: ~85.50% 1: ~14.50%

• Samples:

  anchor	text	label
  помоги подобрать внешний аккумулятор, чтобы получить сбербонусы[object Object]покажи товары	{'long_web_name': 'Чехол для Xiaomi Battery Case 10000mAh ver.2 Orange', 'price': 195.0, 'url': '[object Object]', 'image_link': '[object Object]', 'id': '100043272924', 'description': '', 'rating': 0.0, 'review_count': 0}	0
  Здравствуйте. Мне нужен недорогой смартфон на Android, чтобы можно было легко звонить и писать сообщения внукам. Можете что-то посоветовать?	{'long_web_name': 'Чистящее средство Topperr 3037', 'price': 417.0, 'url': '[object Object]', 'image_link': '[object Object]', 'id': '100022709014', 'description': '', 'rating': 4.94, 'review_count': 222}	0
  Samsung Galaxy S24	{'long_web_name': 'Поворотное металлическое крепление на руль мотоцикла велосипеда для экшн камеры GoPro', 'price': 950.0, 'url': '[object Object]', 'image_link': '[object Object]', 'id': '600016461568_81689', 'description': '[object Object][object Object][object Object]', 'rating': 0.0, 'review_count': ...	0

• Loss: ContrastiveLoss with these parameters:
  json

  1{ 2 "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", 3 "margin": 0.5, 4 "size_average": true 5}

Evaluation Dataset

Unnamed Dataset

• Size: 6,108 evaluation samples
• Columns: anchor, text, and label
• Approximate statistics based on the first 1000 samples:

  	anchor	text	label
  type	string	string	int
  details	min: 5 tokens mean: 20.51 tokens max: 1716 tokens	min: 53 tokens mean: 326.79 tokens max: 1182 tokens	0: ~84.50% 1: ~15.50%

• Samples:

  anchor	text	label
  Привет, помоги подобрать ноутбук, на что обратить внимание?[object Object]Диагональ дисплея хочу 15[object Object]оеративка от 16гб[object Object]ссд хотя бы 0.5 тб[object Object][object Object]Порекомендуй конкртные товары	{'long_web_name': 'Ноутбук Azerty RB-1550 Silver (120-0513)', 'price': 25470.0, 'description': 'Ноутбук Azerty RB-1550 обладает достаточной производительностью для решения учебных задач, таких как работа с документами, просмотр веб-страниц, использование электронных учебников и презентаций. Конечно, ведь именно для этого он и предназначен, являясь представителем серии моделей для учёбы Story. - Корпус ноутбука выполнен из твердого полимерного пластика, придающего легкости и прочности. Этот материал обладает высокой устойчивостью к механическим воздействиям, царапинам и потёртостям, а также снижает вес устройства, что делает его удобным для переноски. - Экран ноутбука имеет размер 15,6 дюйма выполнен по технологии IPS, которая обеспечивает хорошее качество изображения, с высокой контрастностью и широким углом обзора. Разрешение экрана составляет 1920x1080 пикселей, что обеспечивает высокую детальность. Антибликовое покрытие экрана помогает снизить нагрузку на зрение при работе в ярко ос...	0
  расскажи как выбрать смартфон игровой[object Object]расскажи о разнице между андроидом и айос подробнее[object Object]расскажи подробнее об операционной системе	{'long_web_name': 'Смартфон Honor Honor 90 12/512GB изумрудный зеленый (5109ATRU)', 'price': 33990.0, 'description': '', 'rating': 4.73, 'review_count': 37}	1
  Найди самсунг белого цвета в республике башкортостан. Меня зовут Алексей, кстати[object Object]И до 50к с 8 гб оперативы	{'long_web_name': 'Защитное стекло Remax Medicine Glass GL-27 3D для iPhone 15, черная рамка 0,3 мм', 'price': 247.0, 'url': '[object Object]', 'image_link': '[object Object]', 'id': '600013601251', 'description': 'Защитное стекло для Apple iPhone 15/ Айфон 15, противоударное стекло от сколов и царапин на экран айфона Защитное стекло повторяет контуры экрана на 100% и закрывает его полностью от края до края, не оставляя зазоров. Благодаря наличию цветной рамки оно полностью копирует дизайн лицевой панели телефона и не портит его внешний вид. Комплектация Защитное стекло для iPhone 15/ Айфон 15 Спиртовая салфетка Салфетка из микрофибры Стикеры для удаления пыли Инструкция по наклеиванию Надежная упаковка', 'rating': 4.9, 'review_count': 229}	0

• Loss: ContrastiveLoss with these parameters:
  json

  1{ 2 "distance_metric": "SiameseDistanceMetric.COSINE_DISTANCE", 3 "margin": 0.5, 4 "size_average": true 5}

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Training Logs

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.2.1
• Accelerate: 1.2.1
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

ContrastiveLoss