This is a sentence-transformers model finetuned from sentence-transformers/distiluse-base-multilingual-cased-v1. It maps sentences & paragraphs to a 512-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: sentence-transformers/distiluse-base-multilingual-cased-v1
Maximum Sequence Length: 128 tokens
Output Dimensionality: 512 tokens
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: DistilBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Dense({'in_features': 768, 'out_features': 512, 'bias': True, 'activation_function': 'torch.nn.modules.activation.Tanh'})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

python

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Qual é a capacidade de armazenamento padrão do disco rígido dos computadores utilizados no Laboratório de Organização de Computadores e Sistemas Digitais e qual é a velocidade de rotação mínima do disco rígido?',
    'Projeto Pedagógico do Curso de Graduação em Ciência da Computação – Bacharelado **MINISTÉRIO DA EDUCAÇÃO**\n**UNIVERSIDADE FEDERAL DA FRONTEIRA SUL – UFFS**\n**PRÓ-REITORIA DE GRADUAÇÃO**\n**DIRETORIA DE PEDAGÓGICA****14.4 Laboratórios****14.4.2 Laboratórios de Organização de Computadores e Sistemas Digitais**O objetivo principal do Laboratório de Organização de Computadores e Sistemas Digitais é dar suporte às atividades teóricas e práticas das disciplinas de circuitos digitais, sistemas digitais, organização de computadores, arquitetura de computadores, linguagens de descrição de hardware (optativa) e tópicos em automação industrial (optativa). Este laboratório deve permitir que o aluno do curso de Ciência da Computação possa desenvolver atividades práticas (experimentos e projetos) envolvendo sistemas digitais, tais como: implementar circuitos combinacionais, implementar circuitos sequenciais, realizar simulações via software de circuitos combinacionais e sequenciais, realizar prototipagem de sistemas digitais em PLDs e FPGAs, além da implementação de circuitos inteligentes através da programação de microcontroladores. Na tabela abaixo são descritos os materiais necessários à implantação e funcionamento do laboratório. | Tabela 14: Descrição dos materiais do laboratório: “Laboratório de Organização de Computadores e Sistemas Digitais” |  |  |\n|---|---|---|\n| Laboratório de Organização de Computadores e Sistemas Digitais |   |   |\n| Professor responsável: Luciano Lores Caimi |   |   |\n| Alunos por turma: 25 |   |   |\n| Área: 80 m2 |   | Localização: Campus Chapecó |\n| Qtd | Descrição |   |\n| 19 | Bancada com 1 metro por 2 metros com tomadas (8 tomadas) |   |\n| 30 | Cadeira Giratória com rodas |   |\n| 3 | Armário (2,0 x 0,8 x 1,80) (L x P x A) |   |\n| 1 | Quadro branco |   |\n| 30 | Computadores com processador quad-core frequência de 2.2 GHz e FSB 800 MHz ou superior 4 Mb RAM (memória tipo DIMM SDRAM DDR2 ou superior) Disco rígido padrão Serial ATA II com capacidade de armazenamento de 400 Gbytes (ou superior) e rotação 7200 rpm (ou superior) Unidade óptica do tipo DVD-RW Monitor de vídeo LCD com tela de 19 polegadas, tela do tipo Matriz |   |\n|  | Ativa – TFT LCD, interface digital, dot pitch de 0.264 mm e resolução\ngráfica de 1280 x 1024 à 75 Hz\nTeclado padrão ABNT-2 com interface USB\nMouse óptico com 3 botões, rolagem e interface USB\nInterface de rede Gigabit Ethernet padrão IEEE 802.3x compatível com as\nvelocidades 10/100/1000, para conexão de cabo de par trançado, com\nconectores RJ-45.\nInterface para vídeo com alocação dinâmica de memória, que suporte a\nresolução de 1900 x 1200 com taxa de atualização de 85 Hz e interface\ndigital.\n02 (duas) interfaces para teclado e mouse padrão USB.\n01 (uma) interface serial integrada na placa mãe, com conector de 9 pinos\npadrão.\n04 (quatro) interfaces USB (além das interfaces para mouse e teclado).\nGabinete tool less |\n|---|---|\n|   | Ativa – TFT LCD, interface digital, dot pitch de 0.264 mm e resolução gráfica de 1280 x 1024 à 75 Hz Teclado padrão ABNT-2 com interface USB Mouse óptico com 3 botões, rolagem e interface USB Interface de rede Gigabit Ethernet padrão IEEE 802.3x compatível com as velocidades 10/100/1000, para conexão de cabo de par trançado, com conectores RJ-45.',
    '|   |   |   |\n| OBJETIVO |   |   |   |\n| Viabilizar a introdução no curso de temas não abordados em outros componentes. Deve ser relevante para o momento, traduzindo a evolução das tecnologias e da ciência da computação e/ou aproveitando as experiências de professores ou outros profissionais qualificados. Esta disciplina também serve para atualizações da matriz curricular. |   |   |   |\n| REFERÊNCIAS BÁSICAS |   |   |   |\n| Contemplada no plano da disciplina a ser ministrada. |   |   |   |\n| REFERÊNCIAS COMPLEMENTARES |   |   |   |\n| Contemplada no plano da disciplina a ser ministrada. |   |   |   |\n| Código | COMPONENTE CURRICULAR | Créditos | Horas |\n|---|---|---|---|\n| Código | COMPONENTE CURRICULAR | Créditos | Horas |\n| GEX649 | TÓPICOS ESPECIAIS EM COMPUTAÇÃO XXVII | 2 | 30 |\n| EMENTA |   |   |   |\n| Conteúdo variável respeitando os objetivos mencionados. |   |   |   |\n| OBJETIVO |   |   |   |\n| Viabilizar a introdução no curso de temas não abordados em outros componentes. Deve ser relevante para o momento, traduzindo a evolução das tecnologias e da ciência da computação e/ou aproveitando as experiências de professores ou outros profissionais qualificados. Esta disciplina também serve para atualizações da matriz curricular. |   |   |   |\n| REFERÊNCIAS BÁSICAS |   |   |   |\n| Contemplada no plano da disciplina a ser ministrada. |   |   |   |\n| REFERÊNCIAS COMPLEMENTARES |   |   |   |\n| Contemplada no plano da disciplina a ser ministrada. |   |   |   |\n| Código | COMPONENTE CURRICULAR | Créditos | Horas |\n|---|---|---|---|\n| Código | COMPONENTE CURRICULAR | Créditos | Horas |\n| GEX650 | TÓPICOS ESPECIAIS EM COMPUTAÇÃO XXVIII | 2 | 30 |\n| EMENTA |   |   |   |\n| Conteúdo variável respeitando os objetivos mencionados. |   |   |   |\n| OBJETIVO |   |   |   |\n| Viabilizar a introdução no curso de temas não abordados em outros componentes. Deve ser relevante para o momento, traduzindo a evolução das tecnologias e da ciência da computação e/ou aproveitando as experiências de professores ou outros profissionais qualificados. Esta disciplina também serve para atualizações da matriz curricular. |   |   |   |\n| REFERÊNCIAS BÁSICAS |   |   |   |\n| Contemplada no plano da disciplina a ser ministrada. |   |   |   |\n| REFERÊNCIAS COMPLEMENTARES |   |   |   |\n| Contemplada no plano da disciplina a ser ministrada. |   |   |   |\n| Código | COMPONENTE CURRICULAR | Créditos | Horas |\n|---|---|---|---|\n| Código | COMPONENTE CURRICULAR | Créditos | Horas |\n| GEX651 | TÓPICOS ESPECIAIS EM COMPUTAÇÃO XXIX | 2 | 30 |\n| EMENTA |   |   |   |\n| Conteúdo variável respeitando os objetivos mencionados. |   |   |   |\n| OBJETIVO |   |   |   |\n| Viabilizar a introdução no curso de temas não abordados em outros componentes. Deve ser relevante para o momento, traduzindo a evolução das tecnologias e da ciência da computação e/ou aproveitando as experiências de professores ou outros profissionais qualificados. Esta disciplina também serve para atualizações da matriz curricular. |   |   |   |\n| REFERÊNCIAS BÁSICAS |   |   |   |\n| Contemplada no plano da disciplina a ser ministrada.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 512]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.5432
cosine_accuracy@3	0.8179
cosine_accuracy@5	0.9259
cosine_accuracy@10	0.9877
cosine_precision@1	0.5432
cosine_precision@3	0.2726
cosine_precision@5	0.1852
cosine_precision@10	0.0988
cosine_recall@1	0.5432
cosine_recall@3	0.8179
cosine_recall@5	0.9259
cosine_recall@10	0.9877
cosine_ndcg@10	0.7693
cosine_mrr@10	0.6984
cosine_map@100	0.6995
dot_accuracy@1	0.5154
dot_accuracy@3	0.8179
dot_accuracy@5	0.9228
dot_accuracy@10	0.9969
dot_precision@1	0.5154
dot_precision@3	0.2726
dot_precision@5	0.1846
dot_precision@10	0.0997
dot_recall@1	0.5154
dot_recall@3	0.8179
dot_recall@5	0.9228
dot_recall@10	0.9969
dot_ndcg@10	0.7614
dot_mrr@10	0.6851
dot_map@100	0.6853

Training Details

Training Dataset

Unnamed Dataset

Size: 324 training samples
Columns: sentence_0 and sentence_1
Approximate statistics based on the first 324 samples:
sentence_0 sentence_1
type string string
details
min: 17 tokens
mean: 36.64 tokens
max: 92 tokens
min: 128 tokens
mean: 128.0 tokens
max: 128 tokens

Samples:

sentence_0	sentence_1
`Qual é a cidade onde a sede da Universidade Federal da Fronteira Sul está localizada?`	[object Object][object Object][object Object][object Object][object Object][object Object][object Object]A Universidade Federal da Fronteira Sul foi criada pela Lei Nº 12.029, de 15 de setembro de 2009. Tem abrangência interestadual com sede na cidade catarinense de Chapecó, três[object Object]no Rio Grande do Sul – Cerro Largo, Erechim e Passo Fundo – e dois [object Object]no Paraná – Laranjeiras do Sul e Realeza. [object Object][object Object]Avenida Fernando Machado, 108 E [object Object]Bairro Centro – CEP 89802-112 – Chapecó-SC.
`Qual o número da lei que criou a Universidade Federal da Fronteira Sul?`	[object Object][object Object][object Object][object Object][object Object][object Object][object Object]A Universidade Federal da Fronteira Sul foi criada pela Lei Nº 12.029, de 15 de setembro de 2009. Tem abrangência interestadual com sede na cidade catarinense de Chapecó, três[object Object]no Rio Grande do Sul – Cerro Largo, Erechim e Passo Fundo – e dois [object Object]no Paraná – Laranjeiras do Sul e Realeza. [object Object][object Object]Avenida Fernando Machado, 108 E [object Object]Bairro Centro – CEP 89802-112 – Chapecó-SC.
`Qual é o nome do reitor da Universidade Federal da Fronteira Sul (UFFS) e qual cidade é a sede da reitoria da instituição?`	Tem abrangência interestadual com sede na cidade catarinense de Chapecó, três[object Object]no Rio Grande do Sul – Cerro Largo, Erechim e Passo Fundo – e dois [object Object]no Paraná – Laranjeiras do Sul e Realeza. [object Object][object Object]Avenida Fernando Machado, 108 E [object Object]Bairro Centro – CEP 89802-112 – Chapecó-SC. [object Object]: Jaime Giolo [object Object]: Antonio Inácio Andrioli [object Object]: João Alfredo Braida [object Object]: Joviles Vitório Trevisol Pró-Reitor de Extensão e Cultura:Émerson Neves da Silva Pró-Reitor de Administração e Infraestrutura:Péricles Luiz Brustolin [object Object]: Charles Albino Schultz Pró-Reitor de Assuntos Estudantis:Darlan Christiano Kroth Pró-Reitor de Gestão de Pessoas:Marcelo Recktenvald [object Object]Diretora de[object Object]: Lísia Regina Ferreira Michels Coordenadora Administrativa: Ana Cláudia Lara Prado Coordenador Acadêmico: Rosane Rossato Binotto [object Object]Diretor de[object Object]: Ivann Carlos Lago Coordenador Administrativo: Sandro Adriano Schneider Coordenadora Acadêmica: Lauren Lúcia Zamin [object Object]Diretor de[object Object]: Anderson Andre Genro Alves Ribeiro Coordenador Administrativo: Guilhermo Romero Coordenadora Acadêmica: Juçara Spinelli Projeto Pedagógico do Curso de Graduação em Ciência da Computação – Bacharelado [object Object]Diretora de[object Object]: Janete Stoffel, Coordenador Administrativo: Sandro Neckel da Silva Coordenadora Acadêmica: Katia Aparecida Seganfredo [object Object]1 DADOS GERAIS DO CURSO...............................................................................................5 2 HISTÓRICO INSTITUCIONAL.............................................................................................7 3 EQUIPE DE COORDENAÇÃO E DE ELABORAÇÃO DO PPC......................................14 4 JUSTIFICATIVA....................................................................................................................16 5 REFERENCIAIS ORIENTADORES (Ético-políticos, Epistemológicos, Metodológicos e [object Object]Legais).......................................................................................................................................18 6 OBJETIVOS DO CURSO.....................................................................................................23 7 PERFIL DO EGRESSO.........................................................................................................24 8 ORGANIZAÇÃO CURRICULAR........................................................................................26 9 PROCESSO PEDAGÓGICO E DE GESTÃO DO CURSO E PROCESSO DE [object Object]AVALIAÇÃO DO ENSINO-APRENDIZAGEM...................................................................164 10 AUTOAVALIAÇÃO DO CURSO.....................................................................................168 11 ARTICULAÇÃO ENTRE ENSINO, PESQUISA E EXTENSÃO....................................170 12 PERFIL DOCENTE (competências, habilidades, comprometimento, entre outros) E [object Object]PROCESSO DE QUALIFICAÇÃO.......................................................................................172 13 QUADRO DE PESSOAL DOCENTE..............................................................................174 14 INFRAESTRUTURA NECESSÁRIA AO CURSO..........................................................178 15 APÊNDICES......................................................................................................................198 APÊNDICE I - REGULAMENTO DAS ATIVIDADES CURRICULARES [object Object]COMPLEMENTARES DO CURSO DE GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO [object Object]- BACHARELADO................................................................................................................198 APÊNDICE II - REGULAMENTO DE TRABALHO DE CONCLUSÃO DO CURSO DE [object Object]GRADUAÇÃO EM CIÊNCIA DA COMPUTAÇÃO - BACHARELADO..........................210 APÊNDICE III - REGULAMENTO DE APROVEITAMENTO POR EQUIVALÊNCIA DE [object Object]COMPONENTE CURRICULAR CURSADO COM APROVAÇÃO OU VALIDADO NA [object Object]MATRIZ DE 2010 PARA A MATRIZ DE 2018.....................................................................226 [object Object][object Object][object Object][object Object][object Object][object Object][object Object]1.1.

Loss: MultipleNegativesRankingLoss with these parameters:
json
1{ 2 "scale": 20.0, 3 "similarity_fct": "cos_sim" 4}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 10
per_device_eval_batch_size: 10
num_train_epochs: 5
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 10
per_device_eval_batch_size: 10
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
eval_use_gather_object: False
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	cosine_map@100
1.0	33	0.4574
1.5152	50	0.5318
2.0	66	0.5838
3.0	99	0.6365
3.0303	100	0.6386
4.0	132	0.6944
4.5455	150	0.6990
5.0	165	0.6995

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.2.0
Transformers: 4.44.2
PyTorch: 2.4.1+cu121
Accelerate: 0.34.2
Datasets: 3.0.1
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

bibtex

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss