This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
Classification head: a LogisticRegression instance
Maximum Sequence Length: 128 tokens
Number of Classes: 3 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
2	'Ich habe noch keine klare Meinung zur ePA. Die Zeit wird zeigen, ob sie hält, was sie verspricht.' 'Die ePA könnte sinnvoll sein, aber es gibt auch viele kritische Punkte, die bedacht werden müssen.' 'Ob die ePA wirklich nützlich ist, wird sich erst in der Praxis zeigen. Bis dahin bin ich unentschlossen.'
0	'Die ePA wird langfristig dazu führen, dass Ärzte besser informierte Entscheidungen treffen können, was die Behandlungsqualität steigert.' 'Mit der ePA wird das Gesundheitssystem digitaler und effizienter. Das ist ein längst überfälliger Fortschritt.' 'Ich begrüße die Einführung der ePA, weil sie die Kommunikation zwischen verschiedenen Fachärzten erleichtert und so die Behandlung optimiert.'
1	'Ich bin skeptisch, dass die ePA wirklich so sicher ist, wie behauptet wird. Die Risiken überwiegen für mich.' 'Ich finde die ePA unnötig kompliziert und potenziell gefährlich. Wer garantiert, dass die Daten nicht gehackt werden?' 'Ich habe kein Vertrauen in die ePA, weil es zu viele ungelöste Probleme gibt, besonders was den Datenschutz betrifft.'

Evaluation

Metrics

Label	Accuracy
all	0.8889

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

python

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("setfit_model_id")
# Run inference
preds = model("Ich sehe in der ePA die Zukunft der Gesundheitsversorgung. Sie ermöglicht eine vernetzte, ganzheitliche Betreuung.")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	13	17.1746	30

Label	Training Sample Count
0	21
1	21
2	21

Training Hyperparameters

batch_size: (16, 16)
num_epochs: (3, 3)
max_steps: -1
sampling_strategy: oversampling
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0060	1	0.1436	-
0.3012	50	0.1349	-
0.6024	100	0.0123	-
0.9036	150	0.0025	-
1.2048	200	0.0014	-
1.5060	250	0.0009	-
1.8072	300	0.0007	-
2.1084	350	0.0006	-
2.4096	400	0.0006	-
2.7108	450	0.0005	-

Framework Versions

Python: 3.12.12
SetFit: 1.1.3
Sentence Transformers: 5.2.3
Transformers: 4.44.2
PyTorch: 2.10.0
Datasets: 4.6.0
Tokenizers: 0.19.1

Citation

BibTeX

bibtex

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

lino-zurmuehl/setfit-epa-stance

SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2