This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
Classification head: a LogisticRegression instance
Maximum Sequence Length: 128 tokens
Number of Classes: 3 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
befürwortend	'Die ePA ist ein wichtiges Tool, um die Zusammenarbeit zwischen verschiedenen Fachrichtungen zu verbessern.' 'Durch die ePA können chronisch Kranke besser betreut werden, da alle relevanten Informationen jederzeit abrufbar sind.' 'Ich sehe in der ePA eine große Chance, um den Austausch von Gesundheitsdaten zu verbessern und so die Behandlungsqualität zu steigern.'
neutral	'Es bleibt abzuwarten, ob die ePA die erhofften Vorteile bringt. Aktuell sehe ich das neutral.' 'Die ePA könnte sinnvoll sein, aber es gibt auch viele kritische Punkte, die bedacht werden müssen.' 'Die ePA könnte eine gute Idee sein, aber es bleibt abzuwarten, wie gut sie umgesetzt wird.'
ablehnend	'Ich lehne die ePA ab, weil ich nicht möchte, dass so viele Informationen über mich zentral gespeichert werden.' 'Die ePA wird als Fortschritt dargestellt, aber sie birgt viele Gefahren, vor allem was die Datensicherheit betrifft.' 'Ich lehne die ePA ab, weil sie mehr Bürokratie für Ärzte und weniger Schutz für Patienten bedeutet.'

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

python

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("setfit_model_id")
# Run inference
preds = model("Ich bin gegen die ePA, weil ich denke, dass sie mehr Probleme schafft, als sie löst.")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	11	17.3492	30

Label	Training Sample Count
ablehnend	21
befürwortend	21
neutral	21

Training Hyperparameters

batch_size: (16, 16)
num_epochs: (2, 2)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 20
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0063	1	0.2404	-
0.3165	50	0.1309	-
0.6329	100	0.0123	-
0.9494	150	0.0027	-
1.2658	200	0.0014	-
1.5823	250	0.0012	-
1.8987	300	0.001	-

Framework Versions

Python: 3.11.8
SetFit: 1.1.3
Sentence Transformers: 5.2.3
Transformers: 4.44.2
PyTorch: 2.10.0
Datasets: 4.6.0
Tokenizers: 0.19.1

Citation

BibTeX

bibtex

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

varvarailyina/setfit_epa_einstellung

SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2