You can deploy this model and start earning money today!

erythropygia/
distilbert-turkish-offensive-analysis

Name: distilbert-turkish-offensive-analysis
Availability: InStock

Views

No views yet

This model performs offensive language detect on Turkish texts. It gives sevent outputs:

0: not_offensive,
1: offensive

python

from transformers import AutoConfig, AutoModelForSequenceClassification, AutoTokenizer
import torch

config = AutoConfig.from_pretrained("erythropygia/distilbert-turkish-offensive-analysis")
tokenizer = AutoTokenizer.from_pretrained("erythropygia/distilbert-turkish-offensive-analysis")
model = AutoModelForSequenceClassification.from_pretrained("erythropygia/distilbert-turkish-offensive-analysis")

import torch
def evaluate(text):
    inputs = tokenizer(text, return_tensors="pt")

    with torch.no_grad():
        outputs = model(**inputs)

    logits = outputs.logits
    softmax_logits = torch.softmax(logits, dim=1)
    max_prob, predicted = torch.max(softmax_logits, dim=1)

    predicted_label = config.id2label[predicted.item()]
    predicted_probability = max_prob.item()
    return predicted_label, predicted_probability

model_data = ["Bu ürünü çok beğendim mağazayı tavsiye ederim.",
              "Bugün çok üzgünüm mülteciler defolun.",
              "Çok memnunum, kesinlikle herkese tavsiye ederim. ayrıca hepsiburada ya süper hızlı gönderim için teşekkür ederim.",
              "2 yıl içerisinde 3 kez servise götürdüm ve hala aynı sorunları devam ediyor. Başka bir ütü deneyin yoksa pişman olursunuz.",
              "izlediğim vakti boşa hacadığımı düşünüorum, o kadar kötüydü malesef...",
              "zenci ne diyosun"]


results = {}

for text in model_data:
    predicted_label, predicted_probability = evaluate(text.lower())
    results[text] = {"label": predicted_label, "probability": predicted_probability}

results


'''
{'Bu ürünü çok beğendim mağazayı tavsiye ederim.': {'label': 'not_offensive',
  'probability': 0.9948445558547974},
 'Çok memnunum, kesinlikle herkese tavsiye ederim. ayrıca hepsiburada ya süper hızlı gönderim için teşekkür ederim.': {'label': 'not_offensive',
  'probability': 0.9955815672874451},
 '2 yıl içerisinde 3 kez servise götürdüm ve hala aynı sorunları devam ediyor. Başka bir ütü deneyin yoksa pişman olursunuz.': {'label': 'not_offensive',
  'probability': 0.991324782371521},
 'izlediğim vakti boşa hacadığımı düşünüorum, o kadar kötüydü malesef...': {'label': 'not_offensive',
  'probability': 0.9884599447250366},
 'zenci ne diyosun': {'label': 'offensive', 'probability': 0.7363277673721313}}
'''