You can deploy this model and start earning money today!

RichardErkhov/
Metin_-_LLaMA-3-8B-Instruct-TR-DPO-gguf

Name: Metin_-_LLaMA-3-8B-Instruct-TR-DPO-gguf
Availability: InStock

Views

No views yet

Quantization made by Richard Erkhov.

Github

Discord

Request more models

LLaMA-3-8B-Instruct-TR-DPO - GGUF

Model creator: https://huggingface.co/Metin/
Original model: https://huggingface.co/Metin/LLaMA-3-8B-Instruct-TR-DPO/

Name	Quant method	Size
LLaMA-3-8B-Instruct-TR-DPO.Q2_K.gguf	Q2_K	2.96GB
LLaMA-3-8B-Instruct-TR-DPO.IQ3_XS.gguf	IQ3_XS	3.28GB
LLaMA-3-8B-Instruct-TR-DPO.IQ3_S.gguf	IQ3_S	3.43GB
LLaMA-3-8B-Instruct-TR-DPO.Q3_K_S.gguf	Q3_K_S	3.41GB
LLaMA-3-8B-Instruct-TR-DPO.IQ3_M.gguf	IQ3_M	3.52GB
LLaMA-3-8B-Instruct-TR-DPO.Q3_K.gguf	Q3_K	3.74GB
LLaMA-3-8B-Instruct-TR-DPO.Q3_K_M.gguf	Q3_K_M	3.74GB
LLaMA-3-8B-Instruct-TR-DPO.Q3_K_L.gguf	Q3_K_L	4.03GB
LLaMA-3-8B-Instruct-TR-DPO.IQ4_XS.gguf	IQ4_XS	4.18GB
LLaMA-3-8B-Instruct-TR-DPO.Q4_0.gguf	Q4_0	4.34GB
LLaMA-3-8B-Instruct-TR-DPO.IQ4_NL.gguf	IQ4_NL	4.38GB
LLaMA-3-8B-Instruct-TR-DPO.Q4_K_S.gguf	Q4_K_S	4.37GB
LLaMA-3-8B-Instruct-TR-DPO.Q4_K.gguf	Q4_K	4.58GB
LLaMA-3-8B-Instruct-TR-DPO.Q4_K_M.gguf	Q4_K_M	4.58GB
LLaMA-3-8B-Instruct-TR-DPO.Q4_1.gguf	Q4_1	4.78GB
LLaMA-3-8B-Instruct-TR-DPO.Q5_0.gguf	Q5_0	5.21GB
LLaMA-3-8B-Instruct-TR-DPO.Q5_K_S.gguf	Q5_K_S	5.21GB
LLaMA-3-8B-Instruct-TR-DPO.Q5_K.gguf	Q5_K	5.34GB
LLaMA-3-8B-Instruct-TR-DPO.Q5_K_M.gguf	Q5_K_M	5.34GB
LLaMA-3-8B-Instruct-TR-DPO.Q5_1.gguf	Q5_1	5.65GB
LLaMA-3-8B-Instruct-TR-DPO.Q6_K.gguf	Q6_K	6.14GB
LLaMA-3-8B-Instruct-TR-DPO.Q8_0.gguf	Q8_0	7.95GB

Original model description:

license: llama3 language:

tr pipeline_tag: text-generation base_model: meta-llama/Meta-Llama-3-8B-Instruct

model-index:

name: LLaMA-3-8B-Instruct-TR-DPO results:
- task: type: multiple-choice dataset: type: multiple-choice name: MMLU_TR_V0.2 metrics:
  - name: 5-shot type: 5-shot value: 0.4983 verified: false
- task: type: multiple-choice dataset: type: multiple-choice name: Truthful_QA_V0.2 metrics:
  - name: 0-shot type: 0-shot value: 0.5232 verified: false
- task: type: multiple-choice dataset: type: multiple-choice name: ARC_TR_V0.2 metrics:
  - name: 25-shot type: 25-shot value: 0.4437 verified: false
- task: type: multiple-choice dataset: type: multiple-choice name: HellaSwag_TR_V0.2 metrics:
  - name: 10-shot type: 10-shot value: 0.4558 verified: false
- task: type: multiple-choice dataset: type: multiple-choice name: GSM8K_TR_V0.2 metrics:
  - name: 5-shot type: 5-shot value: 0.5421 verified: false
- task: type: multiple-choice dataset: type: multiple-choice name: Winogrande_TR_V0.2 metrics:
  - name: 5-shot type: 5-shot value: 0.5506 verified: false

LLaMA-3-8B-Instruct-TR-DPO

LLaMA-3-8B-Instruct-TR-DPO is a finetuned version of Meta-LLaMA-3-8B-Instruct, which has been trained on a preference dataset generated synthetically.

Training Info

Base Model: Meta-LLaMA-3-8B-Instruct
Training Data: A synthetically generated preference dataset consisting of 10K samples was used. No proprietary data was utilized.
Training Time: 3 hours on a single RTX 6000 Ada
QLoRA Configs:
- lora_r: 64
- lora_alpha: 32
- lora_dropout: 0.05
- lora_target_linear: true

The aim was to finetune the model to enhance the output format and content quality for the Turkish language. It is not necessarily smarter than the base model, but its outputs are more likable and preferable.

Compared to the base model, LLaMA-3-8B-Instruct-TR-DPO is more fluent and coherent in Turkish. It can generate more informative and detailed answers for a given instruction.

It should be noted that the model will still generate incorrect or nonsensical outputs, so please verify the outputs before using them.

How to use

You can use the below code snippet to use the model:

python

from transformers import BitsAndBytesConfig
import transformers
import torch

bnb_config = BitsAndBytesConfig(
            load_in_4bit=True,
            bnb_4bit_use_double_quant=True,
            bnb_4bit_quant_type="nf4",
            bnb_4bit_compute_dtype=torch.bfloat16
)

model_id = "Metin/LLaMA-3-8B-Instruct-TR-DPO"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16 ,'quantization_config': bnb_config},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a helpful assistant. Always reply in Turkish."},
    {"role": "user", "content": "Python'da bir öğenin bir listede geçip geçmediğini nasıl kontrol edebilirim?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=512,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.2,
    top_p=0.9,
)

print(outputs[0]["generated_text"][len(prompt):])

OpenLLMTurkishLeaderboard_v0.2 benchmark results

MMLU_TR_V0.2: 49.83%
Truthful_QA_TR_V0.2: 52.32%
ARC_TR_V0.2: 44.37%
HellaSwag_TR_V0.2: 45.58%
GSM8K_TR_V0.2: 54.21%
Winogrande_TR_V0.2: 55.06%
Average: 50.22%

These scores may differ from what you will get when you run the same benchmarks, as I did not use any inference engine (vLLM, TensorRT-LLM, etc.)

Output Example (DPO Model vs Base Model)

Testing the model with a single example is not an accurate method. However, an example is provided here to showcase the model's capabilities.

Model: LLaMA-3-8B-Instruct-TR-DPO

Input

Yeni bir derin öğrenme modelinin tanıtımı için bir etkinlik planı hazırla.

Output

plaintext

Harika bir fikir!

Etkinlik Planı: "Deep Learning Modeli Tanıtımı"

**Adım 1: Ön-Başlangıç**

* Konuşma konusu: "Deep Learning Modeli Tanıtımı"
* Katılımcı profili: Bilimsel ve teknoloji odaklı profesyoneller, öğrenciler ve araştırmacılar
* Etkinlik süresi: 2 saat

**Adım 2: Giriş**

* Sunum: "Deep Learning Modeli Tanıtımı: Tarihçesi ve Temelleri"
* Sunum içeriği: Deep learning modelinin tarihi, temel kavramları (örneğin, ANN, CNN, RNN), uygulamaları ve avantajları
* Sunum süresi: 30 dakika

**Adım 3: Modelin Çalışma Örnekleri**

* Sunum: "Deep Learning Modelinin Çalışma Örnekleri"
* Sunum içeriği: Modelin uygulamaları (örneğin, görüntü sınıflandırma, doğal dil işleme, makine öğrenimi)
* Sunum süresi: 45 dakika

**Adım 4: Katılımcı Soruları ve Tartışma**

* Katılımcı sorularına cevap verme
* Tartışma: Modelin avantajları ve dezavantajları, uygulamaları ve gelecekteki gelişmeleri

**Adım 5: Sonuç**

* Sunum: "Deep Learning Modelinin Sonuçları"
* Sunum içeriği: Modelin sonuçları, uygulamaları ve gelecekteki gelişmeleri
* Sunum süresi: 15 dakika

**Etkinlik Notları**

* Sunumlar ve tartışmalar için gerekli malzemeleri hazırlayın
* Katılımcıların sorularına cevap verme için yeterli zaman ayırın
* Etkinlik sonrası katılımcıların geri bildirimlerini alın

Umarım bu etkinlik planı sizin için yardımcı olur!

Model: LLaMA-3-8B-Instruct

Input

plaintext

Harika bir fikir! Aşağıdaki etkinlik planını hazırladım:

**Etkinlik Adı:** "Derin Öğrenme Modelinin Tanıtımı"

**Etkinlik Amacı:** Derin öğrenme modelinin tanıtımı ve uygulamaları hakkında bilgi sahibi olmak.

**Etkinlik Planı:**

1. **Giriş:** Derin öğrenme modelinin tanıtımı ve önemi hakkında kısa bir konuşma.
2. **Teorik Bölüm:** Derin öğrenme modelinin teorik temelleri ve çalışma prensipleri hakkında sunum.
3. **Uygulama Bölüm:** Derin öğrenme modelinin uygulamaları ve başarıları hakkında sunum.
4. **Pratik Bölüm:** Derin öğrenme modelinin pratik uygulamaları ve deneyimi hakkında sunum.
5. **Soru-Cevap Bölüm:** Derin öğrenme modelinin sorularına cevap verme.
6. **Sonuç Bölüm:** Derin öğrenme modelinin tanıtımı ve uygulamaları hakkında sonuç ve tavsiye.

**Etkinlik Malzemeleri:**

* Sunum araçları (slaj, powerpoint, vs.)
* Derin öğrenme modelinin uygulamaları hakkında örnekler ve grafikler
* Derin öğrenme modelinin teorik temelleri hakkında kitap ve makaleler
* Derin öğrenme modelinin pratik uygulamaları hakkında deneyimi hakkında sunum

**Etkinlik Süresi:** 2 saat

**Katılımcı Sayısı:** 20-30 kişi

**Etkinlik Yeri:** Bilimsel toplantı salonu veya online platform

**Etkinlik Tarih ve Saati:** 10:00-12:00

**Etkinlik Dili:** Türkçe

**Etkinlik Katılımcıları:** Bilimsel toplantı salonunda veya online platformda katılımcılar.

**Etkinlik Sonuçları:** Derin öğrenme modelinin tanıtımı ve uygulamaları hakkında bilgi sahibi olmak.

**Etkinlik Tavsiyesi:** Derin öğrenme modelinin tanıtımı ve uygulamaları hakkında bilgi sahibi olmak.

RichardErkhov/Metin_-_LLaMA-3-8B-Instruct-TR-DPO-gguf

Original model description:

LLaMA-3-8B-Instruct-TR-DPO

Training Info

How to use

OpenLLMTurkishLeaderboard_v0.2 benchmark results

Output Example (DPO Model vs Base Model)

Model: LLaMA-3-8B-Instruct-TR-DPO

Input

Output

Model: LLaMA-3-8B-Instruct

Input

RichardErkhov/
Metin_-_LLaMA-3-8B-Instruct-TR-DPO-gguf