gumush/turkish-finance-llama3.1-8b-lora modelinin Apple Silicon için MLX formatına dönüştürülmüş ve 4-bit quantize edilmiş halidir.
Türkçe finansal piyasalar için özel olarak fine-tune edilmiştir: kripto para, borsa, teknik analiz, temel analiz, risk yönetimi ve finansal regülasyonlar.
1mlx_lm.generate \
2 --model gumush/turkish-finance-llama3.1-8b-mlx-4bit \
3 --prompt "Teknik analizde RSI indikatörü nedir?" \
4 --max-tokens 512
1from mlx_lm import load, generate
2
3model, tokenizer = load("gumush/turkish-finance-llama3.1-8b-mlx-4bit")
4
5SYSTEM_PROMPT = """Sen Türkiye finansal piyasaları konusunda uzmanlaşmış bir yapay zeka asistanısın.
6Görevin kullanıcılara doğru, güncel ve anlaşılır finansal bilgi sağlamaktır.
7SADECE doğruluğundan emin olduğun bilgileri paylaş.
8ASLA uydurma terim, kurum veya düzenleme oluşturma.
9Her finansal bilgi içeren yanıtın sonunda şu uyarıyı ekle:
10'Bu bilgiler genel niteliktedir, yatırım tavsiyesi değildir.
11Kararlarınızdan önce lisanslı bir yatırım danışmanına başvurmanız önerilir.'"""
12
13messages = [
14 {"role": "system", "content": SYSTEM_PROMPT},
15 {"role": "user", "content": "Teknik analizde RSI indikatörü nedir ve nasıl yorumlanır?"}
16]
17
18prompt = tokenizer.apply_chat_template(
19 messages,
20 tokenize=False,
21 add_generation_prompt=True,
22)
23
24response = generate(
25 model,
26 tokenizer,
27 prompt=prompt,
28 max_tokens=512,
29 temp=0.7,
30 top_p=0.9,
31)
32print(response)
1from mlx_lm import load, stream_generate
2
3model, tokenizer = load("gumush/turkish-finance-llama3.1-8b-mlx-4bit")
4
5SYSTEM_PROMPT = "Sen Türkiye finansal piyasaları konusunda uzmanlaşmış bir yapay zeka asistanısın."
6
7while True:
8 user_input = input("\nSoru: ")
9 if user_input.lower() in ["çık", "exit", "q"]:
10 break
11
12 messages = [
13 {"role": "system", "content": SYSTEM_PROMPT},
14 {"role": "user", "content": user_input}
15 ]
16
17 prompt = tokenizer.apply_chat_template(
18 messages,
19 tokenize=False,
20 add_generation_prompt=True,
21 )
22
23 print("\nYanıt: ", end="", flush=True)
24 for token in stream_generate(model, tokenizer, prompt=prompt, max_tokens=512, temp=0.7):
25 print(token, end="", flush=True)
26 print()
1from openai import OpenAI
2
3client = OpenAI(base_url="http://localhost:8080/v1", api_key="not-needed")
4
5response = client.chat.completions.create(
6 model="gumush/turkish-finance-llama3.1-8b-mlx-4bit",
7 messages=[
8 {"role": "system", "content": "Sen Türkiye finansal piyasaları konusunda uzmanlaşmış bir yapay zeka asistanısın."},
9 {"role": "user", "content": "BIST 100 endeksi nedir?"}
10 ],
11 temperature=0.7,
12 max_tokens=512,
13)
14print(response.choices[0].message.content)
1@dataset{turkish-finance-sft,
2 author = {Alican Kiraz},
3 title = {Turkish-Finance-SFT-Dataset},
4 year = {2026},
5 publisher = {HuggingFace},
6 url = {https://huggingface.co/datasets/AlicanKiraz0/Turkish-Finance-SFT-Dataset}
7}
8
9@model{llama3.1,
10 author = {Meta AI},
11 title = {Llama 3.1},
12 year = {2024},
13 publisher = {Meta},
14 url = {https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct}
15}
16
17@software{mlx,
18 author = {Apple},
19 title = {MLX: An array framework for Apple silicon},
20 year = {2023},
21 publisher = {GitHub},
22 url = {https://github.com/ml-explore/mlx}
23}
