You can deploy this model and start earning money today!

Flashtond22/
Taltos-27B-FP8

Name: Taltos-27B-FP8
Availability: InStock

Flashtond22/Taltos-27B

Views

No views yet

✦ TÁLTOS-27B ✦ FP8

A Táltos-27B FP8 kvantált változata

Ez a Táltos-27B FP8 (W8A8) változata: a súlyok csatornánkénti, az aktivációk tokenenkénti dinamikus skálázással. A méret feleződik, a minőségromlás gyakorlatilag mérhetetlen.

Ez a változat akkor kell, ha egyetlen 40 GB körüli kártyán szeretnéd futtatni. L40S, A6000, A100 40 GB, RTX 6000 Ada.

Indítás

bash

vllm serve Flashtond22/Taltos-27B-FP8 \
  --served-model-name taltos \
  --max-model-len 32768 \
  --reasoning-parser qwen3

python

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="-")

válasz = client.chat.completions.create(
    model="taltos",
    messages=[{"role": "user", "content": "Írj egy udvarias felmondólevelet."}],
)
print(válasz.choices[0].message.content)

Változatok

Változat	Méret	VRAM	Ajánlott hardver
bf16	56 GB	~58 GB	H100, 2 × A100
FP8 (ez)	30 GB	~32 GB	L40S, A6000, A100 40 GB
GGUF	10 GB-tól	12 GB-tól	Ollama, llama.cpp, CPU

A modell leírása, mérési eredményei és használati útmutatója az alap repóban.

✦ TÁLTOS-27B ✦

Magyar fejlesztés