It is intended for teams that want to manage deployment, access, and internal distribution from their own namespace while preserving compatibility with the original upstream model ecosystem.

Model Summary

JetLLMPremium-3.5 is a post-trained multimodal autoregressive model with:

397B total parameters
17B activated parameters per token
Causal Language Model with Vision Encoder
262,144 tokens native context length
Extensible context up to 1,010,000 tokens
Support for 201 languages and dialects
Compatibility with Transformers, vLLM, SGLang, and KTransformers

Intended Use

This model is suitable for advanced workloads such as:

multimodal chat assistants
long-context document understanding
agentic workflows
tool-using assistants
multilingual enterprise assistants
coding and reasoning-heavy applications
research and benchmarking

Model Details

Architecture

Model type: Causal Language Model with Vision Encoder
Training stage: Pre-training & Post-training
Total parameters: 397B
Activated parameters: 17B
Hidden dimension: 4096
Number of layers: 60
MoE experts: 512
Activated experts: 10 Routed + 1 Shared
Native context length: 262,144 tokens
Extended context capability: up to 1,010,000 tokens

Ecosystem Compatibility

The upstream model card states compatibility with:

Hugging Face Transformers
vLLM
SGLang
KTransformers

Hardware Requirements

This model is not intended for lightweight local deployment in its original form.

The official upstream documentation does not define a single universal minimum hardware requirement, because actual requirements vary depending on:

inference framework
context length
precision / quantization
batch size
KV cache configuration
whether vision inputs are enabled
latency and throughput goals

Reference Hardware

The upstream Qwen model card provides official serving examples using tensor parallelism across 8 GPUs for both the standard and FP8 variants.

Recommended reference configurations for self-hosted deployment:

Preferred: 8× H200-class GPUs
Alternative: 8× H100-class GPUs, depending on precision, context length, runtime settings, and available memory headroom
Text-only deployments: may reduce memory pressure by disabling the vision encoder with --language-model-only

Note: hardware requirements vary significantly based on precision, context length, KV cache settings, batch size, and whether multimodal inputs are enabled. The configurations above should be treated as practical deployment references rather than universal minimum requirements.

Practical Guidance

Full model deployment

For the original model weights, this model should be treated as a high-end multi-GPU server model.

A practical baseline is:

multiple high-memory datacenter GPUs
fast GPU-to-GPU interconnect preferred
substantial CPU RAM headroom
fast NVMe storage
Linux-based inference environment

Official serving examples

The upstream model card provides serving examples using tensor parallelism across 8 GPUs for both SGLang and vLLM.

That makes 8-GPU deployment the safest reference point to document for standard, non-quantized serving.

Text-only deployment

The upstream vLLM example also documents a --language-model-only option, which skips the vision encoder and multimodal profiling to free more memory for KV cache. This can be useful when your workload is purely text-based.

Recommendation

For most production teams:

start with a dedicated serving stack such as vLLM or SGLang
benchmark with your real context length and batch profile
use text-only mode when vision is not needed
consider optimized / compressed variants for more practical infrastructure usage

Software Requirements

Recommended environment:

Python 3.10+
Linux
CUDA-enabled GPU infrastructure
One of the following runtimes:
- Transformers
- vLLM
- SGLang
- KTransformers

Common dependencies may include:

torch
transformers
torchvision
pillow

Additional runtime-specific packages may be required depending on your serving framework.

Quickstart

Install Transformers:

pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"

Basic loading example:

from transformers import AutoProcessor, AutoModelForImageTextToText

model_id = "Jetlink/JetLLMPremium-3.5"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    trust_remote_code=True,
)

Serving Examples

vLLM

vllm serve Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3

vLLM with Tool Use

vllm serve Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

vLLM text-only mode

vllm serve Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --language-model-only

SGLang

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tp-size 8 \
  --mem-fraction-static 0.8 \
  --context-length 262144 \
  --reasoning-parser qwen3

SGLang with Tool Use

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tp-size 8 \
  --mem-fraction-static 0.8 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder

SGLang with Multi-Token Prediction (MTP)

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tp-size 8 \
  --mem-fraction-static 0.8 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --speculative-algo NEXTN \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4

Long Context Notes

JetLLMPremium-3.5 natively supports 262,144 tokens.

For tasks that exceed this window, the upstream documentation recommends using long-context scaling techniques such as YaRN, which are supported in several frameworks including Transformers, vLLM, KTransformers, and SGLang.

Strengths

very large-capability multimodal model
strong long-context support
MoE design for efficient activated compute relative to total parameter count
broad multilingual support
compatible with modern high-throughput serving frameworks
suitable for advanced agentic and enterprise deployments

Limitations

requires substantial infrastructure
long context significantly increases memory pressure
multimodal usage adds further overhead
original weights are not a good fit for consumer-grade single-GPU environments
deployment characteristics depend heavily on framework and configuration

Out-of-Scope / Cautionary Use

As with other frontier-scale multimodal language models, outputs should be reviewed before use in:

medical decision-making
legal advice
safety-critical automation
high-stakes financial decisions
fully autonomous customer actions without guardrails

Human review, policy controls, and tool-level validation are strongly recommended.

License

This repository follows the same license as the upstream release.

License: Apache-2.0
See the upstream Qwen repository and included license text for the governing terms.

If you redistribute, fine-tune, quantize, or otherwise modify this model, make sure your usage remains compliant with the upstream license and attribution requirements.

Attribution

Original model and research release by the Qwen team.

Upstream model:

Qwen/Qwen3.5-397B-A17B

This repository is an organization-managed copy and is not the original upstream source.

Citation

Please cite the original Qwen release when using this model in research, evaluation, or production documentation.

bibtex

@misc{qwen3.5,
  title        = {Qwen3.5 Technical Report},
  author       = {Qwen Team},
  year         = {2026},
  publisher    = {Alibaba Cloud},
  howpublished = {\url{https://huggingface.co/Qwen/Qwen3.5-397B-A17B}}
}

JetLLMPremium-3.5 (Türkçe)

JetLLMPremium-3.5, Jetlink tarafından yayınlanan büyük ölçekli bir multimodal Mixture-of-Experts modelidir.

Bu depo; modeli kendi namespace'i altında yönetmek, erişimi kontrol etmek ve dağıtımı kolaylaştırmak isteyen ekipler için hazırlanmıştır. Amaç, upstream model ekosistemiyle uyumluluğu koruyarak kurumsal kullanım sağlamaktır.

Model Özeti

JetLLMPremium-3.5, aşağıdaki özelliklere sahip, post-train edilmiş çok kipli (multimodal) otoregresif bir modeldir:

397B toplam parametre
Her token için 17B aktif parametre
Vision Encoder içeren Causal Language Model
262.144 token yerel bağlam uzunluğu
1.010.000 token'a kadar genişletilebilir bağlam
201 dil ve lehçe desteği
Transformers, vLLM, SGLang ve KTransformers ile uyumluluk

Kullanım Amacı

Bu model aşağıdaki gelişmiş kullanım senaryoları için uygundur:

multimodal sohbet asistanları
uzun bağlamlı doküman anlama
agentic workflow yapıları
araç kullanan asistanlar
çok dilli kurumsal asistanlar
kodlama ve yoğun akıl yürütme gerektiren uygulamalar
araştırma ve benchmark çalışmaları

Model Detayları

Mimari

Model tipi: Vision Encoder içeren Causal Language Model
Eğitim aşaması: Pre-training ve Post-training
Toplam parametre: 397B
Aktif parametre: 17B
Hidden dimension: 4096
Katman sayısı: 60
MoE expert sayısı: 512
Aktif expert: 10 Routed + 1 Shared
Yerel bağlam uzunluğu: 262.144 token
Genişletilmiş bağlam kapasitesi: 1.010.000 token'a kadar

Ekosistem Uyumluluğu

Upstream model kartına göre model şu ekosistemlerle uyumludur:

Hugging Face Transformers
vLLM
SGLang
KTransformers

Donanım Gereksinimleri

Bu model, orijinal haliyle hafif yerel kullanım için tasarlanmamıştır.

Resmi upstream dokümantasyonu tek ve evrensel bir minimum donanım gereksinimi belirtmez. Çünkü gerçek ihtiyaçlar şunlara bağlı olarak değişir:

kullanılan inference framework'ü
bağlam uzunluğu
precision / quantization tercihi
batch size
KV cache yapılandırması
vision girdilerinin kullanılıp kullanılmaması
gecikme ve throughput hedefleri

Referans Donanım

Upstream Qwen model kartı, hem standart hem de FP8 varyantları için 8 GPU üzerinde tensor parallelism kullanan resmi serving örnekleri sunmaktadır.

Self-hosted deployment için önerilen referans konfigürasyonlar:

Tercih edilen: 8× H200 sınıfı GPU
Alternatif: precision, bağlam uzunluğu, runtime ayarları ve kullanılabilir bellek payına bağlı olarak 8× H100 sınıfı GPU
Sadece metin tabanlı dağıtımlar: vision encoder --language-model-only ile devre dışı bırakılarak bellek baskısı azaltılabilir

Not: donanım gereksinimleri; precision, bağlam uzunluğu, KV cache ayarları, batch size ve multimodal girişlerin açık olup olmamasına göre ciddi şekilde değişir. Bu nedenle yukarıdaki konfigürasyonlar evrensel minimum gereksinim olarak değil, pratik dağıtım referansı olarak değerlendirilmelidir.

Pratik Rehber

Tam model dağıtımı

Orijinal model ağırlıklarıyla kullanımda bu model, yüksek seviye çoklu GPU sunucu modeli olarak düşünülmelidir.

Pratik bir başlangıç seviyesi şunları içerir:

yüksek belleğe sahip birden fazla datacenter GPU
tercihen hızlı GPU-GPU interconnect
yüksek CPU RAM kapasitesi
hızlı NVMe depolama
Linux tabanlı inference ortamı

Resmi serving örnekleri

Upstream model kartında hem SGLang hem de vLLM için 8 GPU üzerinde tensor parallelism kullanan serving örnekleri bulunmaktadır.

Bu nedenle standart, quantize edilmemiş serving için dokümante edilebilecek en güvenli referans noktası 8 GPU dağıtımıdır.

Sadece metin kullanımı

Upstream vLLM örneğinde ayrıca --language-model-only seçeneği de yer alır. Bu seçenek vision encoder'ı ve multimodal profiling'i devre dışı bırakarak KV cache için daha fazla bellek açar. Sadece metin tabanlı iş yüklerinde faydalı olabilir.

Öneri

Çoğu production ekip için en mantıklı yaklaşım:

vLLM veya SGLang gibi özel bir serving stack ile başlamak
gerçek bağlam uzunluğu ve batch profiliyle benchmark almak
vision gerekmiyorsa text-only modunu kullanmak
daha pratik altyapı için optimize / sıkıştırılmış varyantları değerlendirmek

Yazılım Gereksinimleri

Önerilen ortam:

Python 3.10+
Linux
CUDA destekli GPU altyapısı
Şu runtime'lardan biri:
- Transformers
- vLLM
- SGLang
- KTransformers

Yaygın bağımlılıklar şunları içerebilir:

torch
transformers
torchvision
pillow

Kullandığınız serving framework'üne göre ek bağımlılıklar gerekebilir.

Hızlı Başlangıç

Transformers kurulumu:

pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"

Temel yükleme örneği:

from transformers import AutoProcessor, AutoModelForImageTextToText

model_id = "Jetlink/JetLLMPremium-3.5"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    trust_remote_code=True,
)

Serving Örnekleri

vLLM

vllm serve Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3

vLLM Tool Use ile

vllm serve Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

vLLM sadece metin modu

vllm serve Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --language-model-only

SGLang

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tp-size 8 \
  --mem-fraction-static 0.8 \
  --context-length 262144 \
  --reasoning-parser qwen3

SGLang Tool Use ile

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tp-size 8 \
  --mem-fraction-static 0.8 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder

SGLang Multi-Token Prediction (MTP) ile

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tp-size 8 \
  --mem-fraction-static 0.8 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --speculative-algo NEXTN \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4

Uzun Bağlam Notları

JetLLMPremium-3.5 yerel olarak 262.144 token destekler.

Bu pencereyi aşan görevlerde upstream dokümantasyonu; Transformers, vLLM, KTransformers ve SGLang gibi framework'ler tarafından desteklenen YaRN benzeri uzun bağlam ölçekleme tekniklerini önermektedir.

Güçlü Yönler

çok yüksek kapasiteli multimodal model
güçlü uzun bağlam desteği
toplam parametre sayısına kıyasla verimli aktif hesaplama sağlayan MoE tasarımı
geniş çok dilli destek
modern yüksek throughput serving framework'leriyle uyumluluk
gelişmiş agentic ve kurumsal dağıtımlar için uygunluk

Sınırlamalar

ciddi altyapı gerektirir
uzun bağlam bellek baskısını ciddi şekilde artırır
multimodal kullanım ek hesaplama ve bellek maliyeti getirir
orijinal ağırlıklar consumer-grade tek GPU ortamları için uygun değildir
deployment karakteristiği framework ve konfigürasyona göre ciddi biçimde değişir

Kapsam Dışı / Dikkat Gerektiren Kullanımlar

Diğer frontier-scale multimodal language model'lerde olduğu gibi, model çıktıları şu alanlarda insan denetimi olmadan kullanılmamalıdır:

tıbbi karar verme
hukuki tavsiye
güvenlik kritik otomasyon
yüksek riskli finansal kararlar
korumasız tam otonom müşteri aksiyonları

İnsan incelemesi, politika kontrolleri ve tool seviyesinde doğrulama güçlü şekilde önerilir.

Lisans

Bu depo, upstream sürümle aynı lisansı takip eder.

Lisans: Apache-2.0
Geçerli şartlar için upstream Qwen deposu ve lisans metni incelenmelidir.

Modeli yeniden dağıtıyor, fine-tune ediyor, quantize ediyor veya başka şekilde değiştiriyorsan; kullanımının upstream lisans ve attribution gereklilikleriyle uyumlu olduğundan emin olmalısın.

Atıf

Orijinal model ve araştırma yayını Qwen ekibine aittir.

Upstream model:

Qwen/Qwen3.5-397B-A17B

Bu depo, kurum tarafından yönetilen bir kopyadır ve orijinal upstream kaynak değildir.

Atıf / Citation

Bu modeli araştırma, değerlendirme veya production dokümantasyonunda kullanıyorsan, lütfen orijinal Qwen sürümüne atıf yap.

bibtex

@misc{qwen3.5,
  title        = {Qwen3.5 Technical Report},
  author       = {Qwen Team},
  year         = {2026},
  publisher    = {Alibaba Cloud},
  howpublished = {\url{https://huggingface.co/Qwen/Qwen3.5-397B-A17B}}
}

Jetlink/JetLLMPremium-v1.0-397B-A17B

JetLLMPremium-3.5

Model Summary

Intended Use

Model Details

Architecture

Ecosystem Compatibility

Hardware Requirements

Reference Hardware

Practical Guidance

Full model deployment

Official serving examples

Text-only deployment

Recommendation

Software Requirements

Quickstart

Serving Examples

vLLM

vLLM with Tool Use

vLLM text-only mode

SGLang

SGLang with Tool Use

SGLang with Multi-Token Prediction (MTP)

Long Context Notes

Strengths

Limitations

Out-of-Scope / Cautionary Use

License

Attribution

Citation

JetLLMPremium-3.5 (Türkçe)

Model Özeti

Kullanım Amacı

Model Detayları

Mimari

Ekosistem Uyumluluğu

Donanım Gereksinimleri

Referans Donanım

Pratik Rehber

Tam model dağıtımı

Resmi serving örnekleri

Sadece metin kullanımı

Öneri

Yazılım Gereksinimleri

Hızlı Başlangıç

Serving Örnekleri

vLLM

vLLM Tool Use ile

vLLM sadece metin modu

SGLang

SGLang Tool Use ile

SGLang Multi-Token Prediction (MTP) ile

Uzun Bağlam Notları

Güçlü Yönler

Sınırlamalar

Kapsam Dışı / Dikkat Gerektiren Kullanımlar

Lisans

Atıf

Atıf / Citation

Jetlink/
JetLLMPremium-v1.0-397B-A17B