It is intended for teams that want to manage deployment, access, and internal distribution from their own namespace while preserving compatibility with the original upstream model ecosystem.

Model Summary

JetLLMPlus-3.5 is a 122B total / 10B active parameter multimodal MoE model with:

122B total parameters, 10B activated per token
Causal Language Model with Vision Encoder
Hybrid architecture: Gated DeltaNet (36 layers) + Full Attention (12 layers) + Sparse MoE
256 routed experts + 1 shared expert per layer
262,144 tokens native context length
Extensible context up to 1,010,000 tokens via YaRN
Support for 201 languages and dialects
Compatibility with Transformers, vLLM, SGLang, and KTransformers

Intended Use

This model is suitable for advanced workloads such as:

multimodal chat assistants
long-context document and PDF understanding
OCR, chart comprehension, and document extraction pipelines
reasoning and step-by-step problem solving
agentic workflows with function calling
coding assistants and code generation
GUI automation and screen understanding
multilingual enterprise assistants
research and benchmarking

Model Details

Architecture

Model type: Causal Language Model with Vision Encoder
Training stage: Pre-training & Post-training
Total parameters: 122B
Activated parameters: 10B per token
Hidden dimension: 3,072
Number of layers: 48 (36 GatedDeltaNet linear attention + 12 full attention)
MoE experts: 256 routed + 1 shared per layer
Activated experts: 8 routed + 1 shared
Expert FFN dimension: 1,024
Vocabulary size: 248,320
Native context length: 262,144 tokens
Extended context capability: up to 1,010,000 tokens via YaRN

Architecture Note: Hybrid Attention (GatedDeltaNet + MoE)

JetLLMPlus-3.5 uses a novel hybrid attention design unique to the Qwen3.5 architecture. Unlike standard transformer MoE models, it combines:

GatedDeltaNet linear attention (36 out of 48 layers) for efficient long-context processing with sub-quadratic complexity
Full global attention (12 layers) for high-quality token interactions
Sparse MoE routing in feed-forward layers for parameter efficiency

This design delivers high-throughput inference with significantly lower latency than pure full-attention models of comparable total parameter count.

⚠️ Deployment note: The GatedDeltaNet layers impose additional constraints compared to standard MoE models. When serving with SGLang, --attention-backend triton and --kv-cache-dtype bf16 are required. FP8 KV cache is not recommended due to potential output corruption on this architecture. CUDA graph and HiCache (prefix caching) are currently incompatible with DeltaNet layers.

Ecosystem Compatibility

Hugging Face Transformers
vLLM
SGLang
KTransformers

Hardware Requirements

JetLLMPlus-3.5 sits between the lightweight 35B-A3B and the flagship 397B-A17B, requiring multi-GPU infrastructure at full precision but manageable on 2–4 datacenter GPUs.

Reference Hardware

Approximate GPU memory requirements:

Unquantized (BF16): ~244GB VRAM — 3–4× A100 80GB or equivalent
FP8: ~127GB — 2× A100 80GB or equivalent
GPTQ-Int4: ~79GB — 1× H100 80GB or 2× A100 40GB
Multi-GPU: tensor parallelism recommended via vLLM or SGLang (--tp-size 4 or --tp-size 8)

Note: requirements vary significantly based on context length, KV cache settings, and batch size. FP8 KV cache should be avoided for this model due to DeltaNet architecture constraints — use BF16 KV.

Recommendation

For most production teams:

use FP8 weights + BF16 KV for the best balance of memory and quality
use GPTQ-Int4 for single-GPU or memory-constrained deployments
enable MTP (Multi-Token Prediction) for the highest throughput gains — this is the primary optimization path for this model's architecture
use --language-model-only when vision is not needed to free KV cache memory

Software Requirements

Recommended environment:

Python 3.10+
Linux
CUDA-enabled GPU infrastructure
One of the following runtimes:
- Transformers (latest from main branch)
- vLLM
- SGLang
- KTransformers

Common dependencies:

torch
transformers
torchvision
pillow
accelerate

Quickstart

Install Transformers:

pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"

Basic text inference

from transformers import AutoProcessor, AutoModelForImageTextToText
import torch

model_id = "Jetlink/JetLLMPlus-3.5"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)

messages = [
    {"role": "user", "content": [{"type": "text", "text": "Explain the difference between MoE and dense models."}]}
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt"
).to(model.device)

output = model.generate(**inputs, max_new_tokens=512)
print(processor.decode(output[0], skip_special_tokens=True))

Thinking mode (deep reasoning)

Enable step-by-step reasoning with enable_thinking=True:

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt",
    enable_thinking=True,
).to(model.device)

Non-thinking mode (direct response)

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt",
    enable_thinking=False,
).to(model.device)

Serving Examples

vLLM

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3

vLLM with Tool Use

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

vLLM with MTP (Multi-Token Prediction)

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'

vLLM text-only mode

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --language-model-only

SGLang

⚠️ DeltaNet layers require additional flags. Use --attention-backend triton and --kv-cache-dtype bf16.

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tp-size 4 \
  --mem-fraction-static 0.80 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --attention-backend triton \
  --kv-cache-dtype bf16 \
  --disable-cuda-graph \
  --disable-radix-cache

SGLang with Tool Use

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tp-size 4 \
  --mem-fraction-static 0.80 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --attention-backend triton \
  --kv-cache-dtype bf16 \
  --disable-cuda-graph \
  --disable-radix-cache

SGLang with Multi-Token Prediction (MTP)

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tp-size 4 \
  --mem-fraction-static 0.80 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --attention-backend triton \
  --kv-cache-dtype bf16 \
  --disable-cuda-graph \
  --disable-radix-cache \
  --speculative-algo NEXTN \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4

Long Context Notes

JetLLMPlus-3.5 natively supports 262,144 tokens.

For tasks exceeding this window, the upstream documentation recommends YaRN-based long-context scaling, supported in Transformers, vLLM, KTransformers, and SGLang, extending context up to 1,010,000 tokens.

The hybrid GatedDeltaNet + full-attention architecture provides sub-quadratic scaling for long-context inputs on the linear attention layers, making long-context processing more efficient than pure full-attention models of similar scale.

Strengths

very strong knowledge and vision benchmarks in the open-weight mid-tier class
best-in-class document understanding (OCRBench 92.1, OmniDocBench 89.8)
leading function calling performance in the Qwen3.5 lineup (BFCL-V4 72.2)
strong GUI and screen automation capabilities (ScreenSpot Pro 70.4)
highly efficient inference thanks to MoE — only 10B parameters activate per token
hybrid DeltaNet attention for efficient long-context processing
262K native context, extensible to 1M via YaRN
201 language support
Apache 2.0 license

Limitations

full weight matrix (122B) must reside in memory regardless of active parameters
GatedDeltaNet layers impose framework-specific constraints (no FP8 KV, no CUDA graph, no prefix caching in SGLang)
multi-GPU deployment required for unquantized serving
long context significantly increases KV cache memory pressure
multimodal usage adds further overhead
deployment characteristics vary significantly by framework and configuration

Out-of-Scope / Cautionary Use

As with other frontier-scale multimodal language models, outputs should be reviewed before use in:

medical decision-making
legal advice
safety-critical automation
high-stakes financial decisions
fully autonomous customer actions without guardrails

Human review, policy controls, and tool-level validation are strongly recommended.

License

This repository follows the same license as the upstream release.

License: Apache-2.0
See the upstream Qwen repository and included license text for the governing terms.

If you redistribute, fine-tune, quantize, or otherwise modify this model, make sure your usage remains compliant with the upstream license and attribution requirements.

Attribution

Original model and research release by the Qwen team.

Upstream model:

Qwen/Qwen3.5-122B-A10B

This repository is an organization-managed copy and is not the original upstream source.

Citation

Please cite the original Qwen release when using this model in research, evaluation, or production documentation.

bibtex

@misc{qwen3.5,
  title        = {Qwen3.5 Technical Report},
  author       = {Qwen Team},
  year         = {2026},
  publisher    = {Alibaba Cloud},
  howpublished = {\url{https://huggingface.co/Qwen/Qwen3.5-122B-A10B}}
}

JetLLMPlus-3.5 (Türkçe)

JetLLMPlus-3.5, Jetlink tarafından yayınlanan multimodal bir Mixture-of-Experts modelidir.

Bu depo; modeli kendi namespace'i altında yönetmek, erişimi kontrol etmek ve dağıtımı kolaylaştırmak isteyen ekipler için hazırlanmıştır.

Model Özeti

JetLLMPlus-3.5, token başına 10B parametre aktive eden 122B toplam parametreli bir multimodal MoE modelidir:

122B toplam parametre, token başına 10B aktif
Vision Encoder içeren Causal Language Model
Hibrit mimari: Gated DeltaNet (36 katman) + Tam Dikkat (12 katman) + Sparse MoE
Katman başına 256 routed expert + 1 shared expert
262.144 token yerel bağlam uzunluğu
YaRN ile 1.010.000 token'a kadar genişletilebilir bağlam
201 dil ve lehçe desteği
Transformers, vLLM, SGLang ve KTransformers ile uyumluluk

Kullanım Amacı

Bu model aşağıdaki gelişmiş kullanım senaryoları için uygundur:

multimodal sohbet asistanları
uzun bağlamlı doküman ve PDF anlama
OCR, grafik anlama ve doküman çıkarma pipeline'ları
adım adım akıl yürütme ve problem çözme
function calling ile agentic workflow yapıları
kodlama asistanları ve kod üretimi
GUI otomasyon ve ekran anlama
çok dilli kurumsal asistanlar
araştırma ve benchmark çalışmaları

Model Detayları

Mimari

Model tipi: Vision Encoder içeren Causal Language Model
Eğitim aşaması: Pre-training ve Post-training
Toplam parametre: 122B
Aktif parametre: Token başına 10B
Hidden dimension: 3.072
Katman sayısı: 48 (36 GatedDeltaNet lineer dikkat + 12 tam dikkat)
MoE expert sayısı: Katman başına 256 routed + 1 shared
Aktif expert: 8 routed + 1 shared
Expert FFN boyutu: 1.024
Vocabulary size: 248.320
Yerel bağlam uzunluğu: 262.144 token
Genişletilmiş bağlam kapasitesi: YaRN ile 1.010.000 token'a kadar

Mimari Notu: Hibrit Dikkat (GatedDeltaNet + MoE)

JetLLMPlus-3.5, Qwen3.5 mimarisine özgü yenilikçi bir hibrit dikkat tasarımı kullanır. Standart transformer MoE modellerinden farklı olarak şunları birleştirir:

GatedDeltaNet lineer dikkat (48 katmandan 36'sı): sub-quadratic karmaşıklıkla verimli uzun bağlam işleme
Tam global dikkat (12 katman): yüksek kaliteli token etkileşimleri
Sparse MoE routing: parametre verimliliği için feed-forward katmanlarında

Bu tasarım, benzer toplam parametre sayısına sahip tam-dikkat modellerine kıyasla çok daha düşük gecikmeyle yüksek throughput inference sağlar.

⚠️ Deployment notu: GatedDeltaNet katmanları, standart MoE modellerine kıyasla ek kısıtlamalar getirir. SGLang ile servis ederken --attention-backend triton ve --kv-cache-dtype bf16 zorunludur. FP8 KV cache bu mimaride output bozulmasına yol açabileceğinden önerilmez. CUDA graph ve HiCache (prefix caching) DeltaNet katmanlarıyla uyumsuzluk nedeniyle devre dışı bırakılmalıdır.

Ekosistem Uyumluluğu

Hugging Face Transformers
vLLM
SGLang
KTransformers

Donanım Gereksinimleri

JetLLMPlus-3.5, hafif 35B-A3B ile flagship 397B-A17B arasında konumlanmaktadır. Tam hassasiyette çoklu GPU altyapısı gerektirir ancak 2–4 datacenter GPU ile yönetilebilir düzeydedir.

Referans Donanım

Tahmini GPU bellek gereksinimleri:

Quantize edilmemiş (BF16): ~244GB VRAM — 3–4× A100 80GB veya eşdeğeri
FP8: ~127GB — 2× A100 80GB veya eşdeğeri
GPTQ-Int4: ~79GB — 1× H100 80GB veya 2× A100 40GB
Çoklu GPU: vLLM veya SGLang üzerinden tensor parallelism önerilir (--tp-size 4 veya --tp-size 8)

Not: Gereksinimler bağlam uzunluğu, KV cache ayarları ve batch size'a göre önemli ölçüde değişir. Bu model için FP8 KV cache, DeltaNet mimari kısıtlamaları nedeniyle önerilmez — BF16 KV kullanın.

Öneri

Çoğu production ekip için en mantıklı yaklaşım:

en iyi bellek/kalite dengesi için FP8 ağırlık + BF16 KV kullanmak
tek GPU veya bellek kısıtlı dağıtımlar için GPTQ-Int4 kullanmak
en yüksek throughput kazanımı için MTP (Multi-Token Prediction) etkinleştirmek — bu modelin mimarisinde birincil optimizasyon yoludur
vision gerekmiyorsa KV cache belleği açmak için --language-model-only kullanmak

Yazılım Gereksinimleri

Önerilen ortam:

Python 3.10+
Linux
CUDA destekli GPU altyapısı
Şu runtime'lardan biri:
- Transformers (en son main branch)
- vLLM
- SGLang
- KTransformers

Yaygın bağımlılıklar:

torch
transformers
torchvision
pillow
accelerate

Hızlı Başlangıç

Transformers kurulumu:

pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"

Temel metin çıkarımı

from transformers import AutoProcessor, AutoModelForImageTextToText
import torch

model_id = "Jetlink/JetLLMPlus-3.5"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)

messages = [
    {"role": "user", "content": [{"type": "text", "text": "MoE ve dense modeller arasındaki farkı açıkla."}]}
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt"
).to(model.device)

output = model.generate(**inputs, max_new_tokens=512)
print(processor.decode(output[0], skip_special_tokens=True))

Thinking modu (derin akıl yürütme)

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt",
    enable_thinking=True,
).to(model.device)

Non-thinking modu (doğrudan yanıt)

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt",
    enable_thinking=False,
).to(model.device)

Serving Örnekleri

vLLM

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3

vLLM Tool Use ile

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

vLLM MTP ile

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'

vLLM sadece metin modu

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --language-model-only

SGLang

⚠️ DeltaNet katmanları ek flag gerektirmektedir. --attention-backend triton ve --kv-cache-dtype bf16 zorunludur.

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tp-size 4 \
  --mem-fraction-static 0.80 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --attention-backend triton \
  --kv-cache-dtype bf16 \
  --disable-cuda-graph \
  --disable-radix-cache

SGLang Tool Use ile

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tp-size 4 \
  --mem-fraction-static 0.80 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --attention-backend triton \
  --kv-cache-dtype bf16 \
  --disable-cuda-graph \
  --disable-radix-cache

SGLang Multi-Token Prediction (MTP) ile

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tp-size 4 \
  --mem-fraction-static 0.80 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --attention-backend triton \
  --kv-cache-dtype bf16 \
  --disable-cuda-graph \
  --disable-radix-cache \
  --speculative-algo NEXTN \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4

Uzun Bağlam Notları

JetLLMPlus-3.5 yerel olarak 262.144 token destekler.

Bu pencereyi aşan görevlerde Transformers, vLLM, KTransformers ve SGLang tarafından desteklenen YaRN tabanlı uzun bağlam ölçekleme ile 1.010.000 token'a kadar genişletilebilir.

Hibrit GatedDeltaNet + tam dikkat mimarisi, lineer dikkat katmanlarında uzun bağlam girdileri için sub-quadratic ölçekleme sağlayarak benzer ölçekteki saf tam dikkat modellerine kıyasla uzun bağlam işlemeyi daha verimli hale getirir.

Güçlü Yönler

açık ağırlıklı orta kademe sınıfında çok güçlü bilgi ve vision benchmark'ları
en iyi sınıf doküman anlama (OCRBench 92.1, OmniDocBench 89.8)
Qwen3.5 serisinde öncü function calling performansı (BFCL-V4 72.2)
güçlü GUI ve ekran otomasyon yetenekleri (ScreenSpot Pro 70.4)
MoE sayesinde yüksek verimli inference — token başına yalnızca 10B parametre aktive edilir
verimli uzun bağlam işleme için hibrit DeltaNet dikkat
YaRN ile 262K yerel bağlam, 1M'a genişletilebilir
201 dil desteği
Apache 2.0 lisansı

Sınırlamalar

aktif parametrelerden bağımsız olarak tam ağırlık matrisi (122B) bellekte tutulmalıdır
GatedDeltaNet katmanları framework'e özgü kısıtlamalar getirir (FP8 KV yok, CUDA graph yok, SGLang'da prefix caching yok)
quantize edilmemiş serving için çoklu GPU dağıtımı gereklidir
uzun bağlam KV cache bellek baskısını ciddi ölçüde artırır
multimodal kullanım ek yük getirir
deployment karakteristiği framework ve konfigürasyona göre önemli ölçüde değişir

Kapsam Dışı / Dikkat Gerektiren Kullanımlar

Diğer frontier-scale multimodal language model'lerde olduğu gibi, model çıktıları şu alanlarda insan denetimi olmadan kullanılmamalıdır:

tıbbi karar verme
hukuki tavsiye
güvenlik kritik otomasyon
yüksek riskli finansal kararlar
korumasız tam otonom müşteri aksiyonları

İnsan incelemesi, politika kontrolleri ve tool seviyesinde doğrulama güçlü şekilde önerilir.

Lisans

Bu depo, upstream sürümle aynı lisansı takip eder.

Lisans: Apache-2.0
Geçerli şartlar için upstream Qwen deposu ve lisans metni incelenmelidir.

Modeli yeniden dağıtıyor, fine-tune ediyor, quantize ediyor veya başka şekilde değiştiriyorsan; kullanımının upstream lisans ve attribution gereklilikleriyle uyumlu olduğundan emin olmalısın.

Atıf

Orijinal model ve araştırma yayını Qwen ekibine aittir.

Upstream model:

Qwen/Qwen3.5-122B-A10B

Bu depo, kurum tarafından yönetilen bir kopyadır ve orijinal upstream kaynak değildir.

Atıf / Citation

Bu modeli araştırma, değerlendirme veya production dokümantasyonunda kullanıyorsan, lütfen orijinal Qwen sürümüne atıf yap.

bibtex

@misc{qwen3.5,
  title        = {Qwen3.5 Technical Report},
  author       = {Qwen Team},
  year         = {2026},
  publisher    = {Alibaba Cloud},
  howpublished = {\url{https://huggingface.co/Qwen/Qwen3.5-122B-A10B}}
}

Jetlink/JetLLMPlus-v1.0-122B-A10B

JetLLMPlus-3.5

Model Summary

Intended Use

Model Details

Architecture

Architecture Note: Hybrid Attention (GatedDeltaNet + MoE)

Ecosystem Compatibility

Hardware Requirements

Reference Hardware

Recommendation

Software Requirements

Quickstart

Basic text inference

Thinking mode (deep reasoning)

Non-thinking mode (direct response)

Serving Examples

vLLM

vLLM with Tool Use

vLLM with MTP (Multi-Token Prediction)

vLLM text-only mode

SGLang

SGLang with Tool Use

SGLang with Multi-Token Prediction (MTP)

Long Context Notes

Strengths

Limitations

Out-of-Scope / Cautionary Use

License

Attribution

Citation

JetLLMPlus-3.5 (Türkçe)

Model Özeti

Kullanım Amacı

Model Detayları

Mimari

Mimari Notu: Hibrit Dikkat (GatedDeltaNet + MoE)

Ekosistem Uyumluluğu

Donanım Gereksinimleri

Referans Donanım

Öneri

Yazılım Gereksinimleri

Hızlı Başlangıç

Temel metin çıkarımı

Thinking modu (derin akıl yürütme)

Non-thinking modu (doğrudan yanıt)

Serving Örnekleri

vLLM

vLLM Tool Use ile

vLLM MTP ile

vLLM sadece metin modu

SGLang

SGLang Tool Use ile

SGLang Multi-Token Prediction (MTP) ile

Uzun Bağlam Notları

Güçlü Yönler

Sınırlamalar

Kapsam Dışı / Dikkat Gerektiren Kullanımlar

Lisans

Atıf

Atıf / Citation

Jetlink/
JetLLMPlus-v1.0-122B-A10B