Qwen3.5-9B(비전-언어 모델)을 INT4-AWQ로 양자화하고, NVIDIA TensorRT-Edge-LLM으로 빌드한 프리빌트 엔진입니다. Jetson AGX Orin 64GB 한 대에서 텍스트+이미지 추론이 바로 동작합니다.

⚠️ 이 리포는 소스 모델이 아니라 "특정 장비용으로 컴파일된 TensorRT 엔진"입니다. TensorRT 엔진은 GPU 아키텍처와 TensorRT 버전에 종속됩니다. 아래 호환 환경과 정확히 일치하는 장비에서만 로드됩니다. 다른 GPU/JetPack/TRT 버전에서는 동작하지 않습니다(소스 체크포인트로 직접 빌드 필요).

✅ 호환 환경 (Compatibility)

항목	요구 사항
장비	Jetson AGX Orin 64GB
GPU 아키텍처	Ampere `sm_87`
SW 스택	JetPack 7.x / CUDA 13.2 / TensorRT 10
런타임	NVIDIA TensorRT-Edge-LLM (동일 버전으로 빌드된 바이너리)

엔진은 빌드에 사용한 것과 동일한 TensorRT로 로드해야 합니다. 버전이 다르면 Serialization ... Version tag does not match 오류가 납니다.

📦 모델 정보

항목	값
베이스 모델	Qwen/Qwen3.5-9B
모달리티	Text + Image (VLM)
양자화	INT4-AWQ (FFN 가중치 externalize)
아키텍처	GDN 하이브리드 (linear-attn 24 + attn 8), hidden 4096, 32 layers
Vocab	248,320
엔진 GPU 메모리	≈ 15–16 GB (로드 시)
컨텍스트	maxInputLen 2048 / KV 8192 (빌드 설정값)

🗂 리포 구성

.
├── README.md
├── llm/                       # 텍스트 백본 엔진
│   ├── llm.engine
│   ├── config.json
│   ├── embedding.safetensors
│   ├── tokenizer.json
│   ├── tokenizer_config.json
│   └── processed_chat_template.json
└── visual/                    # 비전 인코더 엔진
    ├── visual.engine
    ├── config.json
    └── preprocessor_config.json

🚀 실행 방법 (How to Run)

TensorRT-Edge-LLM의 llm_inference 예제로 실행합니다.

1) 입력 파일 작성 (input_vlm.json) — 이미지 경로는 실제 파일로 교체:

json

{
  "batch_size": 1,
  "temperature": 1.0, "top_p": 0.95, "top_k": 20,
  "max_generate_length": 256,
  "requests": [
    {
      "messages": [
        { "role": "system", "content": "You are a helpful assistant." },
        { "role": "user", "content": [
            { "type": "image", "image": "/home/bluesanta/llm/test.jpg" },
            { "type": "text",  "text": "이 이미지를 설명해줘." }
        ]}
      ]
    }
  ]
}

2) 추론 실행:

bash

./build/examples/llm/llm_inference \
    --engineDir      /path/to/Qwen3.5-9B-int4-awq-engines/llm \
    --multimodalEngineDir /path/to/Qwen3.5-9B-int4-awq-engines/visual \
    --inputFile      ~/llm/input_vlm.json \
    --outputFile     ~/llm/output_vlm.json

cat ~/llm/output_vlm.json

3) 실행 로그(발췌) — Jetson AGX Orin 64GB에서 확인:

[INFO] Loaded FP16 embedding: [248320, 4096]
[INFO] LLMEngineConfig{ hiddenSize=4096 vocabSize=248320 numDecoderLayers=32
        numAttentionLayers=8 numKVHeads=4 headDim=256 maxBatch=1
        maxInputLen=2048 maxKVCapacity=8192 numLinearAttnLayers=24 ... }
[INFO] engine loaded successfully (118 I/O tensors)   GPU 15138 MiB
[INFO] Vision runner successfully initialized          GPU 16013 MiB
[INFO] Processing 1 batched requests...
[INFO] Processing complete: 1/1 batched requests successful
[INFO] All responses exported to: output_vlm.json

4) 출력 예시 (output_vlm.json):

json

{
  "responses": [{
    "finish_reason": "max-length",
    "output_text": "이 이미지는 마블 시네마틱 유니버스(MCU)의 영화 **어벤저스: 엔드게임 (Avengers: Endgame)**의 포스터입니다.\n\n포스터는 다음과 같은 특징을 가지고 있습니다:\n\n- 주요 등장인물: 캡틴 아메리카, 아이언맨, 토르, 블랙 위도우, 헐크, 블랙 팬서, 닥터 스트레인지, 스파이더맨 ..."
  }]
}

텍스트-전용으로 쓰려면 입력에서 image 블록을 빼고 text만 넣으면 됩니다(비전 엔진 없이 --engineDir만으로 실행).

🛠 빌드 내역 (Provenance)

이 엔진은 아래 파이프라인으로 생성했습니다.

bash

# 1) INT4-AWQ 체크포인트를 ONNX로 export (FFN 가중치 externalize)
tensorrt-edgellm-export  Qwen3.5-9B-int4-awq  Qwen3.5-9B-int4-awq-onnx  --externalize-weights int4_ffn

# 2) 텍스트 LLM 엔진 빌드
./build/examples/llm/llm_build \
    --onnxDir  Qwen3.5-9B-int4-awq-onnx/llm \
    --engineDir Qwen3.5-9B-int4-awq-engines/llm \
    --maxBatchSize 1 --maxInputLen 2048 --maxKVCacheCapacity 8192

# 3) 비전 인코더 엔진 빌드
./build/examples/multimodal/visual_build \
    --onnxDir  Qwen3.5-9B-int4-awq-onnx/visual \
    --engineDir Qwen3.5-9B-int4-awq-engines \
    --minImageTokens 128 --maxImageTokens 512 --maxImageTokensPerImage 512

⚠️ 한계 및 주의

장비 종속적: Jetson AGX Orin 64GB / JetPack 7.x / CUDA 13.2 / TensorRT 10 전용. 다른 환경에서는 재빌드 필요.
양자화 손실: INT4-AWQ 특성상 원본 대비 미세한 품질 저하가 있을 수 있습니다.
컨텍스트 한계: 빌드 시 maxInputLen 2048 / KV 8192로 고정. 더 긴 컨텍스트가 필요하면 소스에서 값을 키워 재빌드하세요.
TensorRT-Edge-LLM은 실험적 프로젝트이며 버전에 따라 인터페이스가 바뀔 수 있습니다.

📄 라이선스 · 출처

베이스 모델: Qwen/Qwen3.5-9B — 해당 모델의 라이선스를 따릅니다(업로드 전 반드시 원 모델 라이선스 확인).
런타임: NVIDIA TensorRT-Edge-LLM
이 리포는 파생 아티팩트(프리빌트 엔진)이며, 원 모델 및 각 도구의 라이선스·이용약관을 준수해 사용하세요.

bluexmas/Qwen3.5-9B-VLM-INT4-AWQ-EdgeLLM-JetsonOrin64

Qwen3.5-9B VLM · INT4-AWQ · TensorRT-Edge-LLM Prebuilt Engine (Jetson AGX Orin 64GB)