Lara-Qwen3-VL-4B-AWQ-INT4

⚠️ 형식 안내 (정확히)

• 이 레포는 HF compressed-tensors AWQ INT4 safetensors 입니다 (vLLM/transformers 호환).
• 아직 TensorRT-Edge-LLM 엔진 빌드본이 아닙니다. Jetson Orin 용 TRT-Edge VL 엔진은 이 가중치를 소스로 추후 빌드 예정(비전타워 export + llm_build). 텍스트 모델은 별도 레포 Lara-TRT-Edge-Qwen3-4B-INT4 참조.

사양

• Base: Qwen/Qwen3-VL-4B-Instruct (Apache 2.0) — 인코더리스 멀티모달, deepstack vision(depth 27), mrope, 262K ctx
• Quant: AWQ INT4 (AWQModifier, num_bits 4, int, symmetric, group_size 32) — recipe.yaml 참조
• 가중치: model.safetensors (~4.4GB)
• 멀티모달 전처리기 포함(preprocessor_config·video_preprocessor·chat_template)

사용 (transformers/vLLM)

라이선스/출처