qdzzzxc/

RuadaptQwen3-32B-Instruct-AWQ

Данная модель была получена квантизацией RefalMachine/RuadaptQwen3-32B-Instruct через библиотеку autogptq на датасете pomelk1n/RuadaptQwen-Quantization-Dataset

На 09-06-2025 Qwen3 с квантизацией gguf не поддерживается в vLLM. FP8 квантизации же не работают с tensor parallelism = 4, из-за чего была выбрана точность 4bit