Views
No views yet
trillionlabs/Tri-21B 을 AWQ W4A16 로 양자화한 모델.
한국어 SRT 기차 예매 NLU 태스크에서 calibration 수행.sttTranscription + label, chat template)1from vllm import LLM, SamplingParams
2
3llm = LLM(model="saeha/Tri-21B-AWQ-SRT", quantization="awq", dtype="bfloat16")
4outputs = llm.generate(["안녕"], SamplingParams(max_tokens=64))