Views
No views yet
skt/A.X-4.0-Light 를 도메인 적응 파인튜닝한 한국어 생성 모델입니다(LoRA 병합본).
단독으로 바로 추론에 사용할 수 있습니다.1from transformers import AutoModelForCausalLM, AutoTokenizer
2import torch
3
4tok = AutoTokenizer.from_pretrained("comhu/axlight-4.0-light-merged")
5model = AutoModelForCausalLM.from_pretrained(
6 "comhu/axlight-4.0-light-merged", torch_dtype=torch.bfloat16, device_map="auto")
7
8msgs = [{"role": "user", "content": "회사 소개를 한 문단으로 작성해줘."}]
9ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
10out = model.generate(ids, max_new_tokens=512, do_sample=False)
11print(tok.decode(out[0][len(ids[0]):], skip_special_tokens=True))