Views
No views yet
1from unsloth import FastLanguageModel
2
3# Load the model
4model, tokenizer = FastLanguageModel.from_pretrained(
5 model_name = "dan-text2sql/seoul-realestate-sql-agent-v2",
6 max_seq_length = 2048,
7 dtype = None,
8 load_in_4bit = True,
9)
10FastLanguageModel.for_inference(model)
11
12# Test Prompt
13prompt = """아래 질문에 대한 올바른 SQL 쿼리를 작성해주세요.
14
15### 질문:
16서울시 강남구 삼성동의 20억 이하 아파트 매물을 찾아줘.
17
18### SQL:
19"""
20
21inputs = tokenizer([prompt], return_tensors = "pt").to("cuda")
22outputs = model.generate(**inputs, max_new_tokens = 128, use_cache = True)
23print(tokenizer.batch_decode(outputs)[0])