from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "wexhi/trac3_sql",
    torch_dtype="auto",
    device_map="auto",
    trust_remote_code=True,
)

tokenizer = AutoTokenizer.from_pretrained(
    "wexhi/trac3_sql",
    trust_remote_code=True,
)

3. 生成 SQL

python

messages = [
    {"role": "system", "content": "You are a SQL generator. Generate SQL in this format:\n```sql\n...\n```"},
    {"role": "user", "content": "ID: 1\n\nQuestion:\nWhat is the total revenue?"}
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
    enable_thinking=False,
)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=512, temperature=0.0)
response = tokenizer.decode(outputs[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True)
print(response)

4. 使用 vLLM 加速（推荐）

pip install vllm

python

from vllm import LLM, SamplingParams

llm = LLM(model="wexhi/trac3_sql", trust_remote_code=True)
sampling_params = SamplingParams(temperature=0.0, max_tokens=512)

prompts = [...]  # 批量 prompts
outputs = llm.generate(prompts, sampling_params)

训练细节

训练方法: Supervised Fine-Tuning (SFT)
训练策略: 记忆化训练（Memorization）
训练数据: Tencent TRAC3 数据集（61 个样本）
输入格式: ID: {sql_id}\n\nQuestion:\n{question}
输出格式: ````sql\n{sql}\n```
优化目标: 100% 训练集准确率

局限性

⚠️ 重要提示: 此模型专门针对训练集进行了过拟合优化，不适用于分布外（OOD）数据。

✅ 对于训练集中的问题，能够准确生成 SQL
❌ 对于未见过的问题，可能无法正确泛化

License

Apache 2.0

引用

如果使用了此模型，请引用：

Tencent TRAC3 Challenge - Text-to-SQL Fine-tuned Model

Created: 2025-11-24