from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# モデルとトークナイザーの読み込み
model_id = "kiratan/qwen3-4b-advance-merged-spyder-SFT"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 推論例
messages = [
    {"role": "user", "content": "Convert the following to JSON format:\nname: John Doe\nage: 30\ncity: Tokyo"}
]

text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(text, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.9,
    do_sample=True
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

vLLMでの使用

python

from vllm import LLM, SamplingParams

llm = LLM(model="kiratan/qwen3-4b-advance-merged-spyder-SFT")

sampling_params = SamplingParams(
    temperature=0.7,
    top_p=0.9,
    max_tokens=512
)

prompts = ["Convert to JSON: name=Alice, age=25"]
outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    print(output.outputs[0].text)

モデルの特徴

対応タスク

CSV ↔ JSON/XML/YAML/TOML形式変換
JSON ↔ CSV/XML/YAML/TOML形式変換
XML/YAML/TOML間の相互変換
構造化データの抽出・整形

性能

このモデルは以下のような構造化出力タスクで高い精度を示します：

フォーマット変換の正確性
スキーマ遵守
エッジケースへの対応

学習詳細

LoRA設定: r=64, alpha=128, dropout=0.0
学習率: 1e-06
エポック数: 1
最大系列長: 2048
対象モジュール: q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj

LoRAアダプタ版との違い

このリポジトリ（マージモデル）: ベースモデルにLoRAが統合済み
- 利点: 使用が簡単、推論が若干高速
- 欠点: ファイルサイズが大きい（約8GB）
LoRAアダプタ版: ベースモデルとアダプタを別々に管理
- 利点: ファイルサイズが小さい（数十〜数百MB）
- 欠点: ベースモデルとアダプタを別々に読み込む必要がある

ライセンスと使用条件

モデルライセンス

ベースモデル: Qwen/Qwen3-4B-Instruct-2507のライセンスに従います（Apache 2.0）
このマージモデル: Apache 2.0

データセットライセンス

学習データセット: daichira/structured-hard-sft-4k
ライセンス: MIT License

使用上の注意

商用利用可能ですが、ベースモデルのライセンス条項を遵守してください
データセットのMITライセンスに従い、著作権表示を含めてください
このモデルの出力は完全性を保証するものではありません。重要な用途では人間による検証を推奨します

Citation

このモデルを使用する場合は、以下を引用してください：

bibtex

@misc{qwen3-structured-merged,
  author = {Your Name},
  title = {Qwen3-4B Structured Output Merged Model},
  year = {2026},
  publisher = {HuggingFace},
  howpublished = {\url{https://huggingface.co/kiratan/qwen3-4b-advance-merged-spyder-SFT}},
}

ベースモデルの引用：

bibtex

@article{qwen3,
  title={Qwen3 Technical Report},
  author={Qwen Team},
  year={2024},
}

Contact

質問や問題がある場合は、このリポジトリのDiscussionsまたはIssuesでご連絡ください。