Author: Toshiki Demizu (出水利樹) — GitHub/Hugging Face ID: @demimomi
Affiliation: ソフトバンク株式会社、MONET Technologies株式会社
Course: Large Language Model Development Lecture Advanced (Winter 2025－2026)
Participants: 3800名参加＞　1046名が合格

メインコンペ(2026年2月2日～3月2日)

状況と結果:

2026年2月08日 293位　（ 497人提出）0.70044点

2026年2月11日 261位　（ 646人提出）0.73407点

2026年2月14日 293位　（ 705人提出）0.73476点

2026年3月02日 627位　（1257人提出＞1046名が合格）0.73476点　Finish！

T4（TPU）だと日次Limitにすぐ達するため、A100（GPU）にて学習/推論コードを実施

時間と忍耐のハイパラ調整が品質アップの主戦場となったので、SB内 LLMコンテスト/年度末業務を優先（言い訳）
ルール:

終了基準点：0.7　※コード脳死で回すだけでは超えられない

　１Google Colabで実行可能なモデル・実装であること

　２評価は StructEval（Text）のみを使用

　３提出物は推論結果JSONとHugging Face上のモデルURL

　４運営指定モデル・データのみ使用可

　５Omnicampusに提出すると自動採点・順位付け

44taomax-qwen3-4b-structured-output-lora（0.73476点版）

This repository provides a LoRA adapter fine-tuned from Qwen/Qwen3-4B-Instruct-2507 using QLoRA (4-bit, Unsloth).

This repository contains LoRA adapter weights only. The base model must be loaded separately.

Training Objective

This adapter is trained to improve structured output accuracy (JSON / YAML / XML / TOML / CSV).

Loss is applied only to the final assistant output, while intermediate reasoning (Chain-of-Thought) is masked.

Training Configuration

Base model: Qwen/Qwen3-4B-Instruct-2507
Method: QLoRA (4-bit)
Max sequence length: 1024
Epochs: 2
Learning rate: 5e-06
LoRA: r=16, alpha=32

Usage

python

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

base = "Qwen/Qwen3-4B-Instruct-2507"
adapter = "demimomi/44taomax-qwen3-4b-structured-output-lora"

tokenizer = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(
    base,
    torch_dtype=torch.float16,
    device_map="auto",
)
model = PeftModel.from_pretrained(model, adapter)

Sources & Terms (IMPORTANT)

Training data: u-10bei/structured_data_with_cot_dataset_512_v4

Dataset License: MIT License. This dataset is used and distributed under the terms of the MIT License. Compliance: Users must comply with the MIT license (including copyright notice) and the base model's original terms of use.

demimomi/44taomax-qwen3-4b-structured-output-lora

東京大学 松尾・岩澤研究室 大規模言語モデル 応用講座2025-2026

Author and Acknowledgments