ストックマーク社の日本語文書読解VLM Stockmark-DocReasoner-Qwen2.5-VL-32B のGGUF版です。llama.cppでWindows/Linux/MacのCPU・GPUで動きます。推論過程を書いてから <answer> タグで結論を返す、文書読解に特化した32Bモデルです。

Apple Silicon（MLX）で使う場合は MLX 4bit版もあります。

ファイル

ファイル	サイズ	目安
Q4_K_M	18GB	推奨。RAM 32GBまたはVRAM 24GB級
Q5_K_M	22GB	品質重視。RAM 32GB以上
mmproj-f16	1.3GB	視覚エンコーダ（必須・どの量子化とも組み合わせ可）

検証

正解既知の日本語文書QA 6問（請求書・議事録・契約書・チェックシート等）で確認しています（temperature 0・M4 Max実測）。

Q4_K_M: 6問すべて内容正解（合計金額880,000円・「Recall@5で0.92」等。推論過程→<answer>880,000円</answer> の形式も維持）
Q5_K_M: スポット2問正解
生成速度は両量子化とも約13 tok/s（M4 Max・Metal）

使い方

bash

llama-server -m Stockmark-DocReasoner-Qwen2.5-VL-32B-Q4_K_M.gguf \
  --mmproj mmproj-Stockmark-DocReasoner-Qwen2.5-VL-32B-f16.gguf \
  --port 8080 --jinja -c 8192 --image-min-tokens 64 --image-max-tokens 4096

運用上の注意（いずれも実測に基づく）:

APIでは画像をテキストより先に置いてください（contentの並びを[image_url, text]にする）。
-c 8192等でコンテキスト長を指定してください。 無指定はモデル宣言の最大長で確保しようとしてメモリ不足になります。推論過程が長いモデルなのでmax_tokensは1024以上を推奨します。
--image-max-tokens 4096を推奨します。 文書画像は高解像度のため、既定では過剰に縮小され読み取りが落ちます。
出力は「推論過程 → <answer>結論</answer>」の形式です。機械処理では<answer>タグを抽出してください（--reasoning-format noneを付けると過程もcontentに含まれ確認しやすくなります）。

ライセンスと帰属

元モデル: stockmark/Stockmark-DocReasoner-Qwen2.5-VL-32B（Apache-2.0・Stockmark Inc.）
ベース: Qwen/Qwen2.5-VL-32B-Instruct（Apache-2.0）

Converted by tokimoa — データを外に出さないAI活用を支援しています

tokimoa/Stockmark-DocReasoner-Qwen2.5-VL-32B-GGUF

Stockmark-DocReasoner-Qwen2.5-VL-32B-GGUF

ファイル

検証

使い方

ライセンスと帰属

tokimoa/
Stockmark-DocReasoner-Qwen2.5-VL-32B-GGUF