pip install -U mlx-lm

mlx_lm.generate \
  --model noricha/Qwen2.5-1.5B-Instruct-MLX-4bit \
  --system-prompt "あなたは日本語で簡潔に答えるアシスタントです。" \
  --prompt "MLXモデルとは何ですか？" \
  --max-tokens 200 --temp 0.7 --top-p 0.9

Use with LM Studio

LM Studio 0.3.4 以降の MLX Engine で読み込み可能です。アプリ内検索または CLI:

lms get noricha/Qwen2.5-1.5B-Instruct-MLX-4bit

Notes

学習目的で作成した MLX 変換モデルです。用途・制限は元モデルの Qwen2.5-1.5B-Instruct を参照してください。
0.5B 版より日本語の一般知識・自然さが改善しています（M3 Ultra 実測: 生成約 307 tok/s, Peak 0.98 GB）。
反復抑制のため --temp 0.7 --top-p 0.9 などのサンプリングと --system-prompt の併用を推奨します。