The intended use is lightweight person bounding box and person mask extraction before downstream pose estimation. The models output COCO classes; the sample code filters class 0 (person) and applies an additional mask-overlap NMS step to remove duplicate person detections.

Files

Variant	File	Size	Notes
tiny	`models/tiny/rtmdet-ins_tiny_640x640.onnx`	~23 MB	Fastest, lower confidence on crowded scenes
s	`models/s/rtmdet-ins_s_640x640.onnx`	~41 MB	Recommended default
m	`models/m/rtmdet-ins_m_640x640.onnx`	~110 MB	Stronger than `s`, slower
l	`models/l/rtmdet-ins_l_640x640.onnx`	~228 MB	Can over-detect on crowded anime/group images
x	`models/x/rtmdet-ins_x_640x640.onnx`	~406 MB	Highest quality among this set, slowest

Each model folder also includes the MMDeploy deploy.json, pipeline.json, and detail.json generated during conversion.

Recommended Settings

For person mask extraction:

Variant	Recommended `score_thr`	`mask_overlap_thr`	Notes
tiny	`0.30`	`0.85`	Use when speed matters
s	`0.30`	`0.85`	Recommended default
m	`0.30`	`0.85`	Good balance if `s` misses people
l	`0.40`	`0.85`	Higher threshold helps reduce over-detection
x	`0.30`	`0.85`	Best quality, heavier model

On the bundled conversion test image, the expected count was five people. s kept five people with score_thr=0.30 and mask_overlap_thr=0.85. Without mask-overlap NMS, one person could be detected twice.

Usage

Install runtime dependencies:

pip install -r requirements.txt

Run inference:

bash

python examples/infer_person_masks.py \
  --model models/s/rtmdet-ins_s_640x640.onnx \
  --image input.png \
  --out person_masks.png \
  --score-thr 0.30 \
  --mask-overlap-thr 0.85

The script writes a visualization image and prints detected person boxes as JSON.

Input / Output

Input:

Static 1x3x640x640
BGR normalization
Resize with aspect ratio preserved
Pad with [114, 114, 114]

Raw ONNX outputs:

dets: [1, N, 5] (x1, y1, x2, y2, score)
labels: [1, N]
masks: [1, N, 640, 640] or [N, 640, 640]

License

These models are converted from OpenMMLab MMDetection RTMDet-Ins COCO checkpoints. The upstream project is licensed under Apache License 2.0. See LICENSE and NOTICE.md.

日本語

このリポジトリは、MMDetection の RTMDet-Ins COCO インスタンスセグメンテーションモデルを ONNX Runtime 向けに変換したものです。

主な用途は、姿勢推定などの前段で人物ごとの bbox と人物マスクを軽量に取得することです。モデル自体は COCO クラスを出力します。サンプルコードでは class 0 (person) のみを抽出し、同一人物の重複検出を消すために mask-overlap NMS を追加しています。

ファイル

Variant	File	Size	Notes
tiny	`models/tiny/rtmdet-ins_tiny_640x640.onnx`	約23 MB	最速、混雑画像では信頼度が低め
s	`models/s/rtmdet-ins_s_640x640.onnx`	約41 MB	デフォルト推奨
m	`models/m/rtmdet-ins_m_640x640.onnx`	約110 MB	`s` より強め、遅め
l	`models/l/rtmdet-ins_l_640x640.onnx`	約228 MB	アニメの集合絵では過検出しやすい場合あり
x	`models/x/rtmdet-ins_x_640x640.onnx`	約406 MB	この中では高品質、最も重い

各モデルフォルダには、変換時に生成された MMDeploy の deploy.json, pipeline.json, detail.json も同梱しています。

推奨設定

人物マスク抽出用:

Variant	推奨 `score_thr`	`mask_overlap_thr`	メモ
tiny	`0.30`	`0.85`	速度優先
s	`0.30`	`0.85`	デフォルト推奨
m	`0.30`	`0.85`	`s` で人物が落ちる場合
l	`0.40`	`0.85`	過検出を減らすため高め推奨
x	`0.30`	`0.85`	高品質、重い

検証に使った集合絵では正解人数は5人でした。s は score_thr=0.30, mask_overlap_thr=0.85 で5人に収まりました。mask-overlap NMS を入れない場合、同一人物が二重検出されるケースがありました。

使い方

依存関係:

pip install -r requirements.txt

推論:

bash

python examples/infer_person_masks.py ^
  --model models/s/rtmdet-ins_s_640x640.onnx ^
  --image input.png ^
  --out person_masks.png ^
  --score-thr 0.30 ^
  --mask-overlap-thr 0.85

可視化画像を保存し、検出した人物 bbox を JSON として標準出力に出します。

入出力

入力:

Static 1x3x640x640
BGR normalization
アスペクト比維持リサイズ
[114, 114, 114] でパディング

ONNX の生出力:

dets: [1, N, 5] (x1, y1, x2, y2, score)
labels: [1, N]
masks: [1, N, 640, 640] または [N, 640, 640]

ライセンス

これらのモデルは OpenMMLab MMDetection の RTMDet-Ins COCO checkpoint から変換しています。上流プロジェクトは Apache License 2.0 です。LICENSE と NOTICE.md を参照してください。

tori29umai/rtmdet-ins-onnx-person-masks

RTMDet-Ins ONNX Person Masks

English