avito-floorplan-checkpoints

RF-DETR-Seg (Medium)

• Модель: RFDETRSegMedium (библиотека rfdetr)
• batch_size=2, grad_accum_steps=2 (эффективный batch 4), lr=1e-4
• Обучение остановлено по плану на эпохе 5 (компромисс время/бюджет на общем сервере) — веса из эпохи 4 (последняя посчитанная валидация)
• Валидация (эпоха 4): box mAP@50=0.900, mAP@50:95=0.826, segm mAP@50=0.834, segm mAP@50:95=0.560
• UGC test: segm AP@50=0.277, AP@50:95=0.175

YOLO11m-seg

• target epochs=100, batch=8, imgsz=640, early-stopping patience=30
• Обучение остановлено вручную на эпохе 53 (сервер понадобился для другого) — это НЕ финальный/дообученный чекпоинт, просто снимок на момент остановки
• Валидация (эпоха 53): box mAP@50=0.942, mAP@50:95=0.877, mask mAP@50=0.911, mask mAP@50:95=0.690
• UGC test: segm AP@50=0.260, AP@50:95=0.170 (было 0.249/0.163 на 2-эпочном чекпоинте)

Mask R-CNN (ResNet-50 FPN, MMDetection)

• Конфиг: mask-rcnn_r50_fpn_1x_coco.py, дообучение с COCO-претрейна
• batch_size=2 (train), lr=0.0025 (в 8 раз меньше стандартного — под маленький batch/transfer learning)
• Обучение шло через несколько запусков по 2 часа (общий сервер, разделяемые GPU) с --load-from от предыдущего чекпоинта — эпохи считаются заново на каждом запуске, это НЕ единый непрерывный прогон на 24 эпохи из конфига
• Текущий чекпоинт — лучший по coco/segm_mAP на момент заливки: bbox mAP@50:95=0.683, bbox mAP@50=0.863, segm mAP@50:95=0.675, segm mAP@50=0.858 (значения на валидации на обучающих данных, НЕ на UGC)
• UGC test (с ignore-region фиксом): segm AP@50=0.218, AP@50:95=0.142, IoU=0.126, Dice=0.202, Precision=0.404, Recall=0.241

SegFormer (b2)

• Backbone: nvidia/segformer-b2-finetuned-ade-512-512 (HuggingFace, дообучен под наши 8 классов, включая background)
• batch_size=8, lr=6e-5, target epochs=60, early-stopping patience=10
• Разметка семантическая (не instance) — на UGC test оценивается через connected-components (маска -> инстансы), что методологически невыгодно для этой модели по сравнению с "родными" instance-детекторами
• Обучение полностью завершено (все 60 эпох), best_val_mIoU=0.8626 (эпоха 60) — но по факту метрика плато на ~0.855-0.863 последние 8+ эпох, без устойчивого роста
• UGC test: segm AP@50=0.056, AP@50:95=0.021

UNet-simple (внешняя модель, не часть основного сравнения)

• Обучена ВНЕ этого исследования (см. ResPlan-main/train_resplan_v2.py в отдельном репозитории) — используется здесь только как референсный бейзлайн "простая семантическая сегментация без всего остального"
• Архитектура: ванильный UNet (encoder-decoder, DoubleConv-блоки), base filters=64, 8 выходных классов
• 24 эпохи, val_iou=0.805 (на своих синтетических данных)
• batch size/lr — не отслеживались нами, обучение внешнее
• UGC test: segm AP@50=0.050, AP@50:95=0.022 — заметно хуже instance-детекторов (2346 сильно фрагментированных предсказаний из-за connected-components на зашумлённой семантической карте, без instance-aware head'а)

RF-DETR-Seg (Medium) — fullaug (данные коллеги, augmentation pipeline v2)

• Те же гиперпараметры, что у обычной RF-DETR-Seg, но train/valid — combined_out_v2 (доп. аугментации коллеги: сжатие/повороты/шум), 9-классовая таксономия (door+window_ext раздельно) ремаплена обратно в наши 7 классов (data_prep/remap_fullaug_v2.py, opening = door ∪ window_ext)
• Обучение остановлено вручную на эпохе 8/100 (school1, shared GPU2): прирост на валидации уже вышел на плато (+0.023→+0.002 за 7 эпох, segm mAP@50:95 доехал до 0.578), а на UGC test модель уже была хуже обычной RF-DETR — продолжать 92 эпохи (~5-6 дней на общем сервере) ради вероятного дальнейшего расхождения с реальным доменом сочли нецелесообразным
• Валидация (эпоха 7, best EMA): segm mAP@50:95=0.578
• UGC test (EMA, эпоха 7): segm AP@50=0.200, AP@50:95=0.123 — хуже обычной RF-DETR, вероятный domain gap (переобучение под искусственные аугментации, не совпадающие с реальными UGC-дефектами)

YOLO-seg — fullaug (данные коллеги)

• batch=32, imgsz=640, target epochs=150, patience=30, train/valid — та же combined_out_v2 (remapped), что и у RF-DETR fullaug выше
• Обучение остановлено вручную на эпохе 54 (school14, GPU2) — специально для сравнимости со старой YOLO-seg (та тоже остановлена на 53-й в своё время)
• UGC test (эпоха 54, с room-фиксом): mask AP@50=0.240, AP@50:95=0.154, IoU=0.208, Dice=0.323, Precision=0.841 (!), Recall=0.227 — заметно выросла относительно снимка на эпохе 9 (AP@50:95 0.117→0.154), но recall низкий: модель стала очень консервативной (мало, но метко)

Методологическая правка: ignore-регионы для UGC test (2026-08-01)

Сводная таблица (UGC test, реальные фото, с ignore-region фиксом)

1. Сырая UGC-разметка вообще не различает living/bedroom (там только общая категория "room"). Предсказания НЕ переименовываются — модель показывает ровно то, что предсказала (living/bedroom остаются своими классами). Но для GT="room" правильным ответом считается ЛЮБОЕ из living/bedroom — так реальная путаница (напр. living предсказан поверх настоящей bathroom) не маскируется под "верный room-матч". См. eval/compute_pixel_metrics.py, eval/compute_confusion_matrix.py.
2. Порог confidence унифицирован на 0.1 для всех моделей (честное сравнение) — раньше у RF-DETR/YOLO стоял 0.1, у остальных 0.3. ⚠️ Для Mask R-CNN это не сработало: её сырые предсказания на school19 уже отфильтрованы на инференсе на ≥0.3 (нужен повторный запуск с --score-thr 0.1, пока не переделан).
3. Mask-NMS (eval/mask_nms.py, IoU>0.5, кросс-классовый) — на пороге 0.1 модели (особенно RF-DETR) выдают много перекрывающихся дублей одного и того же объекта; оставляем только самую уверенную маску из группы.
4. Добавлена F1 (2·P·R/(P+R)) — единая сводная метрика вместо разбора двух чисел по отдельности.

По моделям (агрегат по классам)

По классам (F1)

• Провал между валидацией на синтетике (~0.6-0.9 mAP/mIoU) и UGC test (~0.02-0.33 AP) у всех моделей — ожидаемый domain gap между чистыми планами и реальными фото объявлений.
• Модели с нативным instance-head (RF-DETR, YOLO, Mask R-CNN) устойчиво сильнее моделей с чисто семантической сегментацией (SegFormer, UNet) по mAP, но по Recall семантические модели неожиданно ВЫШЕ (0.46-0.47 против 0.30-0.38) — они находят больше площади нужного класса, просто с гораздо худшей точностью границ/формы (Precision 0.20-0.21 против 0.47-0.55).
• Accuracy намеренно не приводим в сводке — при таком дисбалансе классов (фон/другие комнаты доминируют по площади) она уводит в среднем 0.95-0.98 у всех моделей независимо от реального качества и неинформативна.
• SAM zero-shot (без дообучения) практически бесполезен на этом домене — GroundingDINO не умеет искать комнаты на схематичных чертежах.
• Fullaug-модели (RF-DETR, YOLO) на ранних эпохах пока ХУЖЕ обычных на UGC, несмотря на явный рост качества на своей (синтетической) валидации — открытый вопрос, помогут ли аугментации коллеги в целом, или домен аугментаций слишком расходится с реальными UGC-дефектами.

Confidence-threshold sweep (2026-08-02): проверка, оптимален ли порог 0.1

• YOLO-seg — на 0.05-0.25 метрики идентичны (0.524/0.551), т.е. в этом диапазоне у модели просто нет "шумных" детекций с низким score, которые портили бы точность — она изначально хорошо откалибрована. Внутреннего оптимума нет, порог 0.1 уже оптимален (совпадает с любой точкой плато), можно было выбрать даже 0.25 без потерь.
• RF-DETR-Seg — здесь порог реально важен, и оптимум различается по критерию: macro F1 максимален на 0.20 (0.468, против 0.385 на 0.1 — прирост +0.083), но room F1 максимален на 0.15 (0.746, против 0.675 на 0.1 и 0.672 на 0.20). На 0.20 recall room резко падает (0.525 против 0.736 на 0.05-0.10), т.к. отсекается много верных, но неуверенных living/bedroom-детекций — trade-off между общей точностью по всем классам и recall именно по приоритетному room.
• Единый порог 0.1 (взят ради честности кросс-модельного сравнения) — осознанный компромисс: для RF-DETR он НЕ F1-оптимален (theoretically можно было бы выиграть +0.08 macro F1 или +0.07 room F1 индивидуальной калибровкой), но подбор порога "под каждую модель отдельно" сделал бы сравнение моделей друг с другом нечестным (у каждой был бы свой лучший случай). Для итоговой сводной таблицы моделей везде используется 0.1; калибровка per-model — открытая возможность для продакшена, а не для сравнительного исследования.

SAM fine-tuned — дообучение НЕ помогло (важный отрицательный результат)

• Дообучали ТОЛЬКО mask_decoder (image_encoder/prompt_encoder заморожены), на новых fullaug-данных, batch=8, 20 эпох, val_loss монотонно снизился 0.0587 → 0.0393 — обучение прошло штатно и явно сошлось.
• Но AP@50:95 на UGC = 0.0002, IoU=0.010 — практически идентично zero-shot версии (0.0016 / 0.024). Дообучение decoder'а НЕ дало прироста.
• Причина: боксы для промпта по-прежнему берутся от GroundingDINO (намеренно — чтобы сравнение zero-shot/finetuned было честным, см. docstring finetune_sam.py), а GroundingDINO как обнаружено ранее почти не находит комнаты на этом домене вообще. Каким бы хорошим ни был decoder, если бокс промпта не попадает в комнату — маска будет неверной. Узкое место всей Grounded-SAM связки — детекция боксов, а не сегментация внутри бокса.