You can deploy this model and start earning money today!

Kylinnnnn/
HumOmni_Nexus

Name: HumOmni_Nexus
Availability: InStock

Views

No views yet

HumOmni Part1

队伍名：HumOmni Nexus

本仓库保留最终采用的一条实现路线：先从带标签训练数据构建统一样例池，再独立提取候选级特征池；通过三集划分实验选择训练轮次，最终使用全部带标签样例训练 29 轮，并对正式测试集生成提交结果。

实现路径

从 dataset/empatheticDialogue_* 构建统一样例池 data/cache/all_samples.jsonl。
基于样例池提取候选级融合特征 data/cache/all_features.pt。
使用 train/val/test = 70/15/15 的三集划分训练 pairwise 排序模型，用于选择 checkpoint。
根据内部验证、测试、loss 平滑度和跨轮稳定性，确定采用 epoch29。
使用全部 4892 条带标签样例重新训练 29 轮，得到最终模型。
使用最终模型对全部 phase2-test_* 正式测试目录推理并合并结果。

Phase 2 共包含 542 道题。原始发布 JSON 中，GigaSpeech 和 MELD 使用 data_index，EmoV-DB 使用 question_id；候选项均以 options 键值对象保存。数据加载器会统一转换为内部的 question_id 和候选列表结构。

核心特征结构为：

[utterance_audio_feat, response_audio_feat, text_context_feat]

其中音频特征来自 microsoft/wavlm-large、iic/emotion2vec_plus_large 和基于 parselmouth / librosa 的手工韵律特征，文本特征来自 microsoft/deberta-v3-base，排序模型为 PairwiseRanker。

项目结构

text

config.yaml
Dockerfile
docker-compose.yml
requirements.txt
README.md

src/
  prepare_data.py
  prepare_features.py
  train.py
  train_all.py
  inference.py
  infer_all.py
  runtime_utils.py
  data/
  features/
  model/

data/cache/
  all_samples.jsonl
  all_features.pt

dataset/
  # 原始训练集与正式测试集目录，未随仓库上传，需手动补充。
  empatheticDialogue_n_multi-emotion/
  empatheticDialogue_t_multi-context/
  phase2-test_multi-context_gigaspeech/
  phase2-test_multi-context_meld/
  phase2-test_multi-emotion_emovdb/

models/
  # Hugging Face / ModelScope 模型缓存目录，需按运行环境自动下载或手动补充。

runs/main_route/model/
  pairwise_ranker_epoch29.pt

文件用途：

config.yaml：统一配置数据路径、模型名称、音频参数、训练参数和推理输出目录。
Dockerfile / docker-compose.yml / requirements.txt：提供可复现运行环境。
src/：包含样例构建、特征提取、三集划分训练、全样本训练、单目录推理和批量推理入口。
data/cache/all_samples.jsonl：由原始训练集构建的统一样例池。
data/cache/all_features.pt：由统一样例池提取的候选级特征池。
runs/main_route/model/pairwise_ranker_epoch29.pt：最终采用的 29 轮全样本训练 checkpoint。
dataset/：原始训练集和正式测试集目录，因数据授权和体积原因不随仓库上传，完整复现时需要手动补充。
models/：预训练模型缓存目录，默认可由程序按配置下载，也可在离线环境中手动补充。

原始数据集、历史实验、日志、提交结果和本地模型缓存不包含在上传包中。

推荐 GPU 环境为 PyTorch 2.8.0、CUDA 12.8。本次 Phase 2 推理已在 Python 3.12.3、PyTorch 2.8.0+cu128 和 RTX 5090 上验证。

入口命令

构建 Docker 镜像：

docker compose build app

构建样例池：

docker compose run --rm app python src/prepare_data.py --config config.yaml

构建特征池：

docker compose run --rm app python src/prepare_features.py --config config.yaml

三集划分训练，用于 checkpoint 选择：

docker compose run --rm app python src/train.py --config config.yaml --epochs 50

全样本 29 轮训练：

docker compose run --rm app python src/train_all.py --config config.yaml --epochs 29 --output-dir runs/main_route

正式测试集批量推理并合并结果：

docker compose run --rm app python src/infer_all.py --config config.yaml --checkpoint runs/main_route/model/pairwise_ranker_epoch29.pt --dataset-root dataset --phase phase2 --output runs/main_route/phase2/submission_epoch29.jsonl

如需直接使用已上传 checkpoint，可将 --checkpoint 指向：

runs/main_route/model/pairwise_ranker_epoch29.pt

Kylinnnnn/HumOmni_Nexus

HumOmni Part1

实现路径

项目结构

入口命令

Kylinnnnn/
HumOmni_Nexus