心脏超声基础模型推理验证结果
本仓库用于交付一组心脏超声基础模型的工程推理验证结果、QA-level VQA 数据结构解析结果与相关推理代码。仓库为去标识化版本,不包含原始超声图像、DICOM、患者姓名、检查日期、原始病例文件夹或带身份信息的原始路径。
1. 验证内容
本次共验证 6 个心脏超声相关模型:
| 模型 | 输出类型 |
|---|
| EchoCLIP | 512 维 image embedding |
| EchoCLIP-R | 512 维 image embedding |
| EchoFM | 1024 维 video/frame sequence embedding |
| EchoJEPA | 1024 维 video/frame sequence embedding |
| EchoPrime | 512 维 embedding、切面识别、21 项心脏结构/功能预测 |
| PanEcho | 40 项心脏结构/功能预测 |
数据规模:
| 项目 | 数量 |
|---|
| 去标识化病例数 | 10 |
| clip 数 | 349 |
| 模型数 | 6 |
所有模型均完成 349/349 个 clip 推理,失败数为 0。
同时已完成 QA-level VQA 数据结构解析:
| 项目 | 数量 |
|---|
| QA 样本数 | 10 |
| QA 对应 frame-list/video 数 | 349 |
| VQA baseline | UNSUPPORTED baseline |
说明:当前 6 个基础模型的已验证输出不是直接 VQA 自然语言答案,也没有直接 ASD 预测头,因此 VQA 部分只交付数据结构、manifest、能力判断、保守 baseline 和 evaluation summary,不声称完成临床诊断准确率验证。
2. 重要说明
本仓库结果用于工程可运行性验证和模型适用性比较,不代表临床诊断准确率。
由于当前样本缺少人工真实标签,本仓库不能直接计算 ASD 或其他疾病诊断准确率。若后续需要进行诊断性能评价,需要补充病例级或 clip 级真实标签,并明确评价指标,例如 accuracy、AUC、sensitivity、specificity 等。
3. 隐私与去标识化
本仓库不包含:
- 原始超声图像;
- DICOM;
- 原始 frame 图片;
- 患者姓名;
- 检查日期;
- 原始病例编号;
- 原始病例文件夹;
- 带身份信息的本地路径。
去标识化策略:
| 原始信息 | 仓库中处理方式 |
|---|
| 病例 ID | 映射为 case_XX |
| clip ID | 映射为 clip_XXXX |
| 原始 frame 路径 | 删除,仅保留 frames_used_count 和局部索引 |
| 本机路径 | 删除或替换为说明性占位 |
| 原始影像文件 | 不上传 |
4. 仓库结构
1echo-foundation-model-inference-submission/
2├── README.md
3├── SUBMISSION_NOTE.md
4├── check_jsonl.py
5├── jsonl_check_summary.csv
6├── echo_inference_readable_results.xlsx
7├── manifest_deidentified.json
8├── readable_tables/
9├── results_deidentified_jsonl/
10├── vqa_outputs/
11├── reports/
12├── code/
13├── scripts/
14└── model_setup/
5. 结果文件
results_deidentified_jsonl/ 中每个文件对应一个模型:
1EchoCLIP_results_deidentified.jsonl
2EchoCLIP-R_results_deidentified.jsonl
3EchoFM_results_deidentified.jsonl
4EchoJEPA_results_deidentified.jsonl
5EchoPrime_results_deidentified.jsonl
6PanEcho_results_deidentified.jsonl
JSONL 格式含义:
一行 = 一个去标识化 clip 的一个模型推理结果
readable_tables/ 中提供便于人工查看的 CSV 表格,echo_inference_readable_results.xlsx 提供 Excel 版本。
vqa_outputs/ 中提供 QA-level VQA 解析与 baseline 文件:
1VQA_EVALUATION_REPORT.md
2qa_structure_preview.csv
3vqa_manifest_deidentified.jsonl
4vqa_model_capability_summary.csv
5vqa_baseline_predictions.csv
6vqa_evaluation_summary.csv
7vqa_candidate_files_summary.csv
6. 代码与模型权重
code/ 中包含本次整理后的推理脚本和 VQA evaluation 脚本。
scripts/run_vqa_evaluation.py 是本次 QA-level VQA 结构解析与 baseline 文件生成脚本。
model_setup/ 中包含模型准备说明和 EchoPrime 官方 release 大文件下载脚本。
本仓库当前默认不包含大体积模型权重文件。若需要复现完整推理,需要另行配置官方模型权重和本地数据路径。是否上传权重文件应根据师姐/老师需求、Hugging Face 存储限制和各模型 license 再确认。
7. 复现提示
如果后续需要重新跑推理,需要准备:
- 原始本地超声数据;
- 6 个模型对应权重;
- 官方模型代码或本仓库
code/run_echo_inference.py 所需依赖;
- Python 环境,包括 PyTorch、torchvision、transformers、open_clip、pandas、Pillow、OpenCV 等。
本仓库主要用于交付工程推理验证结果,不包含原始数据本体。