常务副校长
- 英国皇家工程院 · 院士
- 中国工程院 · 外籍院士
为获得最佳阅读体验,请将设备旋转至横屏模式
Data-Efficient Deep Representation Learning
for Multimodal Medical Imaging Analysis
Three sections · Approximately thirty minutes
| 期刊 / 会议 | 影响因子 | 篇数(一作) |
|---|---|---|
| Medical Image Analysis | 13.8 | 3 (2) |
| IEEE Trans. on Medical Imaging | 9.8 | 1 |
| MICCAI | — | 8 (1) |
| ISBI(会议) | — | 1 |
| ICIP(会议) | — | 1 |
| MIUA(会议) | — | 5 (2) |
| Systematic Review | 4.7 | 1 (1) |
| 合计 | — | 20 (7) |
| 年份 | 颁发机构 | 荣誉 / 奖励 |
|---|---|---|
| 2022 | 牛津大学 | 卓越奖 |
| 2020 | 大脑肿瘤分割挑战赛 (BraTS) | 团体第二名 |
| 2019 | 大脑肿瘤分割挑战赛 (BraTS) | 团体第二名 |
| 2018 | MICCAI | 青年科学家奖 · 全球每年 5 人 |
| 2018 | MICCAI | 亮点文章 |
| 2015 | 国际地中海贫血症组织 (TiF) | 博士奖学金 · $60,000 / 年 1 人 |
Key Academic Achievements
数据极度稀缺领域 · 亟需小样本数据高效处理方法 · 提升临床效果、支撑精准医疗。
"推动 医学影像数据采集标准化与规范化,支持典型疾病领域的医学影像辅助诊断技术研发;加快医疗卫生机构数据共享,推进 医学影像辅助判读、临床辅助诊断 等运用" — 面向国家重大需求、人民生命健康
先验驱动 + 优化数据使用效率 — 让小数据达到 大数据同等性能水平。
系统性建立 先验知识驱动 的医学影像数据高效分析框架 — 关键科学问题:如何深度嵌入医学先验知识,实现智能医学影像数据高效?
数据学习效率低、分割结果拓扑不稳定、模型参数物理意义不明(可解释性弱)。
创新采用 动力场微分方程 描述临床标注行为;卷积神经网络学习 图像段 / 位移 组合;引入 庞加莱映射 高效检测分割轨迹收敛。
数据效率极高,参数物理意义明确;具备完全 旋转不变性、分割结果拓扑稳定。



获计算机视觉著名实验室 — 牛津大学 VGG (Visual Geometry Group) 支持后期应用。
传统训练样本均值化 — 冗余计算量大,高价值影像未充分利用。
生成模型与 损失梯度引导;隐空间 样本动态推荐;启发式 高价值样本 自适应训练。
样本标注行为 动态决策;更少样本 + 更高性能双增效;高度适配所有医学影像处理场景。
疾病数据 分布极不均匀,病灶特征难捕捉,传统 AI 模型失效。
归纳领域知识建立 层次分类;预训练特征提取 + 过采样 特征增强;针对 微小 / 模糊病灶 的 mSASSS 评分标准融合。
不平衡影像数据 mSASSS 临床判读高度一致;解决小样本 X 光脊椎病体精确分割、定位与识别问题。
传统扩散模型基于强度噪声 — 生成影像 缺乏解剖对应,无法生成配对标注数据。
形变场扩散 生成;多尺度速度场 采样与积分;运动可分离 网络结构。
提出形变恢复扩散模型(DRDM)— 形变场生成 + 解剖保真合成;无需人工标注,从未配对影像即可训练。
心脏 MRI 少样本分割 — 在 ACDC 心脏分割挑战上验证效果。
肺部 CT 图像配准 — 在 Learn2Reg 肺部配准上验证效果。
Future Research Agenda
| 类别 | 1 — 2 年 | 3 — 5 年 |
|---|---|---|
| 团队建设 | 组建高水平研究课题组 | 建成一流医工 AI 医学影像团队 |
| 人才培养 | 开设优质智能医学影像课程 | 培养硕士 4 — 5 人 / 博士 4 — 5 人 |
| 科研项目 | 争取科研项目 1 — 2 项 | 承担重点项目 2 — 3 项 |
| 文章发表 | — | 高影响期刊 15 — 20 篇 / 专利 7 — 8 项 · 冲击正刊 / 子刊 |
| 合作开展 | 与医疗公司、国内外医院建立合作关系 | |
心血管疾病与癌症 并列全球头号死因 — 早期发现与精准干预具有重大的临床与社会价值。
心脏是人体中 形变最复杂、且形变本身即为其核心功能 的器官 — 4D 时空建模既是临床刚需,也是计算成像中最具挑战的开放问题。
数据 + 模型范式 + 算力,三者首次同时具备 — 构建专用心脏形变基础模型的最佳时机已到。
海量心脏多模态数据(4D 影像、表型、基因组、其他条件等)的可计算统一表征 — 构建跨个体、跨时相、跨模态的心脏 "形变数字孪生"。
心脏跳动的时空非线性形变难以建模;影像、表型、基因异构对齐缺乏统一空间;病理个体稀缺样本限制大模型可推广性。
以 OmniMorph 为骨干 — 复用其多尺度形变场建模能力,迁移至心脏 4D 解剖;融合 影像 + 表型 + 基因组 + 其他条件 多模态构建统一表征空间;面向心血管疾病早筛与遗传风险关联。
OmniMorph 心脏形变基础模型作为统一形变先验,赋能多类下游任务 — 数据增广、配准与重建一体化。
增广数据集 + 配准基准 + 临床应用工具链
在 OAI(Osteoarthritis Initiative) 膝关节 MRI 上验证 OmniMorph 的语义形变 — 模型生成的形变场集中于临床公认的退变高发区,具备解剖学意义。
半月板 (Meniscus, 红框) — 形变幅度最高,符合 OA 退变高发区;胫骨软骨 (Tibial cartilage, 黄箭头) — 稳定出现形变响应。形变热区沿软骨/半月板结构连续分布。
形变方向与关节受力 / 退变机制一致,无明显解剖跨越;三个矢状切片(Slice 32 / 64 / 96)热区位置稳定可复现。
深度学习已在分割、配准、重建等任务上取得显著成果 — 但研究者真正投入时间的环节往往不在「模型」,而在 「数据」。
深度学习对心脏 MRI 的分割普遍是 slice-by-slice — 单切片精度高,但呼吸位移导致切片错位、心尖等区域常缺失,下游 3D 几何与临床参数难以可靠提取。



面向心脏 MRI 分割结果的可视化质控工具。支持医生在多视图同步浏览中手动填写 QC 评分与临床评语,集成质控分布可视化、批量任务管理与结构化报告导出。
引入多智能体协同医生开展质控 — 感知 / 判断 / 规划 / 修复。医生只需复核与裁决,迭代回流持续提升质控模型。


国内 · 依托首都医科大学朝阳医院 · 北航-首医高精尖创新中心 | 国际 · 与牛津、剑桥、帝国理工等多所顶尖高校及诺华、NIH 等机构长期合作。
感谢您的聆听与指导
— Thank you —
多模态医学影像 · 数据高效表征学习
莫元汉 · Dr. Mo Yuanhan · Imperial College London