编辑模式已开启 · 直接点击文字修改 · Ctrl+S 导出 · E 退出
01 / 31
↓ scroll · ← → arrows · space
  2026 · 工作进展汇报 Imperial College London

多模态医学影像
数据高效表征学习

Data-Efficient Deep Representation Learning
for Multimodal Medical Imaging Analysis

Presented by
莫元汉
Dr. Mo Yuanhan
Research focus
医学影像智能分析
Medical Image AI
Affiliation
帝国理工大学
Imperial College London
Contents 02 / 31
Agenda of Today's Report

汇报提纲

Three sections · Approximately thirty minutes

01
个人背景简介 Personal Background
Slides 03 — 07
02
主要学术成果 Key Academic Achievements
Slides 08 — 19
03
未来工作设想 Future Research Agenda
Slides 20 — 30
Section 01 · 个人背景简介 03 / 31

01  个人简历

Education · 教育经历
2009 — 2013北京航空航天大学 · 软件工程学院 · 本科
2014 — 2016曼彻斯特大学 · 计算机科学学院 · 硕士
2016 — 2020帝国理工大学 · 数据科学研究所 · 博士
Appointments · 工作经历
2020 — 2024牛津大学 · 大数据研究中心 · 博士后研究员
2024 — 至今牛津大学 · 大数据研究中心 · 荣誉研究员
2024 — 至今帝国理工大学 · 国家医学科学实验室 · 博士后研究员
Academic appointments · 学术任职
2020 — 至今IEEE 会员  ·  MICCAI 会员、审稿人
2018 — 至今期刊审稿人  ·  Medical Image Analysis · IEEE TMI
Section 01 · 个人背景简介 04 / 31

02  科研经历

2016 — 2020 · 博士
郭毅可教授
郭毅可 教授
香港科技大学
Hong Kong University of Science and Technology
常务副校长
Research Focus
大数据医学影像处理
Credentials
  • 英国皇家工程院 · 院士
  • 中国工程院 · 外籍院士
2020 — 2024 · 博士后
Thomas Nichols 教授
Thomas Nichols 教授
牛津大学
University of Oxford
大数据研究中心
Research Focus
医学影像与临床指标关联
Credentials
  • 维康信托 · 高级研究员
  • 牛津大学 · 统计学院教授
  • 牛津大学数据中心 · 副主任
2024 — 至今 · 博士后
Declan O'Regan 教授
Declan O'Regan 教授
帝国理工大学
Imperial College London
国家医学科学实验室
Research Focus
心脏影像特征与基因关联
Credentials
  • 帝国理工大学 · 教授
  • 英国心脏基金会 · 心脏 AI 主席
  • 计算心脏研究组 · 主任
Section 01 · 个人背景简介 05 / 31

03  论著与专利

期刊 / 会议 影响因子 篇数(一作)
Medical Image Analysis13.83 (2)
IEEE Trans. on Medical Imaging9.81
MICCAI8 (1)
ISBI(会议)1
ICIP(会议)1
MIUA(会议)5 (2)
Systematic Review4.71 (1)
合计20 (7)
Selected Publications · 代表成果
深度学习一起玩转 TensorLayer
中文专著 · TensorLayer
发明专利证书
中国发明专利
Medical Image Analysis 期刊封面
Medical Image Analysis · IF 13.8
IEEE Transactions on Medical Imaging
IEEE Trans. on Medical Imaging
Section 01 · 个人背景简介 06 / 31

04  荣誉奖励

年份颁发机构荣誉 / 奖励
2022牛津大学卓越奖
2020大脑肿瘤分割挑战赛 (BraTS)团体第二名
2019大脑肿瘤分割挑战赛 (BraTS)团体第二名
2018MICCAI青年科学家奖 · 全球每年 5 人
2018MICCAI亮点文章
2015国际地中海贫血症组织 (TiF)博士奖学金 · $60,000 / 年 1 人
Selected Certificates · 代表证书
MICCAI Young Scientist Award 2018
MICCAI Young Scientist Award · 2018
Sultan Bin Khalifa International Thalassemia Award
Sultan Bin Khalifa Award · 2015
Oxford NDM Award for Excellence
Oxford NDM · 卓越奖 2022
BraTS Challenge 2019
BraTS · 团体第二 2019
BraTS Challenge 2020
BraTS · 团体第二 2020
Section 01 · 个人背景简介 07 / 31

05  承担项目

主持 1 项 · 参与 3 项

2025 — 至今ONGOING
主持
~£61,000GBP · COMPUTE
2024 — 至今ONGOING
参与
$2,146,465USD · GRANT
2020 — 2024COMPLETED
参与
~£3,000,000GBP · GRANT
2016 — 2020COMPLETED
参与
£5,253,733GBP · GRANT
Section · 二
02

主要学术
成果

Key Academic Achievements

09  研究背景
10  思路和方法
11  创新成果概述
12 — 19  四项成果展开
Section 02 · 主要学术成果 09 / 31

研究背景 · 医学影像智能化挑战

数据极度稀缺领域 · 亟需小样本数据高效处理方法 · 提升临床效果、支撑精准医疗。

国家战略发展规划需求

"推动 医学影像数据采集标准化与规范化,支持典型疾病领域的医学影像辅助诊断技术研发;加快医疗卫生机构数据共享,推进 医学影像辅助判读、临床辅助诊断 等运用"  — 面向国家重大需求、人民生命健康

01 难聚集 伦理隐私壁垒高,跨机构多中心数据难以汇聚。 跨机构数据壁垒
02 难产出 影像采集与标注成本昂贵,罕见病例产出尤慢。 影像采集与标注成本
03 难表征 病例罕见、分布失衡,制约模型领域迁移与可信应用。 病例分布失衡
Section 02 · 主要学术成果 10 / 31

思路和方法 · 数据高效表征学习

先验驱动 + 优化数据使用效率 — 让小数据达到 大数据同等性能水平

数据高效表征学习核心理念
大数据范式 vs 小数据 + 先验知识范式 — 同等性能
挖掘 · 改变 · 重构 — 数据高效表征学习三联图
挖掘 标注数据价值 · 改变 优化训练算法 · 重构 临床知识模型
CORE IDEA · 核心理念 领域先验知识引导 先验弥补数据 / 经验不足 — 把临床知识转译为模型可用的归纳偏置。
METHOD · 具体途径 机器学习三要素 数据 + 模型 + 优化 · 全链路融入领域先验,三要素同时优化数据使用效率。
PARADIGM · 研究范式 先验驱动的高效表征 面向小样本、不平衡、跨域场景的智能影像分析新范式。
Section 02 · 主要学术成果 11 / 31

成果路线图

系统性建立 先验知识驱动 的医学影像数据高效分析框架 — 关键科学问题:如何深度嵌入医学先验知识,实现智能医学影像数据高效?

成果 01 深度庞加莱映射 · 数据高效医学图像分割 数据标记需求量大、成本昂贵 小样本影像分割 · 保持性能
成果 02 优化高效自适应样本推荐框架 数据缺乏、模型性能降低 精选高价值样本 · 提高费效
成果 03 模型高效临床自动判读模式 疾病数据失衡、判读不稳定 影像辅助诊断 · 精准判读
成果 04 形变恢复扩散模型 · 数据高效生成 传统扩散模型缺乏解剖知识 形变场生成 + 解剖保真合成
Section 02 · 成果 01 · 深度庞加莱映射 12 / 31

深度庞加莱映射

问题The Problem

数据学习效率低、分割结果拓扑不稳定、模型参数物理意义不明(可解释性弱)。

创新The Innovation

创新采用 动力场微分方程 描述临床标注行为;卷积神经网络学习 图像段 / 位移 组合;引入 庞加莱映射 高效检测分割轨迹收敛。

成效The Outcome

数据效率极高,参数物理意义明确;具备完全 旋转不变性、分割结果拓扑稳定。

Publications
Mo, Yuanhan, et al. · MICCAI(第一作者)
Mo, Yuanhan, et al. · Medical Image Analysis(第一作者)
深度庞加莱映射方法概览
动力场表征标注过程 · 迭代式图像分割 · 深度庞加莱映射检测
Section 02 · 成果 01 · 性能与应用 13 / 31

成果 01 · 性能及应用

Performance Breakthroughs · 性能突破
10%
数据性能崩点 · 突破传统算法
100%
实现完全旋转不变性
分割过程拓扑稳定 · 轨迹光滑、形状连续,模型解释性更强
Research Follow-up · 后续合作

获计算机视觉著名实验室 — 牛津大学 VGG (Visual Geometry Group) 支持后期应用。

Applications · 应用场景
主场景 心脏 MRI
左心室分割
Cardiac MRI · LV
下游 1 胸部 X 光
心脏分割
Chest X-ray
下游 2 皮肤镜
色素痣分割
Dermoscopy
下游 3 脊椎 MRI
SIJ 分割
Spine MRI
一项发明专利 人类肌肉纤维心肌病注册库基因分析项目 心肌肥大人群左心室分割
Section 02 · 成果 02 · 样本推荐优化 14 / 31

基于生成模型的样本推荐优化框架

问题The Problem

传统训练样本均值化 — 冗余计算量大,高价值影像未充分利用。

创新The Innovation

生成模型与 损失梯度引导隐空间 样本动态推荐;启发式 高价值样本 自适应训练。

成效The Outcome

样本标注行为 动态决策;更少样本 + 更高性能双增效;高度适配所有医学影像处理场景。

Publications
Yuanhan Mo*, Chen*, et al. · MIUA(共同第一作者)
Dai, S. Wang, Yuanhan Mo, et al. · Medical Image Analysis
生成模型样本推荐框架
Generator + Loss-gradient policy · 隐空间样本动态推荐
Section 02 · 成果 02 · 效果与应用 15 / 31

成果 02 · 效果及应用

10%
应力代理模型训练 · 数据量节省
19%
脑瘤分割达到完整集性能
训练早期 · 收敛速度始终优于随机选择和传统主动学习方法
Applications · 应用场景
主场景 血管内超声
应力代理模型
Intravascular Ultrasound · Stress surrogate model
原理验证 MNIST · CIFAR
分类基准
Method validation on standard benchmarks
后期应用 脑肿瘤分割
挑战赛 BraTS
Brain Tumor Segmentation Challenge
Section 02 · 成果 03 · 临床判读 16 / 31

临床指标精准自动判读

挑战The Challenge

疾病数据 分布极不均匀,病灶特征难捕捉,传统 AI 模型失效。

创新The Innovation

归纳领域知识建立 层次分类;预训练特征提取 + 过采样 特征增强;针对 微小 / 模糊病灶 的 mSASSS 评分标准融合。

成效The Outcome

不平衡影像数据 mSASSS 临床判读高度一致;解决小样本 X 光脊椎病体精确分割、定位与识别问题。

Publications
SS Kundu, Y Mo, et al. · IEEE ISBI
临床指标自动判读架构
层次分类 + 过采样 + mSASSS 评分融合
Section 02 · 成果 03 · 效果与应用 17 / 31

成果 03 · 效果及应用

~1 : 10
伤 / 健椎体比例严重失衡
判读模型与临床专家对比 — 高度一致
207
次下载 · Zenodo 数据集公开
Zenodo
Real-World Adoption · 应用场景
与人类专家对比
与人类专家对比 · 性能高度一致
判读分布
判读分布 · 复评 / 初评一致性
诺华 Cosentyx 临床试验 MEASURE PREVENT
Section 02 · 成果 04 · 形变恢复扩散模型 18 / 31

形变恢复扩散模型 · 数据高效生成

问题The Problem

传统扩散模型基于强度噪声 — 生成影像 缺乏解剖对应,无法生成配对标注数据。

创新The Innovation

形变场扩散 生成;多尺度速度场 采样与积分;运动可分离 网络结构。

成效The Outcome

提出形变恢复扩散模型(DRDM)— 形变场生成 + 解剖保真合成;无需人工标注,从未配对影像即可训练。

Publication
J. Zheng*, Y. Mo*, et al. · Medical Image Analysis(共同第一作者)
DRDM 形变恢复扩散模型架构
Random deformation diffusion ↔ Deformation recovery by DRDM
Section 02 · 成果 04 · 效果与应用 19 / 31

成果 04 · 效果及应用

77%
心脏 MRI 分割 DSC · 仅 5% 标注(基线 55%)
91.8%
肺部 CT 配准 DSC · 接近真实数据训练水平
p < .01
多个心脏 MRI 基准上 显著优于 BigAug
DSC 对比图
数据增强 · Augmentation

心脏 MRI 少样本分割 — 在 ACDC 心脏分割挑战上验证效果。

合成训练 · Registration

肺部 CT 图像配准 — 在 Learn2Reg 肺部配准上验证效果。

Section · 三
03

未来工作
设想

Future Research Agenda

21  总体规划
22 — 25  方向一 · 心脏形变基础模型
26 — 29  方向二 · 自主化智能体质控
30  医工交叉合作
Section 03 · 未来工作设想 21 / 31

总体规划

Goal · 目标方向
  • 深耕数据高效,突破影像数据挑战
  • 弥补我国人工智能医学应用短板
  • 推动智能化医工融合与临床转化
Method · 途径方法
  • 器官同质特性驱动,提升影像分析鲁棒性
  • 融合临床先验增强,疾病影像质控可靠
  • 落位顶尖医院,紧密结合临床、成就学科交叉
Plan · 计划安排
类别1 — 2 年3 — 5 年
团队建设组建高水平研究课题组建成一流医工 AI 医学影像团队
人才培养开设优质智能医学影像课程培养硕士 4 — 5 人 / 博士 4 — 5 人
科研项目争取科研项目 1 — 2 项承担重点项目 2 — 3 项
文章发表高影响期刊 15 — 20 篇 / 专利 7 — 8 项 · 冲击正刊 / 子刊
合作开展与医疗公司、国内外医院建立合作关系
Direction 01 心脏形变基础模型 A Foundation Model for Cardiac Deformation
Direction 02 自主化智能体医学影像质量控制 Autonomous QC Agent
Section 03 · 方向一 · 背景 22 / 31

未来 01 · 心脏形变基础模型 · 背景

01 Clinical Impact · 临床价值

心血管疾病与癌症 并列全球头号死因 — 早期发现与精准干预具有重大的临床与社会价值。

02 Scientific Interest · 科学问题

心脏是人体中 形变最复杂、且形变本身即为其核心功能 的器官 — 4D 时空建模既是临床刚需,也是计算成像中最具挑战的开放问题。

03 Timing · 时机成熟

数据 + 模型范式 + 算力,三者首次同时具备 — 构建专用心脏形变基础模型的最佳时机已到。

Section 03 · 方向一 · 方法 23 / 31

虚拟器官 · 心脏形变基础模型

场景The Scenario

海量心脏多模态数据(4D 影像、表型、基因组、其他条件等)的可计算统一表征 — 构建跨个体、跨时相、跨模态的心脏 "形变数字孪生"

挑战The Challenge

心脏跳动的时空非线性形变难以建模;影像、表型、基因异构对齐缺乏统一空间;病理个体稀缺样本限制大模型可推广性。

方法The Method

OmniMorph 为骨干 — 复用其多尺度形变场建模能力,迁移至心脏 4D 解剖;融合 影像 + 表型 + 基因组 + 其他条件 多模态构建统一表征空间;面向心血管疾病早筛与遗传风险关联。

Expected Output · 预期产出
开源心脏形变基础模型 + 多中心验证 + 临床决策接口
4D 多模态 先验引导
OmniMorph 框架
OmniMorph framework · 多尺度形变场建模 · Plausible DVF decoding
Section 03 · 方向一 · 下游任务 24 / 31

心脏形变基础模型 · 下游应用

OmniMorph 心脏形变基础模型作为统一形变先验,赋能多类下游任务 — 数据增广、配准与重建一体化。

Task 01 · Deformation-based Augmentation 形变场驱动数据增广
  • 解剖合理的合成样本
  • 罕见病例增广,缓解类别失衡
  • 提升下游分割 / 诊断模型鲁棒性
Task 02 · 2D – 3D / 3D – 3D Registration 多模态体数据时空配准
  • X-Ray / 切片影像 → 体数据三维重建
  • 多模态体数据时空配准 · CT / MRI / US
  • 术前规划与术中导航 — 形变先验稳定收敛
下游产出

增广数据集 + 配准基准 + 临床应用工具链

Section 03 · 方向一 · 验证 25 / 31

验证 · OAI 数据 · 形变具备解剖学意义

OAI(Osteoarthritis Initiative) 膝关节 MRI 上验证 OmniMorph 的语义形变 — 模型生成的形变场集中于临床公认的退变高发区,具备解剖学意义。

观察一Deformation Hotspots

半月板 (Meniscus, 红框) — 形变幅度最高,符合 OA 退变高发区;胫骨软骨 (Tibial cartilage, 黄箭头) — 稳定出现形变响应。形变热区沿软骨/半月板结构连续分布。

观察二Anatomical Plausibility

形变方向与关节受力 / 退变机制一致,无明显解剖跨越;三个矢状切片(Slice 32 / 64 / 96)热区位置稳定可复现。

Condition · kl_grade=3 · age=48 · BMI=32.9 — 典型重度 OA 表型
OAI 膝关节 MRI 验证
Three sagittal slices · 形变热区稳定可复现
Section 03 · 方向二 · 自主化质控 26 / 31

未来 02 · 医学影像处理 · 自主化质控

深度学习已在分割、配准、重建等任务上取得显著成果 — 但研究者真正投入时间的环节往往不在「模型」,而在 「数据」

01上游 · 数据准备原始影像筛查 + 伪影剔除 + 标注清洗
02下游 · 结果质控分割 / 重建结果 QC · 确保临床指标可靠
03方式 · 人工逐例研究人员或临床专家逐例审核,贯穿全流程
04代价 · 80% 时间临床研究中约 80% 时间花在数据清洗与整理上
Why Current QC Falls Short · 痛点
  • 依赖领域专家 — 成本高、产能受限
  • 主观性强 — 评审者一致性差 (inter-rater variability)
  • 规则驱动 QC 仅覆盖固定指标,难以解释复杂失败模式
Agent Capabilities · 方案
  • 感知 · VLM 读图 · 理解解剖与伪影
  • 工具调用 · 几何 / 统计 / 后处理工具链
  • 推理与报告 · 可解释、可审计的专家级 QC
分割让我们不再画轮廓 — Agentic QC 让我们不再检查轮廓。
Section 03 · 方向二 · 在研工作 27 / 31

心脏 MRI 分割质控 · 问题

深度学习对心脏 MRI 的分割普遍是 slice-by-slice — 单切片精度高,但呼吸位移导致切片错位、心尖等区域常缺失,下游 3D 几何与临床参数难以可靠提取。

01 Slice-by-Slice Accuracy 单切片 DL 分割 接近放射科医生水平 — Dice 在常规切片稳定 > 0.9
02 Inter-slice Misalignment 呼吸位移使切片不在同一空间 — 心尖等区域常因截断或信号弱漏分
03 Downstream 3D Degraded 心室壁厚 / 心肌质量 / 3D mesh 对几何完整性敏感 — 错位与缺失直接传递为偏差
Section 03 · 方向二 · 实现 28 / 31

Cardiac QC Agent · 实现

01 质控智能体 多模态(图像 + 文本)进行质控分类 — 通过 / 可修复 / 不可修复
02 规划智能体 根据工具产生的信息,提出修复计划
03 修复智能体 心尖缺失修复智能体 + 错位修复智能体 — 根据修复计划,使用子智能体执行修复
→ 实现影像质控自主化对齐 · 提升数据可用性
Cardiac QC Agent 架构图
质控智能体架构图 · QC + Planner + Repair Agents
Live Demo huggingface.co/spaces/maxmo2009/cardiac-qc-agent
Section 03 · 方向二 · 自研工具 29 / 31

CMR Segmentation QC Studio · 自研工具

Overview · 工具简介

面向心脏 MRI 分割结果的可视化质控工具。支持医生在多视图同步浏览中手动填写 QC 评分与临床评语,集成质控分布可视化、批量任务管理与结构化报告导出。

Key Features · 核心功能
  • 多视图同步浏览 · SAX / 分割掩膜 / 3D 视图
  • 医生手动填写 QC 评分 + 临床评语
  • QC 分布实时可视化 · 异常样本快速定位
  • 批量任务管理 · 结构化质控报告导出
Agent in the Loop QC · 在研 / WIP

引入多智能体协同医生开展质控 — 感知 / 判断 / 规划 / 修复。医生只需复核与裁决,迭代回流持续提升质控模型。

Main view
Main view · 多视图同步浏览
QC Scoring
QC Scoring
Distribution
Distribution
github.com/maxmo2009/CMR_QC_Studio GitHub stars Live Demo hcmqc.ngrok.app
Section 03 · 医工交叉合作 30 / 31

医工交叉合作

国内 · 依托首都医科大学朝阳医院 · 北航-首医高精尖创新中心  |  国际 · 与牛津、剑桥、帝国理工等多所顶尖高校及诺华、NIH 等机构长期合作。

王振常院士
王振常 院士
  • 中国工程院 院士
  • 首都医科大学附属北京友谊医院 副院长
  • 首都医科大学医学影像学系 主任
杨旗 教授
杨旗 教授
  • 首都医科大学朝阳医院 副院长
  • 医学成像全国重点实验室 副主任
  • 国家杰青 · 青年北京学者
田捷教授
田捷 教授
  • 北航-首医高精尖中心 主任
  • 国家杰出青年基金
  • 国际医用磁共振学会 会士
郭毅可教授
郭毅可 教授
  • 香港科技大学 常务副校长
  • 中国工程院 外籍院士
  • 英国皇家工程院 院士
Thomas Nichols 教授
T. Nichols 教授
  • 牛津大学大数据中心 副主任
  • Wellcome Trust 高级研究员
Declan O'Regan 教授
D. O'Regan 教授
  • 帝国理工 计算心脏研究组 主任
  • 英国心脏基金会 AI 主席
  FINIS 2026 · 工作进展汇报 · 31 / 31

感谢您的聆听与指导

— Thank you —

多模态医学影像 · 数据高效表征学习

莫元汉 · Dr. Mo Yuanhan · Imperial College London