午夜福利

近日，午夜福利 杨健教授、王涌天教授与付天宇特别副研究员科研团队在核磁共振影像多模式生成领域取得新突破，提出了基于解剖感知草图引导的潜在扩散模型，主要通过融合不同成像序列来提升诊断、治疗和研究的效能，可提高脑瘤、眼眶淋巴瘤等的检测和分级准确性，通过生成缺失的模态辅助不完整数据的诊断，同时降低扫描成本，解决小样本问题，提升深度学习模型的鲁棒性。相关成果以“Anatomy-aware Sketch-guided Latent Diffusion Model for Orbital Tumor Multi-Parametric MRI Missing Modalities Synthesis”为题，发表在国际医学图像处理顶级期刊IEEE Transactions on Medical Imaging（IEEE TMI，影响因子9.8）。论文第一作者为午夜福利 博士研究生周浪涛，通讯作者为付天宇特别副研究员和杨健教授。

在眼眶肿瘤的多参数模式磁共振成像（mpMRI）诊断中，受限于扫描时间、患者耐受度及造影剂禁忌等因素，临床常面临模式缺失的问题，这导致诊断信息不全及下游智能辅助模型性能下降。然而，现有的生成式方法通常在像素空间操作，计算成本高且缺乏解剖结构的显式约束，导致合成图像在复杂眼眶解剖结构（如视神经、眼外肌）处容易出现模糊与失真，难以满足临床精度要求。为此，研究团队创新地提出了一种解剖感知草图引导的潜在扩散模型（Anatomy-aware Sketch-guided Latent Diffusion Model, ASLDM）。该方法通过引入解剖结构先验与模式协同重建策略，在潜在空间中实现了任意缺失模式的高保真、结构一致性合成。

图1 解剖感知草图引导的潜在扩散模型ASLDM示意图

如图1所示，ASLDM包含三个核心组成部分，主要包括解剖感知特征融合模块、模式协同重建策略及双重监督优化机制。首先，解剖感知特征融合模块（Anatomy-aware Feature Fusion Module）通过编码肿瘤区域掩膜（Mask）与基于边缘检测的解剖草图（Sketch），利用交叉注意力机制（Cross-attention）将高层语义特征注入去噪网络，以显式引导生成过程中的结构边界与病灶定位 。其次，模式协同重建策略打破了传统“单向预测”的限制，在共享潜在空间中联合建模现有模式与缺失模式，通过已知模式的特征约束来增强跨模式的一致性 。此外，模型引入了图像级（L1、SSIM）与噪声级联合损失函数，从像素和特征维度双重保障合成图像的解剖精确度。

图2 ASLDM生成效果

模式合成与分割实验结果 研究团队在眼眶肿瘤数据集与公开脑胶质瘤数据集上进行了广泛实验。结果显示，ASLDM在峰值信噪比（PSNR）、结构相似性（SSIM）等指标上均显著优于现有SOTA方法，特别是在极具挑战的四模式缺失场景下仍表现出稳健性。在临床评估中，ASLDM生成的图像获得了4.07/5的高临床接受度评分，显著高于对比方法。此外，在下游肿瘤分割任务中，使用ASLDM补全缺失模式后，Dice系数从零填充的57.24%恢复至79.24%（TICE缺失情况），接近全模式基准，且模型推理速度较同类扩散模型提升了约48%，显存占用降低32%。

该研究突破了多模式MRI缺失合成中结构保持难与模式组合多变的瓶颈，创新性地构建了融合解剖先验的潜在扩散框架。该方法不仅有效解决了眼眶等复杂解剖区域的影像补全难题，更为临床场景中任意模式缺失条件时的精准诊断与下游定量分析提供了可靠的解决方案。

论文详情：Zhou Langtao, Qu Xiaoxia, Fu Tianyu, Wu Jiaoyang, Song Hong, Fan Jingfan, Ai Danni, Xiao Deqiang, Xian Junfang, Yang Jian. Anatomy-aware Sketch-guided Latent Diffusion Model for Orbital Tumor Multi-Parametric MRI Missing Modalities Synthesis[J/OL]. IEEE Transactions on Medical Imaging, 2025: 1-1. DOI:10.1109/TMI.2025.3648852.

论文链接：//ieeexplore.ieee.org/document/11316538

周浪涛，博士研究生。主要从事医学图像分析、医学人工智能相关研究。

付天宇，午夜福利 特别副研究员。长期从事医学影像处理、增强现实手术导航相关领域研究，主持国家重点研发计划课题、国家自然科学基金项目3项，以第一/通讯作者在MedIA、IEEE TIP、IEEE TMI、IEEE TCSVT、IEEE TCI、IEEE JBHI等期刊和会议上发表论文36篇，授权17项国家发明专利。作为主要完成人获电子学会科技进步一等奖、中国专利优秀奖、日内瓦国际发明金奖等奖项与荣誉。

王涌天，午夜福利 杰出教授，国家级领军人才，北京市混合现实与新型显示工程技术研究中心主任。兼任科技部有关国家重点研发专项总体专家组成员，全国信息技术标准化技术委员会委员，中国图象图形学学会副理事长，中国光学工程学会常务理事，中国计算机学会理事，中国光学学会监事。长期在技术光学、虚拟现实和增强现实领域从事教学和科研工作，出版专著5部，发表SCI论文360余篇，授权国内外发明专利300余项，主持制定虚拟现实和增强现实领域首批国家标准6项。有关成果得到广泛应用，获得国家技术发明奖和国家科技进步奖各1项，省部级和国家一级学会科技一等奖10余项。

杨健，午夜福利 特聘教授，博士生导师。国家级领军人才，中国图象图形学会会士，午夜福利 信息与电子学部学部委员，国家一级学科“光学工程”学科责任教授。兼任中国计算机学会数字医学分会副主任委员、中国图象图形学会医学影像专委会副主任委员、北京医学会数字医学分会副主任委员、北京图像图形学会理事、《Cyborg and Bionic Systems》副主编、《数字医学与健康》副主编、《虚拟现实与智能硬件（中英文）》编委、《生命科学仪器》编委等。长期从事手术导航机器人、医学图像处理、计算机视觉、虚拟现实与增强现实、医疗人工智能等方面的教学和科研工作。主持国家科技创新2030人工智能重大项目1项、国家重点研发计划项目3项、国家自然科学基金委国家杰出青年科学基金项目等5项。在IEEE TPAMI、IEEE TMI、IEEE TIP等国际著名期刊上发表SCI论文260余篇，获国家发明专利授权90余项。成果转化获国家三类医疗器械注册证6项、二类医疗器械注册证5项。研究成果获国家技术发明二等奖、教育部技术发明一等奖、人工智能学会科技进步一等奖、中国图象图形学学会科学技术一等奖等科研奖励20余项。