成果一：基于眼动的病变检测方法
近日，南京大学智能科学与技术学院单彩峰教授和房钰棋助理教授联合上海科技大学等单位，提出了一种基于眼动信息的端到端病变检测框架GAA-DETR，显著提升了医学图像中病灶识别的准确性与可解释性。该研究通过引入临床医生的注视数据，突破传统检测模型过度依赖边界标注、忽视病灶内部语义特征的局限性，为计算机辅助诊断系统提供了更贴合临床认知的视觉感知范式。
研究团队设计了一种查询级注意力对齐机制（Query-Level Alignment），涵盖三大核心模块：（1）自适应视线核：结合医生不同放大倍率下的浏览行为，动态调整视线热力图生成方式，更精准地还原临床关注区域；（2）视线引导匹配模块：在候选框级别建立模型注意力与医生视线的一一对应，实现模型特征与医生临床关注区域的深度对齐；（3）查询一致性损失：引入新的损失函数，有效促使模型注意力分布与医生视线保持空间一致，从而提升模型判读的临床合理性。该方法首次实现了无需推断阶段注视输入的全自监督训练，具备良好的兼容性与可扩展性，可即插即用于主流检测架构（如DETR、DINO、RT-DETR）。
图1. 基于眼动的病变检测方法示意图
同时，研究团队构建并开源了首个医学病灶检测注视数据集，包含1,669条高质量注视轨迹，涵盖乳腺钼靶与宫颈TCT影像，并提供完整的边界框与注视热图标注，为基于注视的检测方法研究提供了实验数据。
图2. 所提方法与对比方法的结果可视化图
实验结果表明，该方法在乳腺肿瘤、宫颈念珠菌等多项检测任务中均显著优于现有主流方法，验证了其临床实用价值。该项研究已被医学图像分析领域顶级会议MICCAI 2025提前接收，并被评为Spotlight论文。其中共同第一作者为我院2022级本科生彭智祥。
成果二：不确定性驱动的多模态MRI融合方法
近日，南京大学智能科学与技术学院单彩峰教授和房钰棋助理教授联合首都医科大学，提出了一种不确定性驱动的多模态MRI融合（Uncertainty-aware Multimodal MRI Fusion, UMMF）方法，成功应用于HIV相关的无症状神经认知损伤预测。该研究针对现有多模态融合方法中的“模态懒惰”问题，提出创新解决方案，有效提升了模型对多模态信息的利用效率，显著提高了预测精度。
图3. 不确定性驱动的多模态MRI融合方法示意图
UMMF框架集成了结构性MRI（sMRI）、功能性MRI（fMRI）与扩散张量成像（DTI），通过不确定性驱动的交替单模态训练策略，减少了单一模态的主导效应，增强了多模态特征的提取与融合。同时，研究团队引入随机网络预测方法，对不同模态的不确定性进行量化赋权，实现了更加稳健可靠的预测性能。
实验结果显示，UMMF在多个评价指标上均超越了现有最先进方法，在HIV相关的无症状神经认知损伤预测中取得了显著突破。值得注意的是，该方法不仅提升了预测的准确性，还能够识别与疾病相关的关键脑区，为临床早期干预提供了潜在生物标志物。
图4. 所提方法具备临床可解释性
该成果被医学图像分析领域顶级会议MICCAI 2025接收，为多模态医学影像的智能分析与临床应用提供了新的技术支撑。未来，研究团队将进一步优化方法，探索病种特异性的编码器设计，并拓展至其他脑部疾病预测任务中。
