科研进展

IEEE TMI | 基于大模型的低剂量PET重建技术

时间:2025-01-13  来源:医工所 文本大小:【 |  | 】  【打印

2025年1月8日,中国科学院深圳先进技术研究院(以下简称“深圳先进院”)医工所、医学成像科学与技术系统全国重点实验室胡战利研究员团队开发了一种基于大模型的低剂量PET图像重建技术,在重建过程中高效提取和整合了基础模型的先验信息,使低剂量PET重建技术在精度和安全上实现了提升。

研究成果以Prompt-Agent-Driven Integration of Foundation Model Priors for Low-Count PET Reconstruction”为题发表在医学成像领域TOP期刊IEEE Transactions on Medical Imaging上。提出方法创新性的利用大模型技术来辅助低剂量PET图像重建,为低剂量PET成像技术提供了全新思路。

正电子发射断层成像(PET)作为当今核医学尖端技术的代表,主要用于肿瘤、心脑血管等重大疾病的早期诊断和治疗。低剂量成像是PET技术的发展趋势,旨在降低辐射剂量的同时保持图像质量。目前,低剂量PET图像重建通常利用配对的CT或MR图像作为解剖先验信息。先验信息的引入有效提升了传统低剂量PET成像方法的性能,但也导致了辐射增加或扫描时间延长、以及数据处理复杂度提高等问题。

近年来,随着人工智能技术的快速发展,大模型逐渐成为人工智能领域中最为重要的发展方向之一。大模型相较于传统人工智能模型更具优势,其通过大规模的预训练获取了丰富的跨模态和高层次先验知识,具有更强的泛化能力,能够动态适配不同的下游任务。其中,医学大模型因其在预训练阶段接触了大量的CT/MR数据,能够提取这些数据的核心特征并具有卓越的泛化能力。因此,利用大模型作为先验信息的替代来源,有望摆脱当前低剂量PET图像重建对配对CT/MR数据的依赖,可以有效减少辐射暴露、缩短扫描时间并优化成像流程。此外,相较于传统的深度学习技术,大模型可以提供更加鲁棒和丰富的先验特征,有望提高PET图像重建效果和网络模型的泛化性。

研究团队通过融合医学图像基础模型的深层先验知识,优化了低剂量PET图像重建流程。医学视觉大模型经过大量CT/MR数据的预训练,掌握了CT/MR的本质特征,团队利用这些特征替代了传统的CT/MR先验数据,通过代理机器人框架动态提取医学图像大模型的先验信息,从而降低了辐射风险、缩短了扫描时间并简化了重建流程。实验结果表明,该技术无需依赖配对的标准CT/MR扫描数据,即可实现高质量的PET图像重建,并超越了现有CT/MR配对数据重建算法的效果。提出方法不仅有效保留了图像细节、显著抑制了噪声,同时在精度和一致性上与“金标准”高度契合。此外,得益于基础模型的优异泛化性,提出方法在Zero-short等场景上也具有良好的表现。

胡战利研究员为论文通讯作者,博士后谢行雨和客座研究生赵文杰为论文共同第一作者。该研究得到了国自然数学天元重点专项、国家重点研发计划重大科学仪器设备研发重点专项、国家重点研发计划战略性科技创新合作重点专项等项目的资助。


图1:提出方法的总体技术路线图


图2:提出方法与现有配对CT/MR解剖先验方法的对比