SIAT新闻网

IEEE JBHI | 突破多模态脑机接口数据瓶颈:生成式AI赋能功能超声图像高保真重建

来源:数字所发布时间:2025-12-22

脑机接口(BCI)作为脑科学、信息科学、材料科学等多学科交叉的核心前沿方向,致力于建立大脑与外部设备的直接通信通道。由于在时间分辨率和采集便携性上的优势,脑电是当前脑机接口的主要数据模态。然而,从神经流形的视角看,大脑语义并非盘踞在某一低维“脑电切片”上,而是镶嵌在随时间快速弯曲、维度可达数十甚至上百的联合流形之中。单模态脑电仅相当于对该高维流形做一次斜向投影,会造成脑机接口解码系统不可逆的语义信息损失。要还原神经流形的真实拓扑,需要同步引入血流动力学、代谢、连接组学等额外维度,把电生理信号与功能磁共振(fMRI)、功能超声(FUS)、fNIRS等异构数据拼成一张“多模态联合图”,才能在更高维的嵌入空间里重新展开被压缩的语义流形,显著降低解码误差并增强BCI系统对环境噪声扰动的鲁棒性。

对于各模态的神经信号采集,研究人员不得不在采集成本、时空分辨率和侵入性之间做出妥协(图1)。以非侵入式技术为例,脑电(EEG)和脑磁(MEG)虽然拥有250-1000 Hz甚至更高的毫秒级时间分辨率,但其空间分辨率往往局限在厘米级别;功能核磁共振(fMRI)虽然能实现全脑覆盖且空间分辨率可达毫米级,但其低至0.5-1 Hz的分辨率和BOLD信号延迟性使其难以捕捉瞬态神经活动。而对于侵入式技术,以犹他电极(Utah Array)为代表的皮层内电极虽能实现单细胞级的极高精度,但极高的侵入性风险极大地限制了其广泛应用。相较而言,功能超声成像(fUS)凭借其兼具微创性与高时空分辨率的优势脱颖而出,能够在大脑硬膜外(微创)条件下,提供50-500微米的高空间分辨率和2-100Hz的较高时间分辨率,显著提升多模态脑机接口系统对大脑意图的解析能力。尽管潜力巨大,但fUS的应用推广面临挑战: 受限于较高的采集成本和复杂的伦理安全审查和操作流程,获取多样化的人类大脑 fUS 样本极为困难。这种样本匮乏直接导致下游的解码模型缺乏足够的训练样本,难以保证解码模型的泛化能力和公平性,从而严重阻碍了多模态脑机接口的落地和推广。

为了突破这一瓶颈,中国科学院深圳先进技术研究院的王书强课题组提出了一种名为UltraVAR的创新解决方案。这是首个专门为人脑功能超声成像设计的fUS数据增强框架,其核心在于利用先进的视觉自回归生成技术来实现高质量人脑fUS增强。该项研究成果发表在国际知名期刊IEEE Journal of Biomedical and Health Informatics上。

UltraVAR通过层级化预测机制重建人脑血管的空间拓扑特征,其核心意义在于能够精准捕捉神经活动诱发微细血管血流状态改变的动态因果关联。该框架在临床数据受限的环境下构建出高保真且符合解剖学规律的血流动力学特征空间,并确保生成的微细血管在主要运动皮层和后顶叶皮层等核心功能区保持生理上的完整性。所提出的UltraVAR为多模态脑机接口解码系统训练提供了多样化的低成本训练样本,突破了解码模型因fUS数据匮乏而面临的泛化能力弱与解码公平性差等瓶颈。

UltraVAR在多个下游脑解码任务的实验验证中展现出优异性能。例如在大脑状态识别的任务场景中,将解码准确率由80.0%提升至88.9%,证明了UltraVAR在提升脑解码能力方面的应用价值。下一步研究团队将构建融合神经动力学和血流动力学约束的基础模型,以强化UltraVAR对大脑高维流形的深度表征,实现跨被试-强泛化性的多模态脑机接口解码,持续推动多模态脑机接口的落地和应用。

数字所陈绪行与李卓为本文共同第一作者,王书强研究员为论文通讯作者。该研究工作得到了国家自然科学基金、国家重点研发计划等科技项目资助。

图1 主流神经信号采集技术在时空分辨率、侵入性及覆盖范围上的对比

图2 UltraVAR视觉自回归框架示意图

图3 不同生成模型的功能超声图像视觉对比



附件下载:

TOP