神经影像数据处理方法、装置、电子设备及存储介质制造方法及图纸

本公开涉及神经影像数据处理方法、装置、电子设备及存储介质，上述方法包括：获取目标神经影像数据，并将目标神经影像数据转换为时间序列信号和动态图。其中，时间序列信号包括目标神经影像数据的时间依赖关系，动态图包括目标神经影像数据的时间依赖关系以及空间依赖关系。把时间序列信号和动态图输入时空图特征提取模型，获得目标神经影像数据的全尺度图表征信息。全尺度图表征信息包括目标神经影像数据的时空特征信息，能够捕捉时间和空间维度之间的内在依赖关系以及不同大脑区域之间的时间依赖关系。这些特征信息有助于更深入地理解目标神经影像数据的时空特性，并为后续的分类和预测任务提供了重要的基础。类和预测任务提供了重要的基础。类和预测任务提供了重要的基础。

【技术实现步骤摘要】
神经影像数据处理方法、装置、电子设备及存储介质


[0001]本公开涉及生物信息
，尤其涉及神经影像数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]人脑作为一个高度复杂的神经生物学系统，在协调人类行为和认知方面起着至关重要的作用。大脑的活动在不同脑区之间存在着相互作用和调控关系，同时还受到时间上的动态变化影响。研究人员通过各种神经成像技术，如磁共振成像(MRI)、脑电图(EEG)、功能性近红外光谱(fNIRS)等，来捕捉人类的大脑活动，并采用时空图神经网络提取医学影像数据中的时空特征信息。
[0003]时空图神经网络(STGNN)是GNN的一个新兴分支，用于处理时间序列数据，它在捕获大脑活动随时间的动态变化方面显示出巨大的前景。然而，直接将STGNN应用于脑网络分析有一些固有的局限性需要解决。首先，现有的STGNN独立或交替地对空间和时间依赖性的建模方法，虽然能捕捉到空间依赖和时间依赖，但却无法同时捕捉时间和空间维度之间的内部依赖关系。第二，STGNN通常利用一维卷积神经网络(1DCNN)来捕捉时间维度上的动态依赖。然而，由于卷积运算的核大小有限，这些模型无法捕获超出卷积核感受野的长距离依赖关系，从而导致神经影像全局表征的缺失。第三，由于大脑活动是一个动态过程，大脑区域之间的连接随着时间的推移而变化，现有的STGNN无法捕获不同大脑区域的时间依赖性。以上三个问题均导致现有的STGNN无法获取完整且准确的时空特征信息。

技术实现思路

[0004]根据本公开的第一方面，提供了一种神经影像数据处理方法，包括：
[0005]获取目标神经影像数据；
[0006]将所述目标神经影像数据转换为时间序列信号和动态图；所述时间序列信号包括所述目标神经影像数据的时间依赖关系，所述动态图包括所述目标神经影像数据的时间依赖关系以及空间依赖关系；
[0007]把所述时间序列信号和所述动态图输入时空图特征提取模型，获得所述目标神经影像数据的全尺度图表征信息；所述全尺度图表征信息包括所述目标神经影像数据的时空特征信息。
[0008]根据本公开的第二方面，提供了一种神经影像数据处理装置，包括：
[0009]数据获取模块，用于获取目标神经影像数据；
[0010]数据处理模块，用于将所述目标神经影像数据转换为时间序列信号和动态图；所述时间序列信号包括所述目标神经影像数据的时间依赖关系，所述动态图包括所述目标神经影像数据的时间依赖关系以及空间依赖关系；
[0011]所述数据处理模块，还用于把所述时间序列信号和所述动态图输入时空图特征提取模型，获得所述目标神经影像数据的全尺度图表征信息；所述全尺度图表征信息包括所
述目标神经影像数据的时空特征信息。
[0012]根据本公开的第三方面，提供了一种电子设备，包括：
[0013]处理器；以及，
[0014]存储程序的存储器；
[0015]其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据本公开示例性实施例所述的方法。
[0016]根据本公开的第四方面，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行根据本公开示例性实施例所述的方法。
[0017]本公开实施例中提供的一个或多个技术方案，先将目标神经影像数据转换为时间序列信号和动态图。时间序列信号包括目标神经影像数据在时间维度上的演变关系，动态图包括目标神经影像数据在时间和空间维度上的演变关系。然后，将时间序列信号和动态图输入到时空图特征提取模型中，以获得目标神经影像数据的全尺度图表征信息。全尺度图表征信息包含了从目标神经影像数据中提取的丰富时空特征信息，能够捕捉时间和空间维度之间的内在依赖关系以及不同大脑区域之间的时间依赖关系。这些特征信息有助于更深入地理解目标神经影像数据的时空特性，并为后续的分类和预测任务提供了重要的基础。
附图说明
[0018]在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
[0019]图1示出了基于STIGR框架的时空图特征提取模型的流程图；
[0020]图2A示出了动态自适应邻居图；
[0021]图2B示出了基于DAN构造的邻接矩阵；
[0022]图2C示出了动态自适应相邻图卷积网络的流程图；
[0023]图3示出了全局时空双重注意网络(ST
‑
DAN)流程图；
[0024]图4示出了基于对比学习的时空特征融合模块(CL
‑
AM)结构图；
[0025]图5示出了本公开提出的神经影像数据处理方法与其它方法的性能比较图；
[0026]图6示出了本公开示例性实施例的神经影像数据处理方法的流程图；
[0027]图7示出了根据本公开示例性实施例的神经影像数据处理装置的功能模块示意性框图；
[0028]图8示出了根据本公开示例性实施例的芯片的示意性框图；
[0029]图9示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0030]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0031]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0032]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”“术语”“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0033]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0034]可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
[0035]在介绍本公开实施例之前首先对本公开实施例中涉及到的相关名词作如下释义：
[0036]脑部关键区域(Regions ofInterest,ROIs)：在脑科学和神经影像学领域中，ROI本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经影像数据处理方法，其特征在于，所述方法包括：获取目标神经影像数据；将所述目标神经影像数据转换为时间序列信号和动态图；所述时间序列信号包括所述目标神经影像数据的时间依赖关系，所述动态图包括所述目标神经影像数据的时间依赖关系以及空间依赖关系；把所述时间序列信号和所述动态图输入时空图特征提取模型，获得所述目标神经影像数据的全尺度图表征信息；所述全尺度图表征信息包括所述目标神经影像数据的时空特征信息。2.根据权利要求1所述的方法，其特征在于，所述时空图特征提取模型包括动态自适应相邻图卷积网络、全局时空双重注意网络、基于对比学习的时空特征融合模块以及门控融合模块；采用所述门控融合模块对时间注意力信息和局部图表征信息进行融合，获得所述目标神经影像数据的全尺度图表征信息；所述时间注意力信息包括同一脑部关键区域的不同时间点的全局信息，所述局部图表征信息包含了所述目标神经影像数据的时空特征信息。3.根据权利要求2所述的方法，其特征在于，包括：将所述时间序列信号输入所述全局时空双重注意网络，获得时间注意力信息和空间注意力信息；所述空间注意力信息包括在同一时间点的不同脑部关键区域之间的全局信息；融合所述时间注意力信息和所述空间注意力信息，获得时间
‑
空间注意力融合信息。4.根据权利要求3所述的方法，其特征在于，包括：将所述空间注意力信息输入所述时空特征融合模块，并将所述空间注意力信息划分为时间点d特征信息和时间点d
‑
1特征信息；所述时间点d表示目标时间点，所述时间点d
‑
1表示目标时间点的前一时间点；将所述时间点d特征信息和时间点d
‑
1特征信息分别转换为第一向量和第二向量；对所述第一向量和所述第二向量进行相似性计算，判断所述第一向量和所述第二向量是否属于同一类别。5.根据权...

【专利技术属性】
技术研发人员：黄志安，刘瑞，
申请(专利权)人：香港城市大学东莞筹，
类型：发明
国别省市：