【技术实现步骤摘要】
本专利技术涉及医学影像分析和计算机视觉，尤其涉及一种脑部图像的处理方法和装置。
技术介绍
1、近年来，磁共振成像对于减缓精神类疾病的症状恶化、提高患者生活质量至关重要。静息态功能磁共振成像(resting-state function magnetic resonance imaging，rs-fmri)是诊断脑部精神类疾病常用的医学影像模态，并在最新的脑部疾病诊断中展现出重要的作用。以对双相情感障碍(bipolar disorder，bd)精神疾病的医学影像进行图像处理为例，目前主要集中在将静息态功能磁共振成像(rs-fmri)的功能连接矩阵(是rs-fmri数据经过处理后得到的不同功能脑区之间的连接矩阵)作为深度学习模型的输入来进行医学影像的图像处理，以达到结合图像处理结果进行精神类疾病诊断的目的。
2、在实现本专利技术过程中，专利技术人发现，现有技术的脑部图像处理方式会导致对于rs-fmri数据的时间序列蕴含的丰富时间信息利用不充分，且对脑部磁共振图像的特征利用率低，从而导致图像处理结果的精度不足，图像处理准确率不高。
技术实现思路
1、有鉴于此，本专利技术实施例提供一种脑部图像的处理方法和装置，能够充分利用脑部磁共振图像数据的特征来进行特征分类和图像处理，不仅提高了对于rs-fmri数据的时间序列蕴含的时间信息的利用率，而且提高了图像处理结果的精度和图像处理准确率。
2、为实现上述目的，根据本专利技术实施例的一个方面，提供了一种脑部图像的处理方法，包
3、对第一模态的脑部磁共振图像使用时空特征提取单元进行特征提取得到脑区的时空特征；
4、对第二模态的脑部磁共振图像通过卷积池化层进行特征提取得到脑区的结构特征；
5、基于自注意力机制，对所述时空特征和所述结构特征进行特征增强处理和特征聚合处理，得到所述时空特征对应的聚合时空特征和所述结构特征对应的聚合结构特征；
6、根据所述聚合时空特征和所述聚合结构特征进行特征分类，得到图像处理结果。
7、可选地，所述第一模态的脑部磁共振图像为静息态功能磁共振成像；所述第二模态的脑部磁共振图像为t1加权后的结构磁共振成像。
8、可选地，所述时空特征提取单元包括串联的空间特征提取模块和时间特征提取模块，所述空间特征提取模块包括第一卷积层和第一批归一化层，且在时间维度的感受野为1；所述时间特征提取模块包括第二卷积层和第二批归一化层，且在空间维度的感受野为1，其中，所述感受野为神经网络中神经元对图像的感受范围。
9、可选地，对第一模态的脑部磁共振图像使用时空特征提取单元进行特征提取得到脑区的时空特征，包括：使用所述空间特征提取模块对所述第一模态的脑部磁共振图像进行特征提取得到空间特征；使用所述时间特征提取模块对所述空间特征进行特征提取得到时间特征；根据所述空间特征和所述时间特征得到脑区的时空特征。
10、可选地，使用所述时间特征提取模块对所述空间特征进行特征提取得到时间特征，包括：通过将所述第二卷积层的卷积核移动步长设置为2，使用所述时间特征提取模块对所述空间特征进行时间特征提取和下采样处理，得到所述时间特征。
11、可选地，所述时空特征提取单元还包括原始特征提取模块，且所述时空特征提取单元利用神经网络的残差结构，结合所述原始特征提取模块、所述空间特征提取模块和所述时间特征提取模块进行特征提取。
12、可选地，基于自注意力机制，对所述时空特征和所述结构特征进行特征增强处理和特征聚合处理，得到所述时空特征对应的聚合时空特征和所述结构特征对应的聚合结构特征，包括：对所述时空特征和所述结构特征进行维度对齐并拼接处理后输入至自注意力网络中以进行特征增强处理，得到自注意力特征；对所述自注意力特征进行维度变换，将维度变换后的自注意力特征与所述时空特征进行特征聚合处理得到所述时空特征对应的聚合时空特征，以及，将维度变换后的自注意力特征与所述结构特征进行特征聚合处理得到所述结构特征对应的聚合结构特征。
13、可选地，在根据所述聚合时空特征和所述聚合结构特征进行特征分类之前，还包括：在图像的深度维度上对所述聚合结构特征进行平均操作，得到指定维度的聚合结构特征；使用自适应平均池化的方式对所述指定维度的聚合结构特征进行维度调整，直至与所述聚合时空特征的维度相同；将进行维度调整后的聚合结构特征与所述聚合时空特征进行特征聚合得到所述聚合时空特征和所述聚合结构特征的聚合特征。
14、可选地，根据所述聚合时空特征和所述聚合结构特征进行特征分类，包括：对所述聚合时空特征和所述聚合结构特征的聚合特征进行卷积操作以进行不同模态的脑部磁共振图像的特征融合；将融合后的特征输入至多层感知机进行特征分类。
15、根据本专利技术实施例的另一方面，提供了一种脑部图像的处理装置，包括：
16、时空特征提取模块，用于对第一模态的脑部磁共振图像使用时空特征提取单元进行特征提取得到脑区的时空特征；
17、结构特征提取模块，用于对第二模态的脑部磁共振图像通过卷积池化层进行特征提取得到脑区的结构特征；
18、特征处理模块，用于基于自注意力机制，对所述时空特征和所述结构特征进行特征增强处理和特征聚合处理，得到所述时空特征对应的聚合时空特征和所述结构特征对应的聚合结构特征；
19、特征分类模块，用于根据所述聚合时空特征和所述聚合结构特征进行特征分类，得到图像处理结果。
20、可选地，所述第一模态的脑部磁共振图像为静息态功能磁共振成像；所述第二模态的脑部磁共振图像为t1加权后的结构磁共振成像。
21、可选地，所述时空特征提取单元包括串联的空间特征提取模块和时间特征提取模块，所述空间特征提取模块包括第一卷积层和第一批归一化层，且在时间维度的感受野为1；所述时间特征提取模块包括第二卷积层和第二批归一化层，且在空间维度的感受野为1，其中，所述感受野为神经网络中神经元对图像的感受范围。
22、可选地，所述时空特征提取模块还用于：使用所述空间特征提取模块对所述第一模态的脑部磁共振图像进行特征提取得到空间特征；使用所述时间特征提取模块对所述空间特征进行特征提取得到时间特征；根据所述空间特征和所述时间特征得到脑区的时空特征。
23、可选地，所述时空特征提取模块在使用所述时间特征提取模块对所述空间特征进行特征提取得到时间特征时，还用于：通过将所述第二卷积层的卷积核移动步长设置为2，使用所述时间特征提取模块对所述空间特征进行时间特征提取和下采样处理，得到所述时间特征。
24、可选地，所述时空特征提取单元还包括原始特征提取模块，且所述时空特征提取单元利用神经网络的残差结构，结合所述原始特征提取模块、所述空间特征提取模块和所述时间特征提取模块进行特征提取。
25、可选地，所述特征处理模块还用于：对所述时空特征和所述结构特征进行维度对齐并拼接处理后输入至自注意力网络中以进行特征增强处理，得本文档来自技高网...
【技术保护点】
1.一种脑部图像的处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一模态的脑部磁共振图像为静息态功能磁共振成像；所述第二模态的脑部磁共振图像为T1加权后的结构磁共振成像。
3.根据权利要求1所述的方法，其特征在于，所述时空特征提取单元包括串联的空间特征提取模块和时间特征提取模块，所述空间特征提取模块包括第一卷积层和第一批归一化层，且在时间维度的感受野为1；所述时间特征提取模块包括第二卷积层和第二批归一化层，且在空间维度的感受野为1，其中，所述感受野为神经网络中神经元对图像的感受范围。
4.根据权利要求3所述的方法，其特征在于，对第一模态的脑部磁共振图像使用时空特征提取单元进行特征提取得到脑区的时空特征，包括：
5.根据权利要求4所述的方法，其特征在于，使用所述时间特征提取模块对所述空间特征进行特征提取得到时间特征，包括：
6.根据权利要求3所述的方法，其特征在于，所述时空特征提取单元还包括原始特征提取模块，且所述时空特征提取单元利用神经网络的残差结构，结合所述原始特征提取模块、所述空间特征提
7.根据权利要求1所述的方法，其特征在于，基于自注意力机制，对所述时空特征和所述结构特征进行特征增强处理和特征聚合处理，得到所述时空特征对应的聚合时空特征和所述结构特征对应的聚合结构特征，包括：
8.根据权利要求1所述的方法，其特征在于，在根据所述聚合时空特征和所述聚合结构特征进行特征分类之前，还包括：
9.根据权利要求1或8所述的方法，其特征在于，根据所述聚合时空特征和所述聚合结构特征进行特征分类，包括：
10.一种脑部图像的处理装置，其特征在于，包括：
11.根据权利要求10所述的装置，其特征在于，所述第一模态的脑部磁共振图像为静息态功能磁共振成像；所述第二模态的脑部磁共振图像为T1加权后的结构磁共振成像。
12.根据权利要求10所述的装置，其特征在于，所述时空特征提取单元包括串联的空间特征提取模块和时间特征提取模块，所述空间特征提取模块包括第一卷积层和第一批归一化层，且在时间维度的感受野为1；所述时间特征提取模块包括第二卷积层和第二批归一化层，且在空间维度的感受野为1，其中，所述感受野为神经网络中神经元对图像的感受范围。
13.根据权利要求12所述的装置，其特征在于，所述时空特征提取模块还用于：
14.根据权利要求13所述的装置，其特征在于，所述时空特征提取模块在使用所述时间特征提取模块对所述空间特征进行特征提取得到时间特征时，还用于：
15.根据权利要求12所述的装置，其特征在于，所述时空特征提取单元还包括原始特征提取模块，且所述时空特征提取单元利用神经网络的残差结构，结合所述原始特征提取模块、所述空间特征提取模块和所述时间特征提取模块进行特征提取。
16.根据权利要求10所述的装置，其特征在于，所述特征处理模块还用于：
17.根据权利要求10所述的装置，其特征在于，还包括特征预处理模块，用于：
18.根据权利要求10或17所述的装置，其特征在于，所述特征分类模块还用于：
19.一种电子设备，其特征在于，包括：
20.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。
...【技术特征摘要】
1.一种脑部图像的处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一模态的脑部磁共振图像为静息态功能磁共振成像；所述第二模态的脑部磁共振图像为t1加权后的结构磁共振成像。
3.根据权利要求1所述的方法，其特征在于，所述时空特征提取单元包括串联的空间特征提取模块和时间特征提取模块，所述空间特征提取模块包括第一卷积层和第一批归一化层，且在时间维度的感受野为1；所述时间特征提取模块包括第二卷积层和第二批归一化层，且在空间维度的感受野为1，其中，所述感受野为神经网络中神经元对图像的感受范围。
4.根据权利要求3所述的方法，其特征在于，对第一模态的脑部磁共振图像使用时空特征提取单元进行特征提取得到脑区的时空特征，包括：
5.根据权利要求4所述的方法，其特征在于，使用所述时间特征提取模块对所述空间特征进行特征提取得到时间特征，包括：
6.根据权利要求3所述的方法，其特征在于，所述时空特征提取单元还包括原始特征提取模块，且所述时空特征提取单元利用神经网络的残差结构，结合所述原始特征提取模块、所述空间特征提取模块和所述时间特征提取模块进行特征提取。
7.根据权利要求1所述的方法，其特征在于，基于自注意力机制，对所述时空特征和所述结构特征进行特征增强处理和特征聚合处理，得到所述时空特征对应的聚合时空特征和所述结构特征对应的聚合结构特征，包括：
8.根据权利要求1所述的方法，其特征在于，在根据所述聚合时空特征和所述聚合结构特征进行特征分类之前，还包括：
9.根据权利要求1或8所述的方法，其特征在于，根据所述聚合时空特征和所述聚合结构特征进行特征分类，包括：
【专利技术属性】
技术研发人员：范丰梅，石升，王国鑫，安山，周芳汝，王志仁，谭淑平，谭云龙，
申请(专利权)人：北京回龙观医院北京心理危机研究与干预中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。