一种基于时空智能体的医学图像多模态配准方法技术

本发明专利技术涉及一种时空智能体的医学图像多模态配准方法，将不同模态的动态图像和固态图像输入到构建好的神经网络中，通过神经网络中的卷积神经网络模块提取图像的高层抽象特征，然后卷积长短时记忆网络模块自动提取高层抽象特征中序列间的时序和空间信息，经过神经网络后输出当前状态值和策略动作的概率分布，时空智能体对动态图像实施概率最大的动作，在当前状态值达到阈值前，循环进行配准，直到循环结束；最后对配准图像进行蒙特卡洛采样得到最终配准结果。本发明专利技术的卷积长短时记忆模型通过卷积来捕获图像内部的空间关系和时序信息，配准精度更高。

【技术实现步骤摘要】
一种基于时空智能体的医学图像多模态配准方法
本专利技术涉及图像处理领域，尤其涉及一种基于时空智能体的医学图像多模态配准方法。
技术介绍
多模医学图像处理是当前图像处理中的研究热点，对于临床诊断和治疗都有着重要的意义。不同模态的图像提供了患者的不同信息，解剖图像(如CT、MRI)提供了人体解剖形态结构的信息，功能图像(如SPECT、PET)提供了人体内放射性浓度分布的功能信息，这些不同信息需要通过合成得到信息更为全面的融合图像。而要得到有用的融合图像，不同模态的图像需经配准处理。医学图像配准是通过寻找某种空间变换，使两幅图像的对应点达到空间位置和解剖结构上的完全一致。要求配准的结构能使两幅图像上所有的解剖点，或至少是所有临床诊断意义区域的点都达到匹配。医学图像的融合是指将至少两幅来自不同成像设备或不同时刻获取的已配准图像，采用某种算法，把各个图像的优点或互补性有机结合起来，获得信息量更丰富的新图像的技术。图像配准是图像融合的第一步，也是实现图像融合的先决条件。只有实现了待融合图像的配准，才能实现相应组织之间的融合，如果对应组织的配准有较大偏差，那么融合图像也是不准确的。医学图像配准方法有很多种，基本上可分为基于图像外部特征的配准、基于图像内部特征的配准和基于像素灰度的配准。基于图像外部特征的配准方法是依靠放置在患者身体上的可以显像的人工标记物来确定配准参数。缺点是必须在图像成像阶段使用标记物，因而无法实现图像回溯性配准研究。相对于基于外部特征配准，基于内部特征的配准具有无创性和可回溯性的优势，图像内部特征可以是已知的标记点对，也可以是可分割的结构线或面。基于像素灰度的图像配准方法是将每幅图像的灰度值视作一个一维离散随机变量，将图像灰度分布视作随机变量的样本值，直接对图像的灰度操作，不需要预处理和图像分割来提取图像特征。配准过程仅依赖于原始图像信息，不需要人工干预，无需特征点提取或进行曲线或曲面的分割，可靠性较强；对图像灰度不均匀、几何失真及数据缺失等不敏感，算法本身不依赖于成像设备；可用于多模医学图像融合，最大缺点是计算量大且耗时长。传统的图像配准都是手动设计的，对多模态图像配准的适应性差。手动设计通常是先提取出图像中人工指定的一些特征，如图像梯度、几何形状、边缘、特征点和灰度值等，然后寻找固态图像和动态图像在这些特征间的关系，最后需要针对不同的特征关系设置对应的方法进行配准。目前深度学习常用的方法是使用卷积神经网络直接估计配准变换矩阵的参数。此类方法需要设置一个相似度测量函数用于描述配准的好坏，通过使用估计的变换矩阵对动态图像进行变换，再通过最大化动态图像和固态图像间的相似度来优化网络参数。相似度测量函数的选择对配准结果的影响往往非常巨大，该函数的设计在当前是一个热门的研究领域。基于深度学习的方法对数据的质量和数量都有很高的要求，但医学图像的配准数据集很难寻找且通常是小数据集。因此，如何在小数据集的基础上提高医学图像的配准效果成为需要医学图像领域需要解决的难题。
技术实现思路
针对现有技术之不足，一种基于时空智能体的医学图像多模态配准方法，所述方法包括：步骤1：准备不同模态的待配准图像，所述待配准图像包括固态图像和动态图像；步骤2：将所述待配准图像输入到构建好的神经网络中进行特征提取，所述神经网络包括卷积神经网络模块和卷积长短时记忆网络模块；步骤3：所述待配准图像经过所述神经网络后输出当前状态值和策略活动的概率分布；步骤4：根据所述策略动作的概率分布，时空智能体根据概率最大的动作对所述动态图像进行动作；步骤5：环境根据时空智能体实施的动作返回一个奖励值，并将动作后的所述动态图像和固态图像再输入到所述神经网络中，循环步骤2至步骤5；步骤6：当所述当前状态值达到设定的阈值，停止循环；步骤7：对当前配准图像进行蒙特卡洛采样并输出最终配准结果。根据一种具体的实施方式，所述卷积神经网络模块包括：所述卷积网络模块由8-10层卷积层构成，其中每层卷积层后紧接着一个指数线性单元，然后使用归一化层对数据进行规范化处理，输出512个大小为7×7的第一特征图，所述卷积神经网络用于自动提取并压缩所述固态图像和所述动态图像的高层抽象特征，并将所述第一特征图输入卷积长短时网络记忆模块；所述卷积长短时记忆网络模块由一个单层的卷积长短时记忆网络层、一个全局均值池化层和两个全连接层组成，其中所述卷积长短时记忆网络层使用了512个隐藏单元，输出512个7×7的第二特征图，接着使用全局均值池化层对所述第一特征图进行池化，再使用两个全连接层输出一个长度为8的向量表示动作分布以及一个单独的值作为当前状态值，所述卷积长短时记忆网络模块用于在所述抽象特征的序列间捕获时序和空间信息。根据一种具体的实施方式，所述状态值通过将一组固态图像和动态图像输入到所述神经网络后使用一个全连接层得到；所述策略动作的概率分布通过将一组固态图像和动态图像输入到所述神经网络后，再经过一个全连接层输出所有的动作个数，再使用softmax函数得到所有动作的概率分布。根据一种具体的实施方式，对所述动态图像进行的动作指对动态图像坐标进行仿射变换，所述变换包括旋转、平移和缩放，从而使所述动态图像与所述固态图像配准。根据一种具体的实施方式，将所述待配准图像输入到所述神经网络之前，对待配准图像进行预处理，所述预处理操作为将固态图像和动态图像放缩或修剪到同样大小尺寸，再堆叠在一起送入构建好的神经网络。根据一种具体的实施方式，对当前配准图像进行蒙特卡洛采样的具体步骤为：从当前状态开始，所述智能体同时探索多条配准路径，即所述智能体对当前状态反复配准15次至20次，最后采用反复配准的一个均值作为最终的配准结果。与现有技术相比，本专利技术的有益效果在于：1、本专利技术是端到端的配准技术，可以自动的提取图像的抽象特征进行配准而无需人工设计特征，配准效率高、效果好。2、采用基于A3C的异步强化学习避免了一般深度学习方法中需要大量数据集的问题，智能体逐步的进行学习和配准，对不同数据集和图像间不同变换程度的适应性更强，泛化能力更优秀。3、本专利技术引入的时空智能体，使用了卷积长短时记忆网络模块自动提取高层抽象特征中的序列间的时序和空间信息，充分的利用了图像间的时序信息和空间信息进行自动配准，使得学习更佳快速，配准效果更加精确。4、在配准过程中使用蒙特卡洛采样提升最终配准结果。附图说明图1是本专利技术方法的流程示意图；图2是本专利技术技术方案的效果对比图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本专利技术进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。下面结合附图进行详细说明。本专利技术的时空智能体是指：一种利用卷本文档来自技高网...

【技术保护点】
1.一种基于时空智能体的医学图像多模态配准方法，其特征在于，所述方法包括：/n步骤1：准备不同模态的待配准图像，所述待配准图像包括固态图像和动态图像；/n步骤2：将所述待配准图像输入到构建好的神经网络中进行特征提取，所述神经网络包括卷积神经网络模块和卷积长短时记忆网络模块；/n步骤3：所述待配准图像经过所述神经网络后输出当前状态值和策略活动的概率分布；/n步骤4：根据所述策略动作的概率分布，时空智能体根据概率最大的动作对所述动态图像进行动作；/n步骤5：环境根据时空智能体实施的动作返回一个奖励值，并将动作后的所述动态图像和固态图像再输入到所述神经网络中，循环步骤2至步骤5；/n步骤6：当所述当前状态值达到设定的阈值，停止循环；/n步骤7：对当前配准图像进行蒙特卡洛采样并输出最终配准结果。/n

【技术特征摘要】
1.一种基于时空智能体的医学图像多模态配准方法，其特征在于，所述方法包括：
步骤1：准备不同模态的待配准图像，所述待配准图像包括固态图像和动态图像；
步骤2：将所述待配准图像输入到构建好的神经网络中进行特征提取，所述神经网络包括卷积神经网络模块和卷积长短时记忆网络模块；
步骤3：所述待配准图像经过所述神经网络后输出当前状态值和策略活动的概率分布；
步骤4：根据所述策略动作的概率分布，时空智能体根据概率最大的动作对所述动态图像进行动作；
步骤5：环境根据时空智能体实施的动作返回一个奖励值，并将动作后的所述动态图像和固态图像再输入到所述神经网络中，循环步骤2至步骤5；
步骤6：当所述当前状态值达到设定的阈值，停止循环；
步骤7：对当前配准图像进行蒙特卡洛采样并输出最终配准结果。


2.如权利要求1所述的医学图像多模态配准方法，其特征在于，所述方法包括：
所述卷积神经网络模块包括：所述卷积网络模块由8-10层卷积层构成，其中每层卷积层后紧接着一个指数线性单元，然后使用归一化层对数据进行规范化处理，输出512个大小为7×7的第一特征图，所述卷积神经网络用于自动提取并压缩所述固态图像和所述动态图像的高层抽象特征，并将所述第一特征图输入卷积长短时网络记忆模块；
所述卷积长短时记忆网络模块由一个单层的卷积长短时记忆网络层、一个全局均值池化层和两个全连接层组成，其中所述卷积长短时记忆网络层使用了512个隐藏单元，...

【专利技术属性】
技术研发人员：胡靖，罗梓巍，姚明青，吴锡，
申请(专利权)人：成都信息工程大学，
类型：发明
国别省市：四川;51