一种基于深度学习的图像配准方法及装置制造方法及图纸

本发明专利技术提供的基于深度学习的图像配准方法及装置，通过利用胶囊网络构建图像配准模型，由向量特征表示和路由选择机制代替传统深度学习卷积网络中的标量表示和池化机制，逐级连接不同层次的胶囊以进行特征间组合；通过构建基于胶囊向量的图像融合网络，以输出与参考图像同样维度大小的融合图像作为配准输出；通过构建基于图像间相似性度量的损失函数，以反馈训练网络参数，优化无监督学习的配准网络，实现具有高精度、高鲁棒性的图像配准操作。

【技术实现步骤摘要】
一种基于深度学习的图像配准方法及装置
本专利技术涉及图像处理领域，特别涉及一种基于深度学习的图像配准方法及装置。
技术介绍
医学图像配准是指将不同时间、不同成像设备或不同条件下获取的两幅或多幅医学图像进行匹配、叠加的过程。当前，以深度学习为代表的信息技术和高端医学影像技术不断取得重大突破，使用深度学习技术进行配准成为医学图像配准领域新的热点。现有的一种基于卷积神经网络的医学图像配准方法(中国专利申请CN201711017916.8)。该方法通过在卷积神经网络的全连接层的权值矩阵上引入张量列，得到张量卷积神经网络，从而获取具有参数t的至少两幅待配准图像，并获取所述至少两幅待配准图像的图像子模块；其中，所述参数t表示每幅待配准图像对应的3D模型刚体变换参数，所述图像子模块是至少两幅待配准图像在局部的差值，之后将所述图像子模块输入张量卷积神经网络，张量卷积神经网络根据图像子模块计算待配准图像之间关于参数t的参数关系，并根据参数关系对待配准图像进行配准。中国专利申请CN201610404412.0公开了一种基于深度学习的点云配准方法，其将点云图像转换成深度图像表示，并且使用堆叠卷积自动编码器网络提取深度图像的特征；将提取到的深度图像特征作为输入，输入到卷积神经网络中进行训练，之后利用训练好的堆叠卷积自动编码器网络和配准网络计算两片测试点云之间的配准参数。其优点在于算法的适应性强，对噪声点和异常点不敏感，算法实现较为简单。在利用深度学习技术进行医学图像配准的应用中，传统有监督学习方法通过人工标注数据样本，从而实现配准模型的训练。该方式对于大型数据集的应用，其样本标注过程难以实现，并且配准结果易受人工标注质量的影响。另外，图像配准过程中，寻求同一语义内容所对应的角度变换及位置变换是配准需要面对的核心问题。现有基于深度学习的图像配准模型大部分使用卷积操作进行特征提取。然而，在处理同一实例化特征时，通过使用下采样操作保证空间不变性，忽略了图像的空间层次和方向信息，使得对图像的旋转和角度信息不敏感，大部分现有配准模型中使用的卷积操作容易丢失方向特征信息，从而影响配准模型的精度。目前常用的方式中存在以下几点问题：一、现有的深度学习技术处理医学图像配准问题的方法获取图像特征的方式通常采用卷积操作以及池化操作，在处理图像特征的不变性问题时由于配准图像与基准图像的特征存在位置以及角度变换差异，传统卷积神经网络不能够有效的检测其具体方向信息，这种空间变换信息的缺失最终会影响到配准模型的性能。在卷积神经网络中，利用池化操作能够带来空间不变性的效果，当内容发生很小的变化时，例如小尺度的平移旋转等，虽然卷积神经网络仍然能够识别对应内容。但实际上池化操作使其丢失了空间信息，该情况对分类任务影响不大，但是对配准任务影响很大。在使用卷积神经网络进行配准时只有使用数据增强等方式，卷积网络才能做到对旋转等位置变化信息更好的识别，但其本质上存在易丢失图像的空间层次信息和方向信息的问题，使得对配准图像同一语义内容的空间变换信息识别不敏感，从而影响配准精度。二、以上使用深度学习技术进行医学图像配准采用有监督学习方式，有监督的图像配准需要人工对训练样本进行配准图像区域标注，在训练过程中通过预测信息与标签信息进行对比以反馈网络损失，人工进行样本标注的过程耗时耗力，对于大样本量的数据集标注过程周期过长，难以实现。并且人工样本标注高度依赖专业医师的专业知识，大批量的人工样本标注易出现标注误差，配准结果极易受到标注质量的影响。三、传统卷积神经网络采用的池化操作易丢失空间位置信息丢失，达到高精度的结果往往需要训练集有大量并且丰富的训练样本，以供神经网络充分学习各种多样化的目标的形状姿态特征，因此传统深度学习配准模型往往需要大量的训练样本。而对于医学图像处理任务，图像样本由于病人隐私，诊断仪器不同等原因，难以获得规格较为统一的大批量的训练样本，因此传统深度学习配准任务由于网络结构需求大型训练集但事实难以充分获得训练样本，从而影响配准精度。
技术实现思路
本专利技术实施例提供了一种基于深度学习的图像配准方法及装置，具有高精度、高鲁棒性的优点。第一方面，本专利技术提供一种基于深度学习的图像配准方法，所述方法包括：将基准图像和待配准图像作为双通道输入并通过卷积运算提取局部特征；构建胶囊层并将所述局部特征中的低维信息输入所述胶囊层得到具有空间位置信息的高维特征向量；通过所述高维特征向量对配准后的基准图像和待配准图像使用全连接层进行预测重构以使得待配准图像和基准图像的相似度达到最优得到融合图像，将所述融合图像作为配准后图像输出。作为一种可选的方案，所述将基准图像和待配准图像作为双通道输入并通过卷积运算提取局部特征，包括：将基准图像和待配准图像两张图像，以双通道形式输入；通过若干卷积层对待配准图像以及基准图像进行低维信息提取。作为一种可选的方案，所述构建胶囊层并将所述局部特征中的低维信息输入所述胶囊层得到具有空间位置信息的高维特征向量，包括：通过构建胶囊层，将所述低维信息作为输入，输入到所述胶囊层，将待配准图像与基准图像的局部特征的向量集合作为每一个胶囊层的输入输出，通过动态路由算法将底层胶囊单元的特征输出组合为上层特征，逐级组合待配准图像与基准图像关键特征向量，从高级胶囊层提取到具有空间位置信息的高维特征向量。作为一种可选的方案，所述通过所述高维特征向量对配准后的基准图像和待配准图像使用全连接层进行预测重构以使得待配准图像和基准图像的相似度达到最优得到融合图像，将所述融合图像作为配准后图像输出，包括:构建融合图像网络，并优化目标函数,通过高级胶囊层提取到的高维全局特征向量，对配准后的基准图像和待配准图像进行预测与重构,计算配准融合图像与基准图像的梯度互信息作为损失函数，将特征提取网络和配准融合网络参数统一训练，迭代更新转换矩阵参数和胶囊层间的耦合系数，配准图像与基准图像相似度达到最优时迭代结束，获得最终融合图像作为配准后图像输出。作为一种可选的方案，所述通过动态路由算法将底层胶囊单元的特征输出组合为上层特征，逐级组合待配准图像与基准图像关键特征向量，包括：上层配准图像特征提取获得的向量ui输入到本层中，在本层中，前层的输出ui与可优化的转换矩阵Wij相乘得出的预测向量其中：预测向量之间通过线性组合获得向量加权和Sj，其线性组合的系数大小由cij决定，表示为：在获得Sj之后，通过压缩函数将Sj向量长度限定，获得输出向量vj，其计算公式为：该非线性函数前一部分是输入向量Sj的缩放尺度，后一部分是输入向量的单位向量Sj，对于通过线性组合方式计算Sj的过程中，系数cij为常量。cij的计算公式为：其中bij为常量，bij的数值通过上次迭代bij的值和与vj的乘积计算得出，对于bij的更新方式为：常量cij由bij计算决定，在迭代运算中，bij与两个输出向量的位置与类型相关。作为一种可选的方案，所述损失函数表示为：Loss＝NI(A，B)＝G(A，B)·I(A，B)；其中：其中I(A，B)表示了配准图像与基准图像的互信息，G(A，B)反映了配准前后高频信息和梯度方向的变化。作为一种可选的方案，所述待配准图像的图像格式为MRI切片图像、DTI切片图像或X射线影像。作为一种可选的方案，所述本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像配准方法，其特征在于，所述方法包括：将基准图像和待配准图像作为双通道输入并通过卷积运算提取局部特征；构建胶囊层并将所述局部特征中的低维信息输入所述胶囊层得到具有空间位置信息的高维特征向量；通过所述高维特征向量对配准后的基准图像和待配准图像使用全连接层进行预测重构以使得待配准图像和基准图像的相似度达到最优得到融合图像，将所述融合图像作为配准后图像输出。

【技术特征摘要】
1.一种基于深度学习的图像配准方法，其特征在于，所述方法包括：将基准图像和待配准图像作为双通道输入并通过卷积运算提取局部特征；构建胶囊层并将所述局部特征中的低维信息输入所述胶囊层得到具有空间位置信息的高维特征向量；通过所述高维特征向量对配准后的基准图像和待配准图像使用全连接层进行预测重构以使得待配准图像和基准图像的相似度达到最优得到融合图像，将所述融合图像作为配准后图像输出。2.根据权利要求1所述的基于深度学习的图像配准方法，其特征在于，所述将基准图像和待配准图像作为双通道输入并通过卷积运算提取局部特征，包括：将基准图像和待配准图像两张图像，以双通道形式输入；通过若干卷积层对待配准图像以及基准图像进行低维信息提取。3.根据权利要求1所述的基于深度学习的图像配准方法，其特征在于，所述构建胶囊层并将所述局部特征中的低维信息输入所述胶囊层得到具有空间位置信息的高维特征向量，包括：通过构建胶囊层，将所述低维信息作为输入，输入到所述胶囊层，将待配准图像与基准图像的局部特征的向量集合作为每一个胶囊层的输入输出，通过动态路由算法将底层胶囊单元的特征输出组合为上层特征，逐级组合待配准图像与基准图像关键特征向量，从高级胶囊层提取到具有空间位置信息的高维特征向量。4.根据权利要求1所述的基于深度学习的图像配准方法，其特征在于，所述通过所述高维特征向量对配准后的基准图像和待配准图像使用全连接层进行预测重构以使得待配准图像和基准图像的相似度达到最优得到融合图像，将所述融合图像作为配准后图像输出，包括：构建融合图像网络，并优化目标函数，通过高级胶囊层提取到的高维全局特征向量，对配准后的基准图像和待配准图像进行预测与重构，计算配准融合图像与基准图像的梯度互信息作为损失函数，将特征提取网络和配准融合网络参数统一训练，迭代更新转换矩阵参数和胶囊层间的耦合系数，配准图像与基准图像相似度达到最优时迭代结束，获得最终融合图像作为配准后图像输出。5.根据权利要求3所述的基于深度学习的图...

【专利技术属性】
技术研发人员：王书强，王翔宇，王鸿飞，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东,44