一种基于Siamese网络的异尺寸图像配准方法技术

一种基于Siamese网络的异尺寸图像配准方法，该方法利将配准图像输入到Siamese的子网络中，分别提取对应输入图像的特征，在该框架里面设计了一个填充模块，该模块可以使得不同尺寸的配准图像输入到网络中也可以实现训练，达到不同尺寸图像配准的效果；并且Siamese的子网络是权值共享的，这样，即使引入了一条下采样结构，网络的参数也并没有增加。配准框架均采用弱监督的学习形式，只需要对配准结构进行标注，获得的解剖标签用于训练过程中的损失函数计算，实现了特定组织部位异尺寸的有效配准。准。准。

【技术实现步骤摘要】
一种基于Siamese网络的异尺寸图像配准方法


[0001]本专利技术属于图像处理领域，涉及一种利用Siamese网络进行异尺寸医学图像配准的方法。

技术介绍

[0002]医学图像配准通过寻找一些空间变换建立空间位置与解剖结构之间的非线性或线性对应关系，是图像分割和融合的前提；医学图像可以从不同的扫描系统中获得多模态图像，不同模态的医学图像可以提供各种互补信息，有助于从不同的扫描中关联临床相关信息，进而为诊断提供更可靠的分析数据。由于不同模态图像存在组织结构上的偏差，需要通过图像配准技术来获得两图像间的偏差关系，进而获得对齐的模态图像序列，因此，多模态医学图像的配准在多模态诊断和计算机辅助手术中具有重要意义。
[0003]然而，在实际当中，由于不同图像采集设备的系统参数设置不一致，获得的多模态图像数据大多存在一些尺寸大小不一致的问题。在大多数情况下，我们利用图像重采样，裁剪等预处理工作可以解决该问题，然而利用预处理的方式存在一些缺陷和问题，一方面，由于要保持不多模态之间的大小一致，那么在裁剪过程一些医学图像可能会裁剪掉一些关键区域，而不利于医生读取图片信息，影响诊断结果。另一方面，增加了图像处理的步骤，加大了图像处理的工作量。最后，由于同一尺寸训练的配准模型，只能配准统一尺寸的图像，使得在这种情况下训练出来的配准模型很难应用于实际应用当中。

技术实现思路

[0004]为了克服现有技术的缺陷，本专利技术提供了一种基于Siamese网络的颈动脉可变尺寸图像配准方法，该网络利用弱监督学习的方法，在Siamese神经网络上进行训练，网络输出位移矢量场；利用Siamese网络结构构建了一个可以实现不同尺寸图像之间的图像配准网络，该方法可以实现不同尺寸的图像进行配准；同时，为了提高配准效果，引入了高斯平滑下的多尺度损失函数进行训练优化，该方法克服了图像配准需要信息完整性的问题，并利用弱监督学习的配准方法实现了快速实时的配准，输入一对不同尺寸的图像就可以在网络中输出待配准图像所对应的位移矢量场。
[0005]为了解决上述技术问题本专利技术采用的技术方案是：
[0006]一种基于Siamese网络的异尺寸图像配准方法，所述方法包括以下步骤：
[0007](1)对选取的医学图像进行预处理操作，获得符合实验目的的图像数据；
[0008](2)根据步骤(1)中所获得的实验数据，依据Siamese网络设计配准网络模型，搭建网络配准架构，配准框架用于实现网络模型的训练，形成实现异尺寸的基本结构；
[0009](3)根据步骤(2)所搭建的网络配准框架，依据所选取的数据集，选取均衡化的训练集和测试集，在搭建好的网络模型中进行训练，并将训练之后的模型进行测试，来验证网络的配准效果。
[0010]进一步，在所述步骤(1)中，所述图像预处理步骤用于获得所需实验数据包括以下
步骤：
[0011](1.1)为了解决不同图像之间的强度不均匀性，我们应用N4偏置场校正来校正所选配准图像；
[0012](1.2)利用线性重采样对所有序列图像进行插值，统一所有序列图像的体素大小，依据待配准结构的图像位置信息，通过去除图像的外部边界，将同一模态的图像调整并裁剪成均匀的大小，值得注意的是不同模态图像之间的尺寸是不一致的，以便验证所搭建模型的有效性；
[0013](1.3)将所有配准图像对依据中心轴切成两半，用来扩大训练数据量，作为训练之外的数据增强手段。
[0014]再进一步，在所述步骤(2)中，所述基于异尺寸图像配准的网络框架的搭建包括以下步骤：
[0015](2.1)下采样提取特征，Siamese网络的两个分支输入分别是待配准图像的固定图像和浮动图像，分别通过两个网络的特征提取获得对应的特征，分支网络都是下采样网络结构，用于提取底层特征；
[0016](2.2)异特征融合，在步骤(2.1)中，下采样卷积神经网络的卷积操作中，卷积层的输出形状由输入的形状和卷积核的形状确定，在某一层卷积层，我们假设输入的特征形状大小为n
h
×
n
w
，卷积和大小为k
h
×
k
w
，那么输出的特征形状大小(n
h
‑
k
h
+1)
×
(n
w
‑
k
w
+1)，所以在这种情况下，如果应用了许多连续的卷积之后，我们会得到比我们的输入小得多的输出，并消除了原始图像边界上的任何有趣信息。利用填充处理此问题是最有效的方法，填充是与卷积神经网络相关的术语，它是指当CNN卷积核对输入进行处理时添加到图像的像素量。例如，如果CNN 中的填充设置为零，那么添加的每个像素值将为零，但是，如果将零填充设置为1，则会在图像上添加一个像素边界，其中像素值为1，卷积神经网络的卷积操作通常默认需要填充。而Siamese U
‑
Net结构由于分支网络具有相同的结构参数，所以输入图像不同，那么对于两个输出也必然会得到不同的特征大小，我们依据卷积神经网络的卷积层填充方法，对两个特征进行必要的填充，使得特征尺寸大小一致，方便后面的拼接操作。现有的填充方式有多种，分别为补零、边界复制、镜像和块复制。在医学图像配准中，我们的方法主要针对图像中某一部位进行有效的配准，而需要配准的解剖部位很少存在图像边界的情况，所以这些图像的角落和边界的信息很少发挥作用，同时考虑到需要尽可能的维持原始特征的信息，减少填充造成的特征误差影响，只利用了补零的填充方式对图像进行边界补充；
[0017](2.3)端到端位移场输出，除了网络结构含有下采样之外，还需要上采样结构输出同等大小的可变形位移场，以实现端到端的网络配准，在网络中加入上采样结构，形成了类似U
‑
Net结构的模型，这种模型和原始用于识别和分类的 Siamese网络有很大不同，用于识别和分类的Siamese网络往往在下采样结构后计算损失函数，用于预测，分类；而加入上采样后，则是为了实现端到端的图像配准，称作Siamese U
‑
Net，上采样用于底层特征的恢复，并形成相应的位移矢量场，值得注意的是，网络的跳连接只连接浮动图像输入对应的分支网络和上采样，而不连接固定图像和上采样，因为对于网络输出的位移矢量场来说，位移矢量场是与浮动图像作用的，浮动图像的特征信息和固定图像相比更加重要，也就是说固定图像类似于输入网络的参考信息，而浮动图像则是输入网络的主要信息，这和其他图像任
务有很大的不同。
[0018]在所述步骤(2.2)中，利用填充实现异特征融合包括以下计算过程：
[0019](2.2.1)我们假设各个方向需要的填充量为NP
x
，NP
y
，NP
z
，那么获得这些值有如下关系式：
[0020]NP
x
＝[max(a
i
)
‑
...

【技术保护点】

【技术特征摘要】
1.一种基于Siamese网络的异尺寸图像配准方法，其特征在于，所述方法包括以下步骤：(1)对选取的医学图像进行预处理操作，获得符合实验目的的图像数据；(2)根据步骤(1)中所获得的实验数据，依据Siamese网络设计配准网络模型，搭建网络配准架构，配准框架用于实现网络模型的训练，形成实现异尺寸的基本结构；(3)根据步骤(2)所搭建的网络配准框架，依据所选取的数据集，选取均衡化的训练集和测试集，在搭建好的网络模型中进行训练，并将训练之后的模型进行测试，来验证网络的配准效果。2.根据权利要求1所述的一种基于Siamese网络的异尺寸图像配准方法，其特征在于，在所述步骤(1)中，所述图像预处理步骤用于获得所需实验数据包括以下步骤：(1.1)为了解决不同图像之间的强度不均匀性，应用N4偏置场校正来校正所选配准图像；(1.2)利用线性重采样对所有序列图像进行插值，统一所有序列图像的体素大小。依据待配准结构的图像位置信息，通过去除图像的外部边界，将同一模态的图像调整并裁剪成均匀的大小，值得注意的是不同模态图像之间的尺寸是不一致的，以便验证所搭建模型的有效性；(1.3)将所有配准图像对依据中心轴切成两半，用来扩大训练数据量，作为训练之外的数据增强手段。3.根据权利要求1或2所述的一种基于Siamese网络的异尺寸图像配准方法，其特征在于，在所述步骤2中，所述基于异尺寸图像配准的网络框架的搭建包括以下步骤：(2.1)下采样提取特征，Siamese网络的两个分支输入分别是待配准图像的固定图像和浮动图像，分别通过两个网络的特征提取获得对应的特征，分支网络都是下采样网络结构，用于提取底层特征；(2.2)异特征融合，在步骤(2.1)中，下采样卷积神经网络的卷积操作中，卷积层的输出形状由输入的形状和卷积核的形状确定，在某一层卷积层，假设输入的特征形状大小为n
h
×
n
w
，卷积和大小为k
h
×
k
w
，那么输出的特征形状大小(n
h
‑
k
h
+1)
×
(n
w
‑
k
w
+1)，所以在这种情况下，如果应用了许多连续的卷积之后，得到比输入小得多的输出，并消除了原始图像边界上的任何有趣信息；Siamese U
‑
Net结构由于分支网络具有相同的结构参数，所以输入图像不同，那么对于两个输出也必然会得到不同的特征大小，依据卷积神经网络的卷积层填充方法，对两个特征进行必要的填充，使得特征尺寸大小一致，方便后面的拼接操作，采用了补零的填充方式对图像进行边界补充；(2.3)端到端位移场输出，除了网络结构含有下采样之外，还需要上采样结构输出同等大小的可变形位移场，以实现端到端的网络配准，在网络中加入上采样结构，形成了类似U
‑
Net结构的模型，这种模型和原始用于识别和分类的Siamese网络有很大不同，用于识别和分类的Siamese网络往往在下采样结构后计算损失函数，用于预测，分类；而加入上采样后，则是为了实现端到端的图像配准，称作Siamese U
‑
Net，上采样用于底层特征的恢复，并形成相应的位移矢量场，值得注意的是，网络的跳连接只连接浮动图像输入对应的分支网络和上采样，而不连接固定图像和上采样，因为对于网络输出的位移矢量场来说，位移矢量场是与浮动图像作用的，浮动图像的特征信息和固定图像相比更加重要，也就是说固定图像
类似于输入网络的参考信息，而浮动图像则是输入网络的主要信息，这和其他图像任务有很大的不同。4.根据权利要求3所述的一种基于Siamese网络的异尺寸图像配准方法，其特征在于，在所述步骤(2.2)中，其中所述利用填充实现异特征融合包含以下计算过程：(2.2.1)假设各个方向需要的填充量为NP
x
，NP
y
，NP
z
，那么获得这些值有如下关系式：NP
x
＝[max(a
i
)...

【专利技术属性】
技术研发人员：汪晓妍，毛立朝，黄晓洁，夏明，张榜泽，邵明瀚，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：