一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法技术

一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法，将医学图像数据输入卷积网络中，并将固定图像以及移动图像输入到训练好的网络中，获得可变性位移变形场DVF(Deformable vector field)，在获得DVF的基础上，引入强约束形的仿射模块，用以获得全局性的仿射变换，将DVF和仿射变换结合获得新的网格DA grid(DVF和仿射变换结合网格)。本发明专利技术利用神经网络训练产生可变性形变场之外，在同一网络模型当中得到基于全局性的仿射变形，提高了图像配准的速度和精度。

【技术实现步骤摘要】
一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法
本专利技术涉及医学图像配准领域，涉及一种利用深度学习进行多模态医学图像的配准方法。
技术介绍
通过图像配准建立图像对应关系是许多临床任务的关键，如图像融合、器官图谱创建和肿瘤生长监测等。随着医学成像技术的发展进步，出现了大量的医学成像设备。这些成像设备为人们提供了各种模态的医学图像，如：CT、MRI、X射线等。不同模态的医学图像所提供的解剖结构和器官组织信息各不相同，两者进行融合才能提供更加全面的诊断信息。多模态医学图像配准是将一个或者多个模态的医学图像寻找一种空间变换的对应关系，使得它们和另一模态图像上的对应点空间上达到一致。传统的医学图像配准可以分为两大类：基于灰度和基于特征的配准方法。基于灰度的配准方法是指利用图像灰度信息作为依据进行配准的方法，例如互信息法、梯度信息法等。基于特征的配准方法又分为基于外部特征和基于内部特征的配准方法。利用体素强度的配准方法由于没有考虑图像的局部结构特征，用迭代优化的方式搜寻最优参数的，导致其处理速度相当慢，很难应用于实时化场景。基于特征的图像配准方法，是提取参考图像与待配准图像中不变的特征，列如边缘点、闭区域中心等，仅需提取少量的图像特征大幅度提高了配准速率，但配准精度对特征的提取更加敏感，该方法难以提供精确的配准结果。随着深度学习应用与不同的
，医学成像研究界开发了基于深度学习的方法，并在许多应用中达到了最先进的水平，包括图像配准。深度学习被成功地用于提高基于配准的迭代和强度，利用深度学习网络估计两幅图像的相似性度量，驱动迭代优化，该方法只利用了深度学习进行相似性度量，仍然需要传统配准方法进行迭代优化，没有充分发挥深度学习的优势，花费时间长，难以实现实时配准。现今直接利用神经网络预测转换参数，实现端到端的图像配准，方法有深度迭代配准、监督变换估计和无监督变换估计。然而，利用深度学习进行多模态配准大多利用神经网络获得可变形的形变场，未能充分发挥优势。
技术实现思路
为了克服现现有技术的缺陷，本专利技术提供了一种基于可变性变形和强约束仿射变形的多模态颈动脉MRI配准方法，利用神经网络训练产生可变性形变场之外，在同一网络模型当中得到基于全局性的仿射变形，提高了图像配准的速度和精度。本专利技术解决其技术问题所采用的技术方案是：一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法，所述方法包括以下步骤：(1)数据选取：采用多模态颈动脉数据，选取固定图像和浮动图像，固定图像为突出组织的T1加权图像(T1GD)，浮动图像为利用血管成像造影技术突出颈动脉血管的TOF序列的核磁共振图像，并分别标注出两序列对应的颈动脉标签；(2)网络训练：根据所述固定图像和浮动图像以及分割出的标签数据，将固定图像和浮动图像输入到神经网络中产生位移场，并通过浮动图像的颈动脉标签与位移场作用，得到扭曲后的标签，通过变形标签和固定图像的标签获得到dice损失函数(loss)，通过位移场获得正则项的损失函数；(3)配准图像：根据网络训练产生的模型，将固定图像和浮动图像输入已经训练的网络，得到两个图像之间的位移场，通过位移场和原先输入网络的浮动图像得到扭曲后的图像。进一步，所述步骤(1)中，数据选取包括以下步骤：(1.1)图像预处理：将图像统一进行偏移场纠正后进行重采样，获得体素大小为0.6*0.6*0.6的数据。在重采样的基础上我们进行图像裁剪，以获得同样大小的图像，过程为：(1.1.1)将两模态的图像进行左右，前后和上下裁剪，以扩增数据，裁剪过程要考虑不同模态对应点的空间信息匹配关系；(1.1.2)由于浮动图像的图像定位的空间坐标系统使用RAS(Right,Anterior,Superior)，固定图像所用为RAI(Right,Anterior,Inferior)，即两序列图像对于空间位置坐标为：fixed(x,y,z)＝moving(x,-z,y)其中，moving(x,-z,y)和fixed(x,y,z)分别表示浮动图像和固定图像的像素点位置在图像定位的空间坐标系统的表示，这就要求在数据输入网络前需要将空间位置坐标fixed(x,y,z)对应于moving(x,y,z)。所以需要对移动图像进行装置翻转的相关操作，将转化moving(x,-z,y)为moving(x,y,z)，以满足网络训练时的像素点匹配的基本要求；(1.2)颈动脉标签的标注：利用标注软件ITK-SNAP标注出颈动脉两个序列MRI图中的血管部位。再进一步，所述步骤(2)中，网络训练包括以下步骤：(2.1)多特征输入限制型仿射模型结构设计：输入移动和固定图像，在输入网络前进如(1.1.2)所述经过像素值匹配操作后再进行值的拼接操作：其中a为移动图像和固定图像的像素点总数，为拼接符号；(2.1.1)利用串行卷积的多特征输入预测融合：串行的结构可以在每一卷积层之间获得不一样抽象特征，仿射变形和可变性变形共享下采样结构，我们在下采样和上采样的卷积层之间引入仿射层的输入，这样就可以充分利用不同层的特征参数，将其线性投影为仿射矩阵，预测更加准确的仿射变形；在输出的三个仿射变形后，将其分别于可变形网格(deformablegrid)结合，并进行相关的权重化的融合，仿射层C1，仿射层C2，仿射层C3分别对应的权重大小为0.2,0.3,0.5，这样对于高特征量的输入仿射层，占比更大，参数利用效果更高。最后获得DAgrid(可变形网格Deformablegrid和仿射网格Affinegrid的结合网格)进行图像配准；(2.1.2)强约束解决网络训练尺度不平衡的初始化以及适应性的仿射变形：对于仿射矩阵的训练过程进行强约束，来约束该变化矩阵，防止训练过程中过度的仿射变形导致损失函数出现异常，解决了网络训练尺度不平衡的初始化问题；仿射变换层由一个全连接层实现，用于回归变换参数，得到单个12神经元密集层，分别表示平移、旋转、缩放和剪切的三维仿射变换参数，假设把卷积后输入仿射层设为x，那么Am×n＝affine(X,W,b)＝Xm×kWk×n+b1×n，初始化权重Wk×n为随机正太分布，而对Xm×kWk×n进行强约束，其中-r≤aij≤r,(i＝1,2,3,j＝1,2,3,4)，r为约束值，这样就可以对该矩阵每一参数进行强约束，并且每个仿射层约束值不同，用以增加仿射预测的可变范围，不同配准的数据也可以设置自己的约束值，以便获得适应性的仿射变形；(2.2)损失函数的确定：利用dice作为loss来保证颈动脉的配准效果，在固定图像标签和移动图像标签经过DAgrid后获得的弯曲图像标签，用以计算动脉形变：其中N为标签的体素数量总和，ai,bi分别为固定图像标签和弯曲图像标签的二进制标签，为了避免异常，动脉形变损失Lad确定为：利用弯曲能(bendingenergy)作为正则惩罚项保本文档来自技高网...

【技术保护点】
1.一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法，其特征在于，所述方法包括以下步骤：/n(1)数据选取：采用多模态颈动脉数据，选取固定图像和浮动图像，固定图像为突出组织的T1加权图像，浮动图像为利用血管成像造影技术突出颈动脉血管的TOF序列的核磁共振图像，并分别标注出两序列对应的颈动脉标签；/n(2)网络训练：根据所述固定图像和浮动图像以及分割出的标签数据，将固定图像和浮动图像输入到神经网络中产生位移场，并通过浮动图像的颈动脉标签与位移场作用，得到扭曲后的标签，通过变形标签和固定图像的标签获得到dice损失函数(loss)，通过位移场获得正则项的损失函数；/n(3)配准图像：根据网络训练产生的模型，将固定图像和浮动图像输入已经训练的网络，得到两个图像之间的位移场，通过位移场和原先输入网络的浮动图像得到扭曲后的图像。/n

【技术特征摘要】
1.一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法，其特征在于，所述方法包括以下步骤：
(1)数据选取：采用多模态颈动脉数据，选取固定图像和浮动图像，固定图像为突出组织的T1加权图像，浮动图像为利用血管成像造影技术突出颈动脉血管的TOF序列的核磁共振图像，并分别标注出两序列对应的颈动脉标签；
(2)网络训练：根据所述固定图像和浮动图像以及分割出的标签数据，将固定图像和浮动图像输入到神经网络中产生位移场，并通过浮动图像的颈动脉标签与位移场作用，得到扭曲后的标签，通过变形标签和固定图像的标签获得到dice损失函数(loss)，通过位移场获得正则项的损失函数；
(3)配准图像：根据网络训练产生的模型，将固定图像和浮动图像输入已经训练的网络，得到两个图像之间的位移场，通过位移场和原先输入网络的浮动图像得到扭曲后的图像。


2.如权利要求1所述的一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法，其特征在于，所述步骤(1)中，数据选取包括以下步骤：
(1.1)图像预处理：将图像统一进行偏移场纠正后进行重采样，获得体素大小为0.6*0.6*0.6的数据，在重采样的基础上我们进行图像裁剪，以获得同样大小的图像，过程为：
(1.1.1)将两模态的图像进行左右，前后和上下裁剪，以扩增数据，裁剪过程要考虑不同模态对应点的空间信息匹配关系；
(1.1.2)由于浮动图像的图像定位的空间坐标系统使用RAS，固定图像所用为RAI，即两序列图像对于空间位置坐标为：
fixed(x,y,z)＝moving(x,-z,y)
其中，moving(x,-z,y)和fixed(x,y,z)分别表示浮动图像和固定图像的像素点位置在图像定位的空间坐标系统的表示，这就要求在数据输入网络前需要将空间位置坐标fixed(x,y,z)对应于moving(x,y,z)，所以需要对移动图像进行装置翻转的相关操作，将转化moving(x,-z,y)为moving(x,y,z)，以满足网络训练时的像素点匹配的基本要求；
(1.2)颈动脉标签的标注：利用标注软件ITK-SNAP标注出颈动脉两个序列MRI图中的血管部位。


3.如权利要求1或2所述的基一种基于强约束仿射形变特征学习的颈动脉多模态图像配准方法，其特征在于，所述步骤(2)中，网络训练包括以下步骤：
(2.1)多特征输入限制型仿射模型结构设计：
输入移动和固定图像，在输入网络前进如(1.1.2)所述经过像素值匹配操作后再进行值的拼接操作：



其中a为移动图像和固定图像的像素点总数，为拼接符号；
(2.1.1)利用串行卷积的多特征输入预测融合：
串行的结构可以在每一卷积层之间获得不一样抽象特征，仿射变形和可变性变形共享下采样结构，我们在下采样和上采样的卷积...

【专利技术属性】
技术研发人员：汪晓妍，毛立朝，黄晓洁，祝骋路，顾政，刘震杰，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33