基于偏微分对抗学习的图像配准方法、系统、设备和介质技术方案

本发明专利技术提供基于偏微分对抗学习的图像配准方法、系统、设备和介质，包括：利用先验知识和基函数表示法构建微分项备选库；基于生成对抗网络基本结构，学习微分项备选库中微分项对应系数；所述生成对抗网络的生成器采用多个单层回归网络；在生成对抗网络的损失函数中增加梯度惩罚项和正则项，实现微分项的稀疏选择；通过训练后的生成对抗网络的得到目标偏微分方程；利用目标偏微分方程对预处理后的待配准图像进行空间变形，得到配准后图像。本发明专利技术能够充分利用待配准图像之间的潜藏关系，发掘图像配准这类变化中共同的规律并用偏微分方程这类系数的方式刻画，极大减少了模型的参数量，提高网络学习效率的同时提升了图像配准的稳定性与准确率。稳定性与准确率。稳定性与准确率。

【技术实现步骤摘要】
基于偏微分对抗学习的图像配准方法、系统、设备和介质


[0001]本专利技术涉及图像处理
，具体涉及一种基于偏微分对抗学习的图像配准方法、系统、设备和介质。

技术介绍

[0002]图像配准问题，是将位于不同坐标系下同一场景的二幅或多幅图像，寻找一种特定的最优几何变换，将两幅或多幅图像变换到同一坐标系的过程。在医学图像领域，不同成像技术对人体同一组织得到的形态信息和功能信息存在一定差异，但是它们提供的信息又是互相补充的。为了充分利用这些成像方式提供的信息，临床医生迫切希望能够将同一病人的不同图像信息进行配准、融合，将成像结果综合起来，这就需要对不同的图像进行配准及信息融合技术。对于多模态图像而言，配准是进行图像融合的必要条件。配准是融合的前提，也是决定图像融合技术发展的关键技术。
[0003]目前，医学图像配准作为图像辅助诊疗的关键技术，被应用到疾病诊断、手术引导、放射性治疗等多个临床场景。而深度学习成为提升医学图像配准性能的突破口，其端到端的应用方式、高精度的配准结果是目前图像配准领域的研究热点。
[0004]根据网络的训练过程中所使用的监督信息作为分类标准，可将深度医学图像配准划分为全监督、双监督、弱监督和无监督配准方法。
[0005]在已有的基于深度学习的图像配准方法中，存在着几种问题及缺陷：(1)全监督配准以图像对间的真实变换(金标准)作为监督信息，采用真实变换参数和估计变换参数间的误差损失监督网络训练，配准精度高度依赖于金标准的质量。(2)双监督配准在使用参数误差损失基础上又额外加入图像相似度损失，以降低对金标准的依赖。弱监督使用分割掩码、生物关键点等标签信息替代金标准，但双监督以及弱监督不能完全消除配准网络对监督信息的依赖。(3)无监督配准则不再需要任何标注数据，仅使用图像相似度损失监督网络训练，容易估计出折叠、体素漂移的非光滑变形场，导致变形场失真。
[0006]通过上述分析，现有技术存在的问题及缺陷为：
[0007](1)传统的全监督配准方法能得到的配准精度高度依赖于金标准的质量，但是这类具有金标准的数据集的获取极其困难，且金标准的设置不准确性很高，无法作为学习的指标。
[0008](2)双监督以及弱监督不能完全消除配准网络对监督信息的依赖，存在与全监督配置方法一样的困境，即高质量数据集的获取非常困难。
[0009](3)现有的无监督配准大多采用3D医学图像配准网络，这类网络与2D配准网络相比，可训练参数随卷积层数呈指数增长，极高的复杂度导致计算效率变低。
[0010]为此，本专利技术提出基于偏微分对抗学习的图像配准方法、系统、设备和介质。

技术实现思路

[0011]为解决上述问题，本专利技术提供一种基于偏微分对抗学习的图像配准方法、系统、设
备和介质，该方法可在更高计算效率下输出真实可靠的光滑变形场，极大减少了网络训练过程中的可训练参数，减少了算力成本，进一步推动深度医学图像配准技术在临床诊疗中的应用。
[0012]本专利技术提供了如下的技术方案。
[0013]一种基于偏微分对抗学习的图像配准方法，包括以下步骤：
[0014]利用先验知识和基函数表示法构建微分项备选库；
[0015]基于生成对抗网络基本结构，学习微分项备选库中微分项对应系数；所述生成对抗网络的生成器采用多个单层回归网络；
[0016]在生成对抗网络的损失函数中增加梯度惩罚项和正则项，实现微分项的稀疏选择；通过训练后的生成对抗网络的得到目标偏微分方程；
[0017]利用目标偏微分方程对预处理后的待配准图像进行空间变形，得到配准后图像。
[0018]优选地，还包括对待配准图像数据集依次进行预处理，包括以下步骤：
[0019]对待配准图像进行结构分割，并对部分结构进行自适应去除；
[0020]将处理后的待配准图像进行灰度均衡化以及空间归一化，获得预处理后的待配准图像。
[0021]优选地，所述对待配准图像进行结构分割，包括以下步骤：
[0022]将图像重采样到DPI为1mm的空间中，原始图像尺寸为256
×
256
×
256，对每幅图像都进行切割，切除所有没有数值的图像层，仅保留有数值的层，使整个目标结构处于图像的中心位置，将图像切割后再缩放到64
×
64
×
64尺寸大小。
[0023]优选地，所述利用先验知识和基函数表示法构建微分项备选库，包括以下步骤：
[0024]所述偏微分方程为包含未知函数的偏导数或偏微分的方程其通用形式表示为：
[0025][0026]其中，t为时间变量，x和y为空间变量；所述偏微分方程u
t
是由若干微分项x、y、u、u
x
、u
y
、u
xx
、u
xy
、u
yy
组成的函数；
[0027]将上式表达为如下形式：
[0028]U
lib
＝Θ(u,u
x
,u
xx
,...)W
[0029]其中，Θ表示由各个微分项组成的备选库矩阵，W表示微分项的对应系数，即：
[0030]首先构造包含所有微分项的备选库整体，再学习出每个微分项对应的系数组成的系数矩阵W，最终得到目标的偏微分方程；
[0031]备选库整体构建基于基函数表示法，分别计算u、u
x
、u
y
、u
xx
、u
xy
、u
yy
基础微分项，并针对具体的偏微分方程学习目标，即相应的先验知识，把与先验知识具备强相关性的微分项增添进入备选库中；
[0032]在构建微分项备选库时选择的构建微分项的方式，采用切比雪夫多项式插值法。
[0033]优选地，所述基于生成对抗网络基本结构，学习微分项备选库中微分项对应系数，具体包括以下步骤：
[0034]采用生成对抗网络的基本结构，其中，生成对抗网络的生成器采用n个单层回归网络进行堆叠，单个子网络通过回归的方法来不断迭代备选库中微分项的对应系数矩阵W，生成器输出n多个时间步长后预测样本，并将其送入生成对抗网络的判别器中进行打分，判别器对生成的预测样本打上逻辑值为0，而对真实的观测数据打上逻辑值1；
[0035]整个优化过程遵循如下损失函数：
[0036][0037]其中，和x分别代表生成样本和真实样本，P
r
和P
g
分别代表真实样本生成样本分布。
[0038]优选地，所述在生成对抗网络的损失函数中增加梯度惩罚项和正则项，包括以下步骤：
[0039]将损失函数修改为：
[0040][0041]其中，表示在P
r
和P
g
中进行联合随机采样的概率分布，具体表示为λ
gp
是梯度惩罚项的权重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于偏微分对抗学习的图像配准方法，其特征在于，包括：利用先验知识和基函数表示法构建微分项备选库；基于生成对抗网络基本结构，学习微分项备选库中微分项对应系数；所述生成对抗网络的生成器采用多个单层回归网络；在生成对抗网络的损失函数中增加梯度惩罚项和正则项，实现微分项的稀疏选择；通过训练后的生成对抗网络得到目标偏微分方程；利用目标偏微分方程对预处理后的待配准图像进行空间变形，得到配准后图像。2.根据权利要求1所述的基于偏微分对抗学习的图像配准方法，其特征在于，还包括对待配准图像数据集依次进行预处理，包括以下步骤：对待配准图像进行结构分割，并对部分结构进行自适应去除；将处理后的待配准图像进行灰度均衡化以及空间归一化，获得预处理后的待配准图像。3.根据权利要求2所述的基于偏微分对抗学习的图像配准方法，其特征在于，所述对待配准图像进行结构分割，包括以下步骤：将图像重采样到DPI为1mm的空间中，原始图像尺寸为256
×
256
×
256，对每幅图像都进行切割，切除所有没有数值的图像层，仅保留有数值的层，使整个目标结构处于图像的中心位置，将图像切割后再缩放到64
×
64
×
64尺寸大小。4.根据权利要求1所述的基于偏微分对抗学习的图像配准方法，其特征在于，所述利用先验知识和基函数表示法构建微分项备选库，包括以下步骤：所述偏微分方程为包含未知函数的偏导数或偏微分的方程其通用形式表示为：其中，t为时间变量，x和y为空间变量；所述偏微分方程u
t
是由若干微分项x、y、u、u
x
、u
y
、u
xx
、u
xy
、u
yy
组成的函数；将上式表达为如下形式：U
lib
＝Θ(u,u
x
,u
xx
,...)W其中，Θ表示由各个微分项组成的备选库矩阵，W表示微分项的对应系数，即：首先构造包含所有微分项的备选库整体，再学习出每个微分项对应的系数组成的系数矩阵W，最终得到目标的偏微分方程；备选库整体构建基于基函数表示法，分别计算u、u
x
、u
y
、u
xx
、u
xy
、u
yy
基础微分项，并针对具体的偏微分方程学习目标，即相应的先验知识，把与先验知识具备强相关性的微分项增添进入备选库中；在构建微分项备选库时选择的构建微分项的方式，采用切比雪夫多项式插值法。5.根据权利要求1所述的基于偏微分对抗学习的图像配准方法，其特征在于，所述基于生成对抗网络基本结构，学习微分项备选库中微分项对应系数，具体包括以下步骤：采用生成对抗网络的基本结构，其中，生成对抗...

【专利技术属性】
技术研发人员：王斌，赵楚媚，赵鎏勃，郭盛林，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：