多模图像最大矩与空间一致性的非刚性配准方法及系统技术方案

本发明专利技术公开了多模图像最大矩与空间一致性的非刚性配准方法及系统，本发明专利技术方法包括构建全局变换子网络和变形注意力子网络，并结合位置变换网格与像素重采样层构造可端到端训练的多模图像非刚性配准网络，为多模图像非刚性配准网络构建损失函数；利用多模图像构建训练数据集，并采用构建的训练数据集和损失函数训练多模图像非刚性配准网络。本发明专利技术可直接配准不经过几何校正的畸变图像，较好地解决了多模图像的局部畸变问题，实现多模图像的准确配准，可为图像准确融合、目标精确检测提供可靠支撑，可应用于自然灾害监测、资源调查与勘探、目标精准打击等应用领域，例如智能制造、抢险救灾、遥感监测等，具有应用范围广的优点。具有应用范围广的优点。具有应用范围广的优点。

【技术实现步骤摘要】
多模图像最大矩与空间一致性的非刚性配准方法及系统


[0001]本专利技术属于图像处理领域的图像配准技术，具体涉及一种多模图像最大矩与空间一致性的非刚性配准方法及系统。

技术介绍

[0002]图像配准指将不同时间、不同成像设备在不同条件下（天气、照度、摄像角度与位置等）获得的两幅或多幅图像由不同坐标系变换到同一坐标系中的过程。随着现代科学技术的进步，准确化和精细化的发展要求日益迫切，而单模态的图像无法充分表达目标，因此，聚合多模态图像的优点实现目标的精确化表示，在民用领域，如智能制造的视觉导航、地质灾害监测与救治、资源调查与勘探等，和国防军事领域，如军事侦察、导弹预警、武器制导等有着支撑作用。图像配准是图像处理领域的一个基本且关键的问题，直接影响图像融合、目标检测等的效果。然而，受限于拍摄条件、地势环境及相机硬件性能等导致的辐射差异大、几何畸变、多视场、多尺度、多时相、数据少等问题对当前的基于深度学习图像配准算法提出了严峻的挑战。因此，解决精确化的多模图像配准难题具有重要的研究意义与应用价值。

技术实现思路

[0003]本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模图像最大矩与空间一致性的非刚性配准方法，其特征在于，包括：1）构建全局变换子网络，并通过全局变换子网络根据输入的参考图像、待配准图像回归得到待配准图像相对于参考图像的全局仿射变换参数A；构建变形注意力子网络，通过变形注意力子网络学习参考图像不同区域范围的局部空间变换关系的多尺度空间注意力参数；2）联合所述全局变换子网络和变形注意力子网络，并结合位置变换网格与像素重采样层构造可端到端训练的多模图像非刚性配准网络，所述多模图像非刚性配准网络的输入为不同模态的待配准图像和参考图像，输出为待配准图像与参考图像配准后的配准图像；3）为多模图像非刚性配准网络构建包含最大矩损失与空间一致性损失的损失函数；利用多模图像构建训练数据集，并采用训练数据集和构建的损失函数训练多模图像非刚性配准网络。2.根据权利要求1所述的多模图像最大矩与空间一致性的非刚性配准方法，其特征在于，步骤1）中构建的全局变换子网络包括依次相连的下述模块：图像缩放层，用于将待配准图像进行缩放至与参考图像相同大小；参考图像特征提取单元，用于对参考图像进行特征提取得到特征F
y
；待配准图像特征提取单元，用于对待配准图像进行特征提取得到特征F
x
；特征融合层，用于将特征F
x
、特征F
y
进行特征融合，得到融合特征F
xy
；自适应平均池化层，用于对融合特征F
xy
进行自适应平均池化，以使得全局变换子网络可输入任意大小尺寸的特征；两个全连接层，用于对自适应平均池化后的融合特征F
xy
依次进行两次筛选以逐步减少特征数量和增强拟合能力；参数回归层，用于对两个全连接层输出的特征进行回归，得到待配准图像相对于参考图像的全局仿射变换参数A。3.根据权利要求2所述的多模图像最大矩与空间一致性的非刚性配准方法，其特征在于，所述参考图像特征提取单元和待配准图像特征提取单元结构相同，均包含依次相连的下述模块：残差金字塔层，用于提取2倍下采样特征；级联连接的两个第一神经网络层，用于优化输入特征，并利用平均池化层减小特征尺寸；所述第一神经网络层均包含卷积层、批归一化层、ELU激活层以及平均池化层；级联连接的五个第二神经网络层，用于进一步优化输入特征使得到的特征可以表达全局图像并逐步减少特征数量，并通过最后一个第二神经网络层输出最终提取得到的特征F
x
或特征F
y
；所述第二神经网络层包含无填充的卷积层、批归一化层以及ELU激活层。4.根据权利要求1所述的多模图像最大矩与空间一致性的非刚性配准方法，其特征在于，步骤1）中构建的变形注意力子网络包括依次相连的下述模块：第三神经网络层，用于提取能表达图像的特征，包括卷积层、批归一化层、ELU激活层的神经网络层；级联连接的两个第四神经网络层，用于优化特征并减小特征尺寸，使得特征尺寸符合设定要求；所述第四神经网络层包含卷积层、批归一化层、ELU激活层和平均池化层；级联连接的七个第五神经网络层，用于优化特征并减小特征尺寸，使得特征尺寸符合
设定要求，所述第五神经网络层包含卷积层、批归一化层、ELU激活层的神经网络层；第六神经网络层，用于提取并输出参考图像不同区域范围的局部空间变换关系的多尺度空间注意力参数，所述第六神经网络层包含卷积层、Tanh激活层和常系数层。5.根据权利要求1所述的多模图像最大矩与空间一致性的非刚性配准方法，其特征在于，步骤2）中结合位置变换网格与像...

【专利技术属性】
技术研发人员：李树涛，高慧玲，孙斌，
申请(专利权)人：湖南大学，
类型：发明
国别省市：