一种基于LSTM神经网络的自监督学习图像配准方法技术

本发明专利技术涉及一种基于LSTM神经网络的自监督学习图像配准方法，具体包括以下步骤：S1、获取源数据，生成随机数对源数据进行图像变换，得到变换前后的图像对和随机数标签值；S2、将变换前后的图像对压缩为两个一维向量；S3、将两个一维向量作为两个时间序列输入LSTM神经网络提取出图像特征；S4、将图像特征输入全连接的回归网络计算平移量和旋转角度值，并根据预设的损失函数训练深度神经网络；S5、将待配准的图像输入完成训练的深度神经网络，得到图像配准结果。与现有技术相比，本发明专利技术具有使得图像配准模型的实用性以及全面性更高、摆脱对原始图像的依赖、提高训练的效率以及模型的准确度等优点。确度等优点。确度等优点。

【技术实现步骤摘要】
一种基于LSTM神经网络的自监督学习图像配准方法


[0001]本专利技术涉及深度自监督学习领域，尤其是涉及一种基于LSTM神经网络的自监督学习图像配准方法。

技术介绍

[0002]图像配准就是找到一幅图像像素到另一幅图像像素间的空间映射关系。这些图像可以是不同时间(多时间配准)，不同传感器在不同地方拍摄(多模式配准)。图像配准具有广泛的应用，适用于同一个场景中有多张图像需要进行匹配或叠加。在医学图像领域以及卫星图像分析和光流(optical flow)方面非常普遍。
[0003]自21世纪初以来，图像配准主要使用基于特征的方法。这些方法有三个步骤：关键点检测和特征描述，特征匹配，图像变换。简单的说，选择两个图像中的感兴趣点，将参考图像(reference image)与感测图像(sensed image)中的等价感兴趣点进行关联，然后变换感测图像使两个图像对齐。
[0004]目前大多数关于图像配准的研究涉及深度学习。在过去的几年中，深度学习使计算机视觉任务具有先进的性能，如图像分类，物体检测和分割。人工神经网络的起源可以追溯到20世纪40年代。1986年，反向传播算法的提出为神经网络的训练提供了可能。2006年，Deep Learning的提出让神经网络重新得到关注。在2012年Imagenet大规模视觉识别大赛中，Krizhevskey等人训练的深度卷积神经网络AlexNet以15.3％的Top
‑
5错误率取得了冠军，震惊了机器学习领域。6个月后，谷歌和百度都发布了新的基于图像内容的搜索引擎，深度学习模型大幅提高了图像搜索的准确率。由于深度学习在学术届和工业界的巨大影响力，2013年《麻省理工科技评论》(MIT Technology Review)将其列为世界十大技术突破之首。2015年，微软亚洲研究院视觉计算组的何恺明团队提出残差神经网络(Residual Network，Resnet)，该网络一经问世便在ImageNet大赛中斩获图像分类、检测、定位三项冠军，并在另一图像识别挑战赛MS COCO(Microsoft COMMON Objects in Context Challenges)中同样成功登顶。尤其在图像分类(Image Classification)任务中，ResNet以3.57％的top
‑
5错误率，极大地实现了对人类视觉能力的突破。
[0005]深度学习用于图像配准的第一种方式是用于特征提取。卷积神经网络设法获得越来越复杂的图像特征并进行学习。2014年以来，研究人员将这些网络应用于特征提取的步骤，而不是使用SIFT或类似算法。2014年，Dosovitskiy等人提出了一种通用的特征提取方法，使用未标记的数据训练卷积神经网络。这些特征的通用性使转换具有鲁棒性。这些特征或描述符的性能优于SIFT描述符以匹配任务。2018年，Yang等人开发了一种基于相同思想的非刚性配准方法。他们使用预训练的VGG网络层来生成一个特征描述符，同时保留卷积信息和局部特征。这些描述符的性能也优于类似SIFT的探测器，特别是在SIFT包含许多异常值或无法匹配足够数量特征点的情况下。

技术实现思路

[0006]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于LSTM神经网络的自监督学习图像配准方法，针对低分辨率的2D图像，利用自监督学习的原理产生出具有真实标签的数据集，利用深度学习有监督学习的原理训练得到回归网络对刚体变换参数进行实时性的预测，以解决针对这一目标基于特征的方法和基于经典FFT方法的不足。针对本专利技术提出的基于LSTM神经网络的自监督学习图像配准算法，需要实现以下几点内容：
[0007](1)数据集选取问题:利用有监督学习的方式对一组变换前后的图像进行回归，需要变换前后的图像和标记值，对于低分辨率图像的刚体变换这一特定的应用来说，现有的图像配准数据集难以满足要求。因此，利用图像变换生成带有正确标记值的图像对是重要的原则。
[0008](2)模型架构的设计:因为针对特定配准类别和分辨率水平的场景需要不同复杂度的网络架构，因此需要选择合适的神经网络架构。基于不同图像特征提取算法的特征方法对于配准任务表现并不相同，基于快速傅里叶变换的方法也需要考虑角度的获取。
[0009](3)算法实时性的要求：考虑到算法有可能应用的环境要求，例如间接获取相机位姿的信息进而调整，需要算法实时地对输入图像做出处理以提高工作效率。同时，基于成本控制的考虑，算法实际部署的平台计算能力可能有限，因此算法应考虑实时性的要求。
[0010]本专利技术的目的可以通过以下技术方案来实现：
[0011]一种基于LSTM神经网络的自监督学习图像配准方法，具体包括以下步骤：
[0012]S1、获取源数据，生成随机数对源数据进行图像变换，得到变换前后的图像对和随机数标签值；
[0013]S2、将变换前后的图像对压缩为两个一维向量；
[0014]S3、将两个一维向量作为两个时间序列输入LSTM神经网络提取出图像特征；
[0015]S4、将图像特征输入全连接的回归网络计算平移量和旋转角度值，并根据预设的损失函数训练深度神经网络；
[0016]S5、将待配准的图像输入完成训练的深度神经网络，得到图像配准结果。
[0017]所述步骤S1中图像变换的类型包括旋转变换和平移变换。
[0018]进一步地，所述随机数包括旋转变换对应的旋转角度值和平移变换对应的平移量。
[0019]进一步地，所述旋转变换对应的旋转角度值为0到360度之间的均匀随机数。
[0020]进一步地，所述平移变换对应的平移量为x方向和y方向上的均匀随机数。
[0021]进一步地，所述平移变换对应的平移量均在图像宽度和高度范围内。
[0022]所述步骤S2中两个一维向量具体为源图像和目标图像展平后形成的一维像素数组。
[0023]所述步骤S3中图像特征具体为源域图像和目标域图像的特征。
[0024]所述LSTM神经网络的时间步长具体为2。
[0025]所述步骤S4具体包括以下步骤：
[0026]S41、将得到的时间序列送入LSTM神经网络，LSTM神经网络计算状态值和输出值，在LSTM神经网络的最后一层输出图像特征；
[0027]S42、将图像特征输入全连接的回归网络计算平移量和旋转角度值，并根据预设的
损失函数训练深度神经网络。
[0028]与现有技术相比，本专利技术具有以下有益效果：
[0029]1.本专利技术改进了传统的图像配准算法，使其能够在不同的数据集上都有着较好的性能表现，LSTM神经网络图像配准模型用带标签的数据进行有监督训练，因此也往往只能作用于带有标签值的特定的数据域，不能对任意图像训练网络。而本专利技术则提出了一种自监督的训练方法，使得模型能够成功地迁移到其它的数据域当中，从而使得图像配准模型的实用性以及全面性更高。
[0030]2.本专利技术引入了L本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于LSTM神经网络的自监督学习图像配准方法，其特征在于，具体包括以下步骤：S1、获取源数据，生成随机数对源数据进行图像变换，得到变换前后的图像对和随机数标签值；S2、将变换前后的图像对压缩为两个一维向量；S3、将两个一维向量作为两个时间序列输入LSTM神经网络提取出图像特征；S4、将图像特征输入全连接的回归网络计算平移量和旋转角度值，并根据预设的损失函数训练深度神经网络；S5、将待配准的图像输入完成训练的深度神经网络，得到图像配准结果。2.根据权利要求1所述的一种基于LSTM神经网络的自监督学习图像配准方法，其特征在于，所述步骤S1中图像变换的类型包括旋转变换和平移变换。3.根据权利要求2所述的一种基于LSTM神经网络的自监督学习图像配准方法，其特征在于，所述随机数包括旋转变换对应的旋转角度值和平移变换对应的平移量。4.根据权利要求3所述的一种基于LSTM神经网络的自监督学习图像配准方法，其特征在于，所述旋转变换对应的旋转角度值为0到360度之间的均匀随机数。5.根据权利要求3所述的一种基于LSTM神经网络的自监督学习图像配准方法，其特征在于，所述...

【专利技术属性】
技术研发人员：李冰，赵生捷，马若鑫，
申请(专利权)人：同济大学，
类型：发明
国别省市：