一种基于孪生卷积网络的图像配准方法技术

本发明专利技术公开了一种基于孪生卷积网络的图像配准方法，在输入的连续多帧图像中，选择第一帧和第二帧裁剪得到ROI_1和ROI_2，然后进行孪生卷积网络配准，计算ROI_1、ROI_2区域的峰值信噪比PSNR，将配准后两幅图像进行叠加，作为基准图像，再输入第三帧图像计算PSNR进行比较，直到满足条件；本发明专利技术计算过程简单便于实现，且对目标轮廓边缘等敏感的应用场景有良好的效果，可以应用在光电侦察、探测等装备的图像增强场景中。像增强场景中。像增强场景中。

【技术实现步骤摘要】
一种基于孪生卷积网络的图像配准方法


[0001]本专利技术属于图像处理
，特别涉及一种基于孪生卷积网络的图像配准方法。

技术介绍

[0002]目标跟踪中，对于已知的暗弱目标，通常是通过将光电系统的光轴中心对准目标，同时增加曝光时间来增大目标的信噪比。但是这种方法需要对关注的目标进行实时稳定跟踪，才能保证光轴对准，否则会增加背景干扰，反而弱化了目标信息，甚至让有价值的目标信息淹没。
[0003]基于以上分析，可以通过多帧累加的方法来增强目标的信息，但是累加的帧数是需要自适应调整的，否则当人为设定的帧数太少有可能导致弱目标并未凸显，帧数过多则导致光电系统输出帧频降低，减少了任务的实时性，同时在进行自适应多帧累加的时候还需要进行图像配准。
[0004]通过提取图像中角点的方法进行图像配准已经成熟，具有原理完备、算法稳定和实时性较好的优点。但是当目标处于复杂背景，特别是红外暗弱目标处于复杂背景时，角点计算的准确性会大大下降，严重时导致配准失败。

技术实现思路

[0005]针对基于角点的配准方法存在的不足，本专利申请提出一种基于孪生卷积网络的图像配准方法。
[0006]本专利技术解决其技术问题所采用的技术方案是：一种基于孪生卷积网络的图像配准方法，包括如下步骤
[0007]S1，选择已知目标可能出现的区域的连续多帧图像为输入，从第一帧图像中选中包含目标可能出现的区域，为了保证图像后续配准与裁剪，选择该区域范围1.5倍的范围进行裁剪，作为ROI_1区域；
[0008]S2，按照上述方法，对输入的第二帧图像进行裁剪作为ROI_2区域；
[0009]S3，孪生卷积网络图像配准：使用交叉熵损失函数作为孪生卷积网络训练时使用的目标优化函数，将ROI_1区域和ROI_2区域的图像输入孪生卷积网络，将孪生卷积网络输出的特征向量作为关键点构建图像的特征描述符，使用工业界成熟算法RANSAC算法来获得前后ROI区域图像的最终匹配点对，最后通过最小二乘算法计算变换矩阵，通过变换矩阵可以实现ROI_2区域与ROI_1区域的配准；
[0010]所述孪生卷积网络具有结构相同且共享同样的卷积核参数的两个子网络，每个子网络均由卷积层conv、网络拼接模块concat和最大池化操作模块maxpool上下串联连接而成，其中卷积层conv由多个3
×
3的卷积核构成，网络拼接模块concat将需要拼接的两个卷积层conv直接拼接无通道叠加和计算，最大池化操作模块maxpool最终输出特征向量；
[0011]S4，计算ROI_1区域和ROI_2区域的峰值信噪比PSNR值：
[0012][0013][0014]其中，MAX
I
表示图像颜色的最大数值，8位采样点表示为255，m、n分别表示ROI区域宽和高，I(i,j)、K(i,j)分别指ROI_1和ROI_2区域中坐标(i,j)的灰度值，PSNR的单位是dB，数值越大表示失真越小；
[0015]S5，将配准后的ROI_1和ROI_2区域两幅图像进行叠加，并作为下一步操作的基准图像；
[0016]S6，设定此时的PSNR值为基础阈值T_base，以步骤S5叠加后的基准图像作为基准输入，将输入的第三帧图像作为待处理输入，按照步骤S1～S5得到新的PSNR值T，与T_base比较，如果T
‑
T_base≥2dB，则转入步骤S7；否则输入第四帧图像，不断重复步骤S1～S5，直到满足条件；
[0017]S7，此时按照上述操作，可以自适应的选择用于增强目标的累加帧数，此时还需要对处理后的图像进行去噪，进一步提升信噪比，得到配准图像。
[0018]进一步，所述的步骤S5中的图像叠加是ROI_1和ROI_2区域对应像素位置的灰度值求和。
[0019]更进一步，所述的步骤S7中为了考虑计算的实时性并有效保留目标的轮廓和边缘信息，选择非局部均值去噪方法去噪。
[0020]再进一步，所述的步骤S7具体为：选择像素点周围8个像素点，即其8邻域的像素点，计算每个邻域像素与当前像素的欧式距离，将距离值作为权重，将8个像素点灰度值的高斯加权平均值之和作为当前像素点新的估计值，依次遍历需要去噪的图像中所有像素，每个新的像素估计值作为去噪后的图像输出。
[0021]本专利技术的有益效果是：本专利技术的配准方比传统基于角点的配准方法，在复杂背景下具有更好的准确性；本专利技术方法选择非局部均值去噪，该方法在去除噪声和保持纹理细节方面都取得比较好的效果，同时采用阈值判断的自适应多帧累加，可以自动根据累加结果进行调整，避免人为设定累加帧数带来的效果不稳定的问题，最后使用非局部均值滤波方法对累加后的图像进行去噪处理。
附图说明
[0022]图1是本专利技术孪生卷积网络的网络结构示意图。
具体实施方式
[0023]在态势感知的实际应用中，需要对远距离重要目标进行探测。同时，敌方为了躲避被发现探测的概率，大多采取规避或伪装。这些问题会导致获取的光电图像中关注的目标表现为暗弱目标。因此，需要对暗弱目标进行图像增强，增加探测概率，去除虚警。这也是为了提高光电系统目标检测、目标跟踪等其他性能的先决条件。
[0024]相似性度量方法的孪生神经网络以卷积神经网络为主干网络，将前后两帧图像相似性最高的信息作为网络输出，通过一个函数将输入映射到目标空间，在目标空间使用距离函数(如欧式距离等)进行对比相似度。在训练阶段，最小化来自相同类别的一对样本的损失函数值，最大化来自不同类别的一对样本的损失函数值，因此特别适合复杂背景下图像配准。
[0025]下面将结合附图的具体实施例对本专利技术作进一步详细说明。以下实施例仅用于解释本专利技术，并不构成对本专利技术的限定。
[0026]本专利技术公开的一种基于孪生卷积网络的图像配准方法，是基于孪生网络配准的多帧累加弱目标检测方法，包括如下步骤：
[0027]S1，选择已知目标可能出现的区域的连续多帧图像为输入，从第一帧图像中选中包含目标可能出现的区域，为了保证图像后续配准与裁剪，选择该区域范围1.5倍的范围进行裁剪，作为ROI_1区域；
[0028]S2，按照上述方法，对输入的第二帧图像进行裁剪作为ROI_2区域；
[0029]S3，孪生卷积网络图像配准：使用交叉熵损失函数作为孪生卷积网络训练时使用的目标优化函数，尽可能采集光电系统应用场景的图像，前后相隔一定时间的ROI_1和ROI_2区域作为图像对孪生卷积网络进行网络训练，将ROI_1区域和ROI_2区域的图像输入孪生卷积网络，将孪生卷积网络输出的特征向量作为关键点构建图像的特征描述符，使用工业界成熟算法RANSAC算法来获得前后ROI区域图像的最终匹配点对，最后通过最小二乘算法计算变换矩阵，通过变换矩阵可以实现ROI_2区域与ROI_1区域的配准；
[0030]如图1所示，所述孪生卷积网络具有结构相同且共享同样的卷积核参数的两个子网络，每个子网络均由卷积层conv、网络拼本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于孪生卷积网络的图像配准方法，其特征在于：包括如下步骤S1，选择已知目标可能出现区域的连续多帧图像，从第一帧图像中选中目标可能出现的区域，选择该区域范围的1.5倍进行裁剪，作为ROI_1区域；S2，按照步骤S1对输入的第二帧图像进行裁剪，作为ROI_2区域；S3，使用交叉熵损失函数作为孪生卷积网络训练时使用的目标优化函数，将ROI_1区域和ROI_2区域的图像输入孪生卷积网络，将孪生卷积网络输出的特征向量作为关键点构建图像的特征描述符，使用RANSAC算法来获得前后ROI区域图像的最终匹配点对，最后通过最小二乘算法计算变换矩阵，通过变换矩阵实现ROI_2区域与ROI_1区域的配准；所述孪生卷积网络具有结构相同且共享卷积核参数的两个子网络，每个子网络均由卷积层conv、网络拼接模块concat和最大池化操作模块maxpool连接而成，其中卷积层conv由多个3
×
3的卷积核构成，网络拼接模块concat将需要拼接的两个卷积层conv直接拼接无通道叠加和计算，最大池化操作模块maxpool最终输出特征向量；S4，计算ROI_1区域和ROI_2区域的峰值信噪比PSNR值：S4，计算ROI_1区域和ROI_2区域的峰值信噪比PSNR值：其中，MAX
I
表示图像颜...

【专利技术属性】
技术研发人员：范强，邹尔博，李忠，张瑞文，何亦舟，
申请(专利权)人：武汉华中天经通视科技有限公司，
类型：发明
国别省市：