一种基于孪生卷积网络的图像配准方法技术

本发明专利技术公开了一种基于孪生卷积网络的图像配准方法，在输入的连续多帧图像中，选择第一帧和第二帧裁剪得到ROI_1和ROI_2，然后进行孪生卷积网络配准，计算ROI_1、ROI_2区域的峰值信噪比PSNR，将配准后两幅图像进行叠加，作为基准图像，再输入第三帧图像计算PSNR进行比较，直到满足条件；本发明专利技术计算过程简单便于实现，且对目标轮廓边缘等敏感的应用场景有良好的效果，可以应用在光电侦察、探测等装备的图像增强场景中。像增强场景中。像增强场景中。

【技术实现步骤摘要】
一种基于孪生卷积网络的图像配准方法


[0001]本专利技术属于图像处理
，特别涉及一种基于孪生卷积网络的图像配准方法。

技术介绍

[0002]目标跟踪中，对于已知的暗弱目标，通常是通过将光电系统的光轴中心对准目标，同时增加曝光时间来增大目标的信噪比。但是这种方法需要对关注的目标进行实时稳定跟踪，才能保证光轴对准，否则会增加背景干扰，反而弱化了目标信息，甚至让有价值的目标信息淹没。
[0003]基于以上分析，可以通过多帧累加的方法来增强目标的信息，但是累加的帧数是需要自适应调整的，否则当人为设定的帧数太少有可能导致弱目标并未凸显，帧数过多则导致光电系统输出帧频降低，减少了任务的实时性，同时在进行自适应多帧累加的时候还需要进行图像配准。
[0004]通过提取图像中角点的方法进行图像配准已经成熟，具有原理完备、算法稳定和实时性较好的优点。但是当目标处于复杂背景，特别是红外暗弱目标处于复杂背景时，角点计算的准确性会大大下降，严重时导致配准失败。

技术实现思路

[0005]针对基于角点的配准方法存在的不足，本专利申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于孪生卷积网络的图像配准方法，其特征在于：包括如下步骤S1，选择已知目标可能出现区域的连续多帧图像，从第一帧图像中选中目标可能出现的区域，选择该区域范围的1.5倍进行裁剪，作为ROI_1区域；S2，按照步骤S1对输入的第二帧图像进行裁剪，作为ROI_2区域；S3，使用交叉熵损失函数作为孪生卷积网络训练时使用的目标优化函数，将ROI_1区域和ROI_2区域的图像输入孪生卷积网络，将孪生卷积网络输出的特征向量作为关键点构建图像的特征描述符，使用RANSAC算法来获得前后ROI区域图像的最终匹配点对，最后通过最小二乘算法计算变换矩阵，通过变换矩阵实现ROI_2区域与ROI_1区域的配准；所述孪生卷积网络具有结构相同且共享卷积核参数的两个子网络，每个子网络均由卷积层conv、网络拼接模块concat和最大池化操作模块maxpool连接而成，其中卷积层conv由多个3
×
3的卷积核构成，网络拼接模块concat将需要拼接的两个卷积层conv直接拼接无通道叠加和计算，最大池化操作模块maxpool最终输出特征向量；S4，计算ROI_1区域和ROI_2区域的峰值信噪比PSNR值：S4，计算ROI_1区域和ROI_2区域的峰值信噪比PSNR值：其中，MAX
I
表示图像颜...

【专利技术属性】
技术研发人员：范强，邹尔博，李忠，张瑞文，何亦舟，
申请(专利权)人：武汉华中天经通视科技有限公司，
类型：发明
国别省市：