【技术实现步骤摘要】
本专利技术属于图像处理，更进一步涉及图像拼接中一种基于特征点检测的在线海底全景图像拼接方法。本专利技术可用于水下或者深海环境中，对连续采集到的河床、海底图像进行实时拼接，拼接结果可为潜水装置的勘测提供参考。
技术介绍
1、海底在线全景图像拼接有助于操作人员记录和观察周围环境，在海底巡航和环境勘测中发挥着至关重要的作用。然而全景图像的获取存在着限制，广角相机在水下成像时由于光线的折射导致视场大幅度缩小，采用视场更大的鱼眼相机不仅价格昂贵，还会出现严重的失真。并且广角相机和鱼眼相机得到图像的视场较小，不能满足海底环境勘测记录要求。传统的拼接方式是先采集海底图像数据，后通过手动操作进行拼接。这种离线的拼接方法虽然能够得到好的输出结果，但是其拼接过程是不可见的，不能满足实时观测的作业场景。因此，基于单目相机的视频全景拼接的技术优势便显现出来。基于单目相机的视频全景拼接是将移动相机所拍摄的具有重叠区域的连续图像或视频数据合成为一张大视场全景图像，解决视野受限的问题。现有的在线拼接方案中，视频拼接往往计算视频中每帧图像之间的关系后直接合成，但由于视频数据的冗余，直接的拼接会增加在线系统的负担。与物理空间下的视频拼接相比，水下或者深海环境下的视频拼接更加复杂，拼接参数可能由于环境遮挡等因素出错，目前的在线拼接对于计算得出的仿射变换矩阵没有好的筛选，这对于整个自动拼接系统来说是不利的。在线拼接系统还面临着未知的图像输入量，现有的方案是预先设置结果图像的大小，但在实际作业任务中，结果图像大小是无法预知的。
2、陈庆等人在其发表的论文“
3、电子科技大学在其申请的专利文献“一种自动识别视频画面走向并进行全景图像拼接方法”(申请号：cn202310861095.5，申请公布号：cn116758255a，申请公布日：2023.07.13)提出一种视频全景图像拼接方法。该方法的步骤是：(1)通过无人机在高空中进行定高巡航，捕获一段对地拍摄视频；(2)通过tenengrad梯度方法过滤视频中的模糊帧；(3)得到的清晰帧图像做灰度化处理，输出差值二值化矩阵；(4)通过差值二值化矩阵的frobenius范数选取出适合拼接的关键帧；(5)通过判断帧滑移方向判断视频运动方向；(6)通过surf算法对筛选出的关键帧进行拼接，得到一张全景图。该方法的优势是能够过滤图像质量较差的模糊帧，保证了拼接数据的质量。并且对视频中的关键帧进行提取，减少了计算量，提高系统运行效率。但仍存在以下问题：其一，该方法的拼接过程不可见，无法用于在线的作业环境。其二，该方法为离线的拼接方法，无法实时获取拼接结果。
4、综上所述，现有的在线全景拼接技术要么没有提取关键帧图像，图像数据冗余，影响拼接实时性，要么没有筛选错误的变换矩阵，要么无法自动扩充拼接结果图像大小，限制了全景拼接图像的数量，均无法满足在线海底全景图像拼接的使用场景。
技术实现思路
1、本专利技术的目的在于针对上述现有技术的不足，提供一种基于特征检测的在线海底图像全景拼接方法。用于解决当前在线拼接系统中，没有提取关键帧图像导致数据冗余，影响拼接实时性的问题。以及在线拼接系统中，没有筛选错误的变换矩阵，导致拼接结果错误的问题。以及固定全景拼接结果图像的大小，限制了全景拼接时输入图像的数量的问题。
2、实现本专利技术目的的技术思路是，本专利技术考虑到实时采集的海底图像中，存在大量冗余图像，直接对所有实时采集到的海底图像进行拼接，影响拼接的实时性，本专利技术使用基于特征匹配的关键帧提取法提取关键帧图像，剔除冗余图像，从而减少计算数据量，提升系统的实时性。本专利技术考虑到实时采集的海底图像数据都是连续的，因此提出了一种基于空间约束的方法筛选仿射变换矩阵，对错误的仿射变换矩阵进行剔除，提升了系统的鲁棒性。本专利技术对全景拼接结果图像的大小进行实时扩充，解决了现有在线拼接系统固定全景拼接结果图像的大小，限制了全景拼接时输入图像的数量的问题，能够对任意数量的实时采集的海底图像进行全景拼接。
3、本专利技术的实现步骤如下：
4、步骤1，对实时采集到的海底图像进行特征提取，使用基于特征匹配的关键帧提取法，提取关键帧图像；
5、步骤2，对相邻的关键帧图像做特征点检测，使用特征点检测结果做特征匹配，移除匹配结果中的外点，计算所有关键帧图像与系统最终输出的仿射变换矩阵；
6、步骤3，使用基于空间约束的方法筛选仿射变换矩阵；
7、步骤4，用筛选后的仿射变换矩阵，对超出图像边界的系统最终输出图像做实时扩充，对扩充后的图像融合，得到实时海底图像数据的拼接后的图像。
8、本专利技术与现有技术相比较，具有如下优点：
9、第一，本专利技术使用基于特征匹配的关键帧提取法，提取实时采集到的海底图像中的关键帧图像，避免了现有技术手动采集图像数据会存在冗余，当冗余图像数据量过大时，影响拼接实时性的不足，使得本专利技术能够更及时的对实时采集的海底图像进行全景拼接。
10、第二，本专利技术使用基于空间约束的方法筛选仿射变换矩阵，剔除错误的变换矩阵，避免了现有技术没有筛选错误的变换矩阵，导致拼接结果错误的不足，使得本专利技术能够保证全景拼接结果的正确性。
11、第三，本专利技术对全景拼接结果图像的大小进行实时扩充，避免了现有技术固定全景拼接结果图像的大小，限制了全景拼接时输入图像的数量的不足，使得本专利技术能够对任意数量的实时采集的海底图像进行全景拼接。
本文档来自技高网...【技术保护点】
1.一种基于特征点检测的在线海底全景图像拼接方法，其特征在于，使用特征匹配的方式提取实时采集的海底图像的关键帧，使用基于空间约束的方法筛选图像变换矩阵，实时自动扩充拼接结果；该图像拼接方法的步骤包括如下：
2.根据权利要求1所述的基于特征点检测的在线海底全景图像拼接方法，其特征在于，步骤1中所述特征点提取的步骤为，对实时采集到的海底图像数据做SURF特征点检测；对检测出的每个特征点做SURF特征描述，得到描述每个特征点的128维的特征向量。
3.根据权利要求1所述的基于特征点检测的在线海底全景图像拼接方法，其特征在于，步骤1中所述的关键帧提取步骤如下：将实时采集到的所有图像，将实时采集到的第一张海底图像作为关键帧图像，将实时采集到其余的图像，逐张图像进行以下操作：
4.根据权利要求1所述的基于特征点检测的在线海底全景图像拼接方法，其特征在于，步骤2中所述特征检测步骤如下：从每个关键帧图像中检测SURF特征点，对该关键帧检测出的所有SURF特征点做BRISK特征描述，得到描述每个特征点的64维的特征向量。
5.根据权利要求1所述的基于
6.根据权利要求1所述的基于特征点检测的在线海底全景图像拼接方法，其特征在于，步骤2中所述移除匹配结果中的外点的步骤如下：使用RANSAC、GMS、AdaLAM外点移除算法中的任意一种，移除所有两两匹配的特征匹配点中的外点。
7.根据权利要求1所述的基于特征点检测的在线海底全景图像拼接方法，其特征在于，步骤2中所述计算所有关键帧图像与系统最终输出的仿射变换矩阵步骤如下：
8.根据权利要求1所述的基于特征点检测的在线海底全景图像拼接方法，其特征在于，步骤3中所述基于空间约束的方法的步骤如下：
9.根据权利要求1所述的基于特征点检测的在线海底全景图像拼接方法，其特征在于，步骤4中所述实时扩充的步骤如下：
10.根据权利要求1所述的基于特征点检测的在线海底全景图像拼接方法，其特征在于，步骤4中所述的图像融合步骤如下:
...【技术特征摘要】
1.一种基于特征点检测的在线海底全景图像拼接方法，其特征在于，使用特征匹配的方式提取实时采集的海底图像的关键帧，使用基于空间约束的方法筛选图像变换矩阵，实时自动扩充拼接结果；该图像拼接方法的步骤包括如下：
2.根据权利要求1所述的基于特征点检测的在线海底全景图像拼接方法，其特征在于，步骤1中所述特征点提取的步骤为，对实时采集到的海底图像数据做surf特征点检测；对检测出的每个特征点做surf特征描述，得到描述每个特征点的128维的特征向量。
3.根据权利要求1所述的基于特征点检测的在线海底全景图像拼接方法，其特征在于，步骤1中所述的关键帧提取步骤如下：将实时采集到的所有图像，将实时采集到的第一张海底图像作为关键帧图像，将实时采集到其余的图像，逐张图像进行以下操作：
4.根据权利要求1所述的基于特征点检测的在线海底全景图像拼接方法，其特征在于，步骤2中所述特征检测步骤如下：从每个关键帧图像中检测surf特征点，对该关键帧检测出的所有surf特征点做brisk特征描述，得到描述每个特征点的64维的特征向量。
5.根据权利要求1所述的基于特...
【专利技术属性】
技术研发人员：吕宁，畅顺，李保生，黄子豪，陈晓虎，王硕，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。