基于SIFT与深度学习联合优化的铁塔天线全景图像拼接方法技术

技术编号:41617020 阅读:26 留言:0更新日期:2024-06-13 02:20
一种基于SIFT与深度学习联合优化的铁塔天线全景图像拼接方法,先将相邻两帧图像分别输入进基于几何特征匹配网络、基于SIFT特征匹配网络以及回环检测网络得到图像多模态特征匹配关系;再将特征匹配关系输入进RANSAC的单应性估计器得到多模态单应性变换矩阵以及表示矩阵估计确定性协方差矩阵;再使用基于位姿图的联合优化方式,优化多模态单应性变换矩阵;最后使用优化后的矩阵进行图像拼接得到全景图像。本发明专利技术能够将SIFT的不变性以及效率高的优势与深度学习能捕捉更丰富的特征信息的优势结合起来,在保证图像拼接效率的同时,更准确地估算单应性矩阵,提升了整体铁塔天线全景图像拼接的准确性和稳定性。

【技术实现步骤摘要】

本专利技术涉及一种全景图像拼接方法,具体是一种基于sift与深度学习联合优化的铁塔天线全景图像拼接方法,属于图像处理。


技术介绍

1、铁塔天线数量的统计是铁塔巡检中一项重要的工作,铁塔天线是保证铁塔正常运行的核心部件,目前这项工作仍然主要依赖人工统计,但是这种方式存在很多弊端,比如巡检视角受限,传统的人工上塔受到塔体结构的限制,塔维人员通过肉眼观察,容易产生隐患遗漏的情况,无法确认信息准确性,导致巡检效率降低,并且铁塔具有一定的高度,给巡检人员的人身安全带来了较大的风险,因此可以引入无人机设备,在高空中围绕着铁塔天线处拍摄图片,再使用全景图像拼接算法就能得到完整的全景图以便于巡检人员清点天线数量,提高了巡检任务的安全性和效率。目前全景图像拼接方法主要有传统算法与深度学习算法。

2、传统基于尺度不变特征转换(scale-invariant feature transform,sift)算法在图像拼接中常用于特征点检测和匹配。sift算法提取图像特征点,并为每个关键点生成描述符。在进行图像匹配时,将这些关键点的描述符作为输入,通过最近邻搜索生成密集本文档来自技高网...

【技术保护点】

1.一种基于SIFT与深度学习联合优化的铁塔天线全景图像拼接方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于SIFT与深度学习联合优化的铁塔天线全景图像拼接方法,其特征在于,步骤S2中,以图像对的方式同时放入基于深度学习的几何特征匹配网络NGeo以及基于SIFT特征匹配网络NSIFT,分别得到图像几何特征对应关系MGeo以及图像SIFT特征对应关系MSIFT,在闭环检测网络NLC中,只将第一帧记为关键帧,再计算关键帧与其他帧的对应关系,记为MLC,来判断摄像机是否重访了之前的场景。

3.根据权利要求2所述的一种基于SIFT与深度学习联合优化的铁塔...

【技术特征摘要】

1.一种基于sift与深度学习联合优化的铁塔天线全景图像拼接方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于sift与深度学习联合优化的铁塔天线全景图像拼接方法,其特征在于,步骤s2中,以图像对的方式同时放入基于深度学习的几何特征匹配网络ngeo以及基于sift特征匹配网络nsift,分别得到图像几何特征对应关系mgeo以及图像sift特征对应关系msift,在闭环检测网络nlc中,只将第一帧记为关键帧,再计算关键帧与其他帧的对应关系,记为mlc,来判断摄像机是否重访了之前的场景。

3.根据权利要求2所述的一种基于sift与深度学习联合优化的铁塔天线全景图像拼接方法,其特征在于,步骤s2中获得图像几何特征对应关系以及图像sift特征对应关系具体为:

4.根据权利要求3所述的一种基于sift与深度学习联合优化的铁塔天线全景图像拼接方法,其特征在于,步骤s3具体为:将图像几何特征以及图像sift特征对应关系输入进ransac的单应性估计器fransac生成...

【专利技术属性】
技术研发人员:缪燕子徐辰伟魏薇卜冉刘润翌
申请(专利权)人:中国矿业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1