一种基于球机抓拍图片的自适应全景拼接方法技术

本发明专利技术公开了一种基于球机抓拍图片的自适应全景拼接方法，该方法包括以下步骤：S10、控制球机以预定旋转时间和旋转角速度在360度范围内抓拍多幅前后部分重叠的图像；S20、对图像进行预处理并进行特征点选择区域的标定；S30、从标定的特征点选择区域提取特征点并进行特征点匹配；S40、对拼接图像进行映射校正和过渡还原；S50、进行全景图像拼接。本发明专利技术的基于球机抓拍图片的自适应全景拼接方法能够自适应地拼接球机抓拍的图像，通过对特征点选择区域进行标定将特征点检测区域从全图缩小到图像重叠区域，在提高检测效率的同时优化特征点的匹配质量，大幅提升拼接效率和拼接质量，实现场景360度无死角的监控。

【技术实现步骤摘要】
一种基于球机抓拍图片的自适应全景拼接方法
本专利技术涉及全景拼接
，特别涉及一种基于球机抓拍图片的自适应全景拼接方法。
技术介绍
全景拼接是使用多个摄像机对同一个场景在不同角度拍摄，把得到的多个图像进行校正、去噪、匹配、融合，最终构建成一个质量高、清晰、边缘平滑、分辨率高的图像。在实际的科研和工程中，当遇到超过人眼视角的场景时，在近距离内无法用照相机将这些庞大的事物拍摄下来，拉大拍摄距离虽然可以得到宽范围的图像，但是拍摄到的物体可能会相对较小，而经过放大后的图像则会出现马赛克现象，效果很差。使用现代化的硬件设施可能会解决这一问题。但是，像广角镜头等硬件设备的价格都很昂贵，使用方法复杂，而且会造成图像边缘变形的现象。另外一种方法就是使用软件来解决这一问题，如Photoshop等图像处理软件，可以将几个普通视角的图像做成宽视角的大图像，但做出理想的效果效率太低。所以，为获得高分辨率的全景图片，对数字图像拼接技术进行研究是非常必要的。目前，通常利用球机对场景进行监控。在球机进行监控过程中，云台控制球机的摄像头转动，摄像头获取周围场景的实时图像，以达到对周围场景的监控目的。由于球机采用单一画面显示，同一时间只能对一个场景进行监控，并没有全景图像的概念，即同一时间只能获取并输出球机全部视野中的一部分视野的监控图像。当想要快速定位到球机全部视野范围内除当前监控场景外的其他场景时，需要手动控制将球机转动到目标位置，以获得目标位置对应的场景的监控图像，这样将会导致球机工作效率低、且球机定位不准确的问题。另外，当球机需要进行云台的巡迹、线扫等设置时，均需手动控制球机逐点定位，也将导致球机工作效率低、且球机定位不准确的问题；对于具有自动跟踪功能的智能球机，他可以放大显示监控场景的细节信息，无需手动控制球机转动，但也不具备全景图像的概念，一旦需要报警，将难以确定目标场景的具体位置。图像拼接技术最先在遥感领域得到应用，其核心方法是图像配准。图像配准分为基于区域的配准方法和基于特征的图像配准。基于区域的配准方法分又为基于空间域的图像配准和基于变换域的图像配准，早期主要采用全局搜索法进行图像配准，计算量极大。基于特征的图像配准法基本思想是提取特征点，匹配两幅图像中的特征点作为特征点对，使用特征点对估计空间变换模型的参数，特征包括角点、边缘和斑点等等。图像拼接算法，基于特征点检测与匹配的拼接算法仍然是主流算法，通过图像对的特征点提取与匹配，根据特征点的匹配情况可得到图像变换模型，常用的图像变换模型有仿射变换模型、透视变换模型等，用所得到的模型对所有待拼接的图像进行变换，最后在重叠区域进行融合后得到一副首尾相接的全景图。目前最常用的拼接算法一般通过经典的SIFT算法提取点特征，SIFT特征点对图像的尺度变化、旋转变化、光照变化等保持不变，对仿射变换也有一定的不变性，是广泛采用的特征点提取方法之一，但是其复杂度高，计算速度较慢；在匹配过程中，使用特征向量之间距离的最近邻和次近邻之比来判断特征点是否匹配；然后利用RANSAC算法剔除误匹配对，估算出图像间的单应矩阵；最后根据生成的图像变换模型进行相应的图像变换后，再经过多波段融合处理得到全景图。但是此种算法因为视差的原因会导致重影和错位，即单应矩阵是两个平面之间的变换，一个单应矩阵将位于同一平面的点对齐了，而位于其他平面的点就无法对齐。所以有很多新的算法利用两个单应矩阵，甚至多个单应矩阵来进行拼接。目前拼接效果好的算法是基于局部单应性的，将图像划分成细密的网格，每个网格做一次局部单应变换。全景拼接的实时性至关重要。基于网格化的局部单应性的算法虽然拼接效果好，但是拼接速度非常慢。综上所述，现有技术存在的问题是：现有算法的处理速度慢，计算耗时大；对于特征点少或者重叠区域低的场景，现有的基于特征点提取和匹配的算法不鲁棒。
技术实现思路
本专利技术要解决的技术问题是提供一种拼接效率高，拼接效果好的基于球机抓拍图片的自适应全景拼接方法。为了解决上述技术问题，本专利技术提供了一种基于球机抓拍图片的自适应全景拼接方法，其包括以下步骤：S10、控制球机以预定旋转时间和旋转角速度在360度范围内抓拍多幅前后部分重叠的图像；S20、对图像进行预处理并进行特征点选择区域的标定；S30、从标定的特征点选择区域提取特征点并进行特征点匹配；S40、对拼接图像进行映射校正和过渡还原；S50、进行全景图像拼接。作为本专利技术的进一步改进，步骤S20中对图像进行预处理包括图像排序、图像去噪和几何修正。作为本专利技术的进一步改进，步骤S30具体包括：通过ORB算法从标定的特征点选择区域提取特征点并通过flann算法或BFmatcher算法进行特征点匹配。作为本专利技术的进一步改进，步骤S40中对拼接图像进行映射校正和过渡还原，包括：步骤S41、将拼接图像划为abc三块，a为图像左侧用于根据透视变换来拼接前图，b为图像中间用于映射还原，c为图像右侧用于选用原图和下一幅图像匹配；步骤S42、根据前后拼接图像的匹配点计算单应性矩阵，将单应性矩阵中每个值进行线性变化，生成H1～Hn共n个过渡还原矩阵；步骤S43、根据n个过渡矩阵生成映射还原图像，将过渡图像imgi分成等宽的n份，依据单应性矩阵编号依次选取第i份用于拼接映射还原图像。作为本专利技术的进一步改进，所述a为图像左侧30％，b为图像中间40％，c为图像右侧30％。作为本专利技术的进一步改进，所述单应性矩阵H1即为原透视矩阵，单应性矩阵Hn单位矩阵表示为：px为过渡偏移量，其值为：其中，xh为原图偏移量，xp为映射图的宽度，xo为原图的宽度，70％代表a和b的比例之和；中间的过渡矩阵Hi则依据距H1与Hn的距离，线性改变过渡矩阵内每个数值，最后将中间图像分别与过渡矩阵相乘，得到n个过渡图像imgn。作为本专利技术的进一步改进，在步骤S50中利用加权融合算法进行全景图像拼接。作为本专利技术的进一步改进，加权融合后的图像为：其中，I1与I2分别为待拼接的图像序列，I为融合后的图像，而w1与w2为拼接图像的权值，权值的计算方法为：设当前重叠区域的像素横坐标为xi，重叠区域左右的横坐标分别为xl和xr，则作为本专利技术的进一步改进，步骤S50还包括：利用光照补偿算法对前后图像重叠区域进行色差调节。作为本专利技术的进一步改进，还包括步骤：S31、当特征点的数量不足时，控制球机重新抓拍更多图像，使前后图像的重叠区域更大。本专利技术的有益效果：本专利技术基于球机抓拍图片的自适应全景拼接方法能够自适应地拼接球机抓拍的图像，通过对特征点选择区域进行标定将特征点检测区域从全图缩小到图像重叠区域，在提高检测效率的同时优化特征点的匹配质量，大幅提升拼接效率和拼接质量，实现场景360度无死角的监控。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本本文档来自技高网...

【技术保护点】
1.一种基于球机抓拍图片的自适应全景拼接方法，其特征在于，包括以下步骤：/nS10、控制球机以预定旋转时间和旋转角速度在360度范围内抓拍多幅前后部分重叠的图像；/nS20、对图像进行预处理并进行特征点选择区域的标定；/nS30、从标定的特征点选择区域提取特征点并进行特征点匹配；/nS40、对拼接图像进行映射校正和过渡还原；/nS50、进行全景图像拼接。/n

【技术特征摘要】
1.一种基于球机抓拍图片的自适应全景拼接方法，其特征在于，包括以下步骤：
S10、控制球机以预定旋转时间和旋转角速度在360度范围内抓拍多幅前后部分重叠的图像；
S20、对图像进行预处理并进行特征点选择区域的标定；
S30、从标定的特征点选择区域提取特征点并进行特征点匹配；
S40、对拼接图像进行映射校正和过渡还原；
S50、进行全景图像拼接。


2.如权利要求1所述的基于球机抓拍图片的自适应全景拼接方法，其特征在于，步骤S20中对图像进行预处理包括图像排序、图像去噪和几何修正。


3.如权利要求1所述的基于球机抓拍图片的自适应全景拼接方法，其特征在于，步骤S30具体包括：通过ORB算法从标定的特征点选择区域提取特征点并通过flann算法或BFmatcher算法进行特征点匹配。


4.如权利要求1所述的基于球机抓拍图片的自适应全景拼接方法，其特征在于，步骤S40中对拼接图像进行映射校正和过渡还原，包括：
步骤S41、将拼接图像划为abc三块，a为图像左侧用于根据透视变换来拼接前图，b为图像中间用于映射还原，c为图像右侧用于选用原图和下一幅图像匹配；
步骤S42、根据前后拼接图像的匹配点计算单应性矩阵，将单应性矩阵中每个值进行线性变化，生成H1～Hn共n个过渡还原矩阵；
步骤S43、根据n个过渡矩阵生成映射还原图像，将过渡图像imgi分成等宽的n份，依据单应性矩阵编号依次选取第i份用于拼接映射还原图像。


5.如权利要求4所述的基于球机抓拍图...

【专利技术属性】
技术研发人员：周子贤，周圣强，黄岗，
申请(专利权)人：苏州万店掌网络科技有限公司，
类型：发明
国别省市：江苏;32