一种基于舵机控制的多视点图像拼接方法技术

本发明专利技术提出一种基于舵机控制的多视点图像拼接方法，通过控制两个不同方位的无人平台获取待拼接的图像，每个平台上均设有二路舵机，用二路舵机控制载有摄像系统的云台的周向和俯仰的运动，将载有摄像系统的舵机控制云台与下位机对应连接，通过上位机发送指令控制云台的运动，上位机显示两个视点的视场大小，根据视场显示的范围，调控舵机转动两个视点以减小视差，从而获得两幅视差较小的、来自不同视点的初始图像；获取特征点后，进行特征点的匹配，完成图像的特征点匹配后，计算不同视点图像的单应性矩阵，将两幅图像变化到同一坐标系中，最后实现多视点的图像拼接。本发明专利技术可解决大场景拼接图像的质量问题。

【技术实现步骤摘要】
一种基于舵机控制的多视点图像拼接方法
本专利技术属于图像处理领域，特别是一种基于舵机控制的多视点图像拼接方法。
技术介绍
随着传统作战模式逐渐淡出人们视野，而以一种班组形式的作战方式越来越受到各个国家的重视。未来班组作战以一种班组的形式进行战场的侦察，根据侦察到的信息，结合各种武器平台实现对战场的指挥和对目标的有效打击，所以对战场态势信息的把握非常重要，单兵班组结合地面无人平台将是未来侦察的重要方式。目前的图像拼接还是单一视点的拼接，例如无人机航拍，手机全景拍摄等，单一视点的拼接往往需要较长的时间才能获取前方的大场景，这增加了侦察暴露的时间，针对战争环境的复杂性，单一视点的拼接显然不适合，多视点的应用会具有更好的适应战场环境的能力。由于目前的图像拼接主要为单一视点，其拍摄的各组图像重叠度高，视场差异度小，拼接效果较好，而未来班组作战中，单兵利用不同的视点获取的图像进行大场景的拼接，不同方位的视点会存在一定的视差从而影响大场景拼接的效果，所以多视点的拼接存在视差较大而影响大场景获取的问题。
技术实现思路
本专利技术的目的在于提供一种基于舵机控制的多视点图像拼接方法，以解决未来班组作战中，不同单兵利用摄像系统进行大场景拼接而存在不同视点之间视差较大影响最终的大场景拼接图像的质量问题。实现本专利技术目的的技术解决方案为：一种基于舵机控制的多视点图像拼接方法，通过控制两个不同方位的无人平台获取待拼接的图像，每个平台上均设有二路舵机，用二路舵机控制载有摄像系统的云台的周向和俯仰的运动，将载有摄像系统的舵机控制云台与下位机对应连接，通过上位机发送指令控制云台的运动，上位机显示两个视点的视场大小，根据视场显示的范围，调控舵机转动两个视点以减小视差，从而获得两幅视差较小的、来自不同视点的初始图像；获取特征点后，进行特征点的匹配，完成图像的特征点匹配后，计算不同视点图像的单应性矩阵，将两幅图像变化到同一坐标系中，最后实现多视点的图像拼接。本专利技术与现有技术相比，其显著优点是：(1)本专利技术利用二路舵机控制摄像头，以实现其周向和俯仰的运动，基于单片机实现摄像系统和舵机模块与计算机交互，从而能够在计算机上显示实时视场的范围和控制舵机转角的功能，利用两个该摄像系统在不同方位来获取初始图像相对于单一视点，多视点的应用对于未来班组作战态势感知能力方面的提升具有一定的效果。(2)利用舵机控制摄像头的俯仰运动，通过与计算机交互，调控舵机获得视差较小的多视点图像，提高了多视点图像拼接的质量。附图说明图1为本专利技术专利提供的多视点图像拼接的流程示意图。图2为系统方案图。图3为地面不同视点获取的初始图像。图4为多视点图像拼接的结果。具体实施方式下面结合附图及具体实施例对本专利技术做进一步的介绍。结合图1，本实施例的一种基于舵机控制的多视点图像拼接方法，可从地面两个不同视点的角度进行，但不局限于地面多视点，可以应用于空中多视点、地面和空中多视点。为了获取前方大场景的态势感知，与单一视点不同，通过控制地面两个不同方位的无人平台获取待拼接的图像，由于两个不同方位的无人平台之间存在一定的视差，所以利用图2所示的系统方案解决视差对多视点拼接的影响，该系统为：利用WIFI模块实现上位机和下位机的信息交互，下位机是一个ARM控制系统，具有电机、舵机、传感等一些接口，为了实现摄像系统的周向和俯仰运动，采用二路舵机控制载有摄像系统的云台，将载有摄像系统的舵机控制云台与下位机对应连接，实现通过上位机发送指令控制云台的运动，将摄像系统通过WIFI模块传输到上位机中显示，上位机中可以实时显示不同视点的视场，若两视场之间视差较大，则调控舵机模块减小视差并形成有效视场，获取待拼接的初始图像。利用二路舵机控制摄像头，以实现其周向和俯仰的运动，基于单片机实现摄像系统和舵机模块与计算机交互，从而能够在计算机上显示实时视场的范围和控制舵机转角的功能。利用两个该摄像系统在不同方位来获取初始图像，在计算机上能够显示两个视点的视场大小，根据视场显示的范围，可以看出两个视点所拍摄到的图像之间的视差，两个视点的视差过大则调控舵机控制模块，即转动两个视点以减小视差，从而获得两幅视差较小的、来自不同视点的初始图像。获取图像完毕后对图像进行特征点检测，在拼接算法中，SIFT特征检测算法在检验精度和稳定性上都要优于Harris角点检测算法，但由于SIFT算法的特征描述符是128维的向量，对这128维向量进行配准，耗时较长。所以该算法的不足就是实时性不高。SURF特征检测算法是SIFT特征检测算法的加速版，不仅拥有SIFT算法的优点，而且速度更快。因此本方法利用SURF算法，具体检测步骤主要分为四步：(1)尺度空间的构建：利用Hessian矩阵，通过高斯滤波和积分图构建图像的尺度空间。(2)极值点检测：在整体尺度空间中，除去最上面和最下面这两层，每一层的像素点与本层的8个像素点以及本层对应的上下层的9个像素点进行对比，比较出这26个像素点的最大值与最小值，若该层的像素点是26个像素点中的最大值或者最小值，则记为一个极值点。(3)特征主方向的确定：通过确定统计某特征点圆形邻域内一定面积的Harr小波特征，按某一特定的方向进行旋转，Harr小波特征统计值最大的面积方向作为特征的主方向。(4)特征描述子生成：按特征点主方向为基准方向，构建矩形小区域，统计该区域内的Harr小波特征并计算出一个四维特征向量，划分小区域个数与四维特征向量的乘积为SURF算法的特征描述子。完成特征点检测后进行特征点匹配，即计算欧式距离d，数学公式为：式中：i为每个特征描述向量，Dp、Dq为特征描述子。利用RANSAC算法进行特征点的剔除，具体步骤为：从匹配好的特征点对中先随机选择4对，求解变换矩阵M，将剩下的特征点对中的其中一幅图像中的每个点，通过矩阵M求得该点变换后在待匹配图像中相应的点，计算该点与原先匹配的位于待匹配图像中的点两者之间的距离，如距离小于事先设定的一个阈值，则该特征点为正确匹配点，将正确的匹配点对保存。再从剩下的特征点随机选择4对进行矩阵计算和匹配，重复若干次后得到最终的匹配结果。完成上述的操作后，计算该图像的单应性矩阵。选取该图像中4对对应点的坐标计算出单应矩阵H，然后将一幅图像变换到另一幅图像视角，最后实现多视点的图像拼接。实施例地面两个不同视点，两视点之间相距约18m，两视点同时对前方的场景进行采集，经过如图2所示的控制系统调控后，获取的初始图像分别如图3(a-b)所示，最后形成的大场景图如图4所示。本文档来自技高网...

【技术保护点】
1.一种基于舵机控制的多视点图像拼接方法，其特征在于，通过控制两个不同方位的无人平台获取待拼接的图像，每个平台上均设有二路舵机，用二路舵机控制载有摄像系统的云台的周向和俯仰的运动，将载有摄像系统的舵机控制云台与下位机对应连接，通过上位机发送指令控制云台的运动，上位机显示两个视点的视场大小，根据视场显示的范围，调控舵机转动两个视点以减小视差，从而获得两幅视差较小的、来自不同视点的初始图像；获取特征点后，进行特征点的匹配，完成图像的特征点匹配后，计算不同视点图像的单应性矩阵，将两幅图像变化到同一坐标系中，最后实现多视点的图像拼接。/n

【技术特征摘要】
1.一种基于舵机控制的多视点图像拼接方法，其特征在于，通过控制两个不同方位的无人平台获取待拼接的图像，每个平台上均设有二路舵机，用二路舵机控制载有摄像系统的云台的周向和俯仰的运动，将载有摄像系统的舵机控制云台与下位机对应连接，通过上位机发送指令控制云台的运动，上位机显示两个视点的视场大小，根据视场显示的范围，调控舵机转动两个视点以减小视差，从而获得两幅视差较小的、来自不同视点的初始图像；获取特征点后，进行特征点的匹配，完成图像的特征点匹配后，计算不同视点图像的单应性矩阵，将两幅图像变化到同一坐标系中，最后实现多视点的图像拼接。


2.根据权利要求1所述的基于舵机控制的多视点图像拼接方法，其特征在于，特征点检测采用URF算法。


3.根据权利要求2所述的基于舵机控制的多视点图像拼接方法，其特征在于，具体检测包括以下步骤：
步骤1、尺度空间的构建：利用Hessian矩阵，通过高斯滤波和积分图构建图像的尺度空间；
步骤2、极值点检测：在整体尺度空间中，除去最上面和最下面这两层；每一层的像素点与本层的多个像素点以及本层对应的上下层的多个像素点进行对比，比较出像素点...

【专利技术属性】
技术研发人员：孙维亚，吴志林，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32