无人机航拍视频实时全景图拼接方法技术

本发明专利技术公开了一种无人机航拍视频实时全景图拼接方法。利用视频采集卡采集由无人机通过微波通道实时传回基站的图像，对图像序列进行关键帧选择，对关键帧进行图像增强；在图像拼接过程中，首先采用鲁棒性良好的SURF特征检测方法对图像帧的特征检测和帧间匹配；又采用帧到全景的图像变换方式，减少图像连乘累积误差，并结合无人机的GPS位置信息，确定飞行路径在时序上不相邻但在空间上相邻的图像帧，优化帧到全景的变换关系，确定图像重叠区域，实现图像融合和全景图的构建，实现了边飞边拼接的实时效果；在图像变换时，利用视域上相邻帧信息和空域相邻帧信息，优化图像变换，获得准确的全景图。本发明专利技术实时性好、快速准确，适于多领域应用场合需求。

【技术实现步骤摘要】

本专利技术涉及视频图像全景图的拼接，尤其涉及采用现代视频场景拼接技术与无人机飞行控制系统相结合的。
技术介绍
近年来，随着自动控制、无线传输等技术的发展，无人机在军事、民用上都发展迅速。由无人机搭载摄像机进行视频拍摄在军事侦察、广告摄影、灾情判断等方面发挥了巨大作用。但是，由于摄像机的拍摄范围和分辨率之间总是存在着分歧，往往整个飞行过程的视频中包含整个场景的全部信息，而单帧图像的信息却非常有限，从而诞生了视频图像拼接技术。视频图像拼接技术是将视频序列图像转化为一幅包含该序列所有信息的大视场宽视角的全景图像，解决了因摄像设备限制而存在的拍摄角度小、无法全景观测的问题。由于无人机飞行拍摄时距离地面较远并且垂直对地拍摄，因此可以合理的将图像假设为由光轴互相平行的相机拍摄得到的，图像之间仅存在位移变换。20世纪90年代有从业者 Heung-Yeung Shum(Heung Yeung Shum, Rendering with concentric mosaics. Proceeding of SIGGRAPH，99，Los Angeles, California :1999. 8-13)(译为同心圆视图渲染)提出同心圆拼图，目前研究技术相对成熟，拼接效果也较好，得到了广泛使用。但这种方法是基于特定摄像机运动的，即相机需要用三脚架固定在所拍摄景物中心位置，显然不适用于我们的无人机载摄像机视频图像拼接。另有从业者D.Lowe (Matthew Brown, David G. Lowe,Automatic Panoramic Image Stitching using Invariant Features,IJCV 2007)(译为采用不变性特征的自动全景图像拼接)为苹果公司的iPhone手机设计了 Autostitch场景图像拼接系统，其主要步骤是1、采用SIFT方法进行图像帧的特征检测； 2、采用k-d树进行相邻图像帧搜索和特征点匹配；3、利用匹配结果采用RANSAC方法进行图像之间的单应计算；4、对所有图像进行捆绑调整，优化帧图像在全景中的位置；5、多频带图像融合。另外，比较成熟的图像全景拼接软件还有Hugin (http //hugin. sf. net.)和 autopano-sift(http//user, cs. tu~berlin.de/ nowozin/autopano-sift/index, html).其主要思想跟Autositch类似。存在的主要问题有1、这些拼接方法都是对已经获取的图像集进行拼接，无法实现无人机边飞行边拼接的效果，2、这些软件都只适合图像集数目较少的场景恢复，无法处理时序很长的图像序列，3、采用SIFT进行特征检测和全图像帧捆绑调整策略，时间效率低。传统的在飞行时序上边飞边拼接算法通常采用帧到帧方式，通过局部对准过程将相邻图像依次连接起来，具体步骤为首先对相邻图像进行特征点提取，再进行特征点匹配，然后根据得到的匹配点集，进行两图像间平面运动变换的鲁棒估计，由此得到一系列局部变换矩阵Ti,i+1，即i帧图像和i+Ι帧间的变换矩阵。若选择第一帧图像为参考帧(即全景图像)后，第k帧O < k < N)图像到全景图像间的变换矩阵可由下式得到 k-权利要求1.一种，包括飞行控制系统，其特征是所述视频实时全景图拼接方法还包括以下步骤(1)视频图像的传输和采集无人机搭载摄像机对飞行过程的场景进行拍摄，然后通过微波通道将视频实时的传输回控制基站，视频接收机上安装图像采集卡对图像帧进行采集，然后传输给工作计算机，实现图像帧的获取；(2)关键图像帧的选择从采集卡得到的视频图像帧频高，为20-30帧/秒，采用基于内容的图像关键帧选择技术先对图像进行关键帧的选择后再以该关键帧用于图像的拼接，并记录该关键帧所对应的由GPS提供的位置信息；(3)图像预处理根据实际应用背景不同，将图像增强算法运用到本系统的预处理程序部分，实现自动选择图像增强算法，该方法是采用具有重叠性的分块化双平台操作技术对图像进行去烟雾处理，其具体步骤包括先对图像进行分块化处理，然后对每一块的灰度值进行统计，分别设置灰度级统计数目的高低平台对统计结果进行削平处理，实现单块图像的增强，这样可以利用相邻块之间的具有重叠区域，实现图像的增强；(4)图像特征提取与配准本方法是采用SURF加速的鲁棒性特征方法进行图像特征点的检测和描述，通过SURF 对特征点进行检测和描述后，使每个特征点为一个高维的向量描述符，又采用最近K邻域方法进行特征点的匹配，实现相邻两幅图像的配准；(5)帧道帧的图像变换通过步骤(4)配准得到相邻图像间的匹配点集，通过匹配点集采用RANSAC和L-M方法来求出两幅图像之间的单应变换矩阵，进行参数估计，获取图像的变换模型，实现帧到帧的变换关系，这样根据无人机垂直对地拍摄并且高度较高，可以假设图像之间为平移关系；(6)帧到全景的变换通过以上步骤，方法得到了帧到帧的变换关系，为实现全景图的构建，必须先实现帧到全景的变换，本方法采用一种基于无人机飞行路径的帧到全景图(frame-to-mosaic)的拼接方式，可以直接求取当前帧到全景图像的参考坐标系的变换参数；(7)无人机返回路径时空融合图像帧到全景拼接根据步骤(6)的帧到全景的变换方法结合无人机飞行路径，融合时空两方面的信息， 对图像帧的变换计算进行优化，同时利用时空相邻帧信息实现图像帧到全景的变换，这样可以减少图像连乘累积误差，以实现无人机返回路径时空融合图像帧到全景拼接；(8)图像融合生成全景图为了使得重叠区域平滑过渡，提高图像质量，采用线性的淡入淡出方法逐渐过渡，以避免出现明显的边界，本方法的具体步骤包括在重叠区域由一幅图像线性地过渡到另一幅图像，即将图像重叠区域的灰度值按照一定的权值相加合成新的图像，针对无人机拍摄的彩色图像，分别对红、绿、蓝三个通道进行插值融合，利用渐入渐出的融合算法得到较好的视觉效果，生成能满足该应用场合的全景图。2.根据权利要求1所述的，其特征是步骤(2)所述的该关键帧的位置信息是由无人机搭载的GPS导航仪提供。3.根据权利要求1所述的，其特征是步骤(6) 所述帧到全景的变换方法的实时过程进一步包括(1)将无人机传回的第0帧待拼接图像设定为全景图像参考帧，即参考坐标系，当第1 个关键帧到达时，通过步骤C3)实现增强，在按照步骤(4)的方法提取两帧图像重叠区域的特征点，按照步骤(5)实现变换关系的计算，得到Tcm ；(2)对于第1关键帧和第2关键帧，通过步骤(4)得到重叠区域内的匹配点集Hiatch1, match2后，按照Tcia将Hiatch1点集坐标映射到全景图像中，得到match’ i，这些特征点的坐标为浮点数，但是内容信息不变，根据match’ JPmatctl2这一新的匹配点集按照步骤(5)进行变换关系的计算，得到Ttl,2，得到第2帧与全局图像间的变换矩阵；(3)对于第i+Ι帧，设和第帧重叠区域的匹配点集为match^matchi+i，第i帧与全景图像的变换矩阵为Tchi，利用Ufmatchi转化到全景图像中的对应点集为match’ 用新的匹配点集match’ 1和111站(31^1采用步骤(5)计算第本文档来自技高网...

【技术保护点】
１．一种无人机航拍视频实时全景图拼接方法，包括飞行控制系统，其特征是：所述视频实时全景图拼接方法还包括以下步骤：（１）视频图像的传输和采集无人机搭载摄像机对飞行过程的场景进行拍摄，然后通过微波通道将视频实时的传输回控制基站，视频接收机上安装图像采集卡对图像帧进行采集，然后传输给工作计算机，实现图像帧的获取；（２）关键图像帧的选择从采集卡得到的视频图像帧频高，为２０－３０帧／秒，采用基于内容的图像关键帧选择技术先对图像进行关键帧的选择后再以该关键帧用于图像的拼接，并记录该关键帧所对应的由ＧＰＳ提供的位置信息；（３）图像预处理根据实际应用背景不同，将图像增强算法运用到本系统的预处理程序部分，实现自动选择图像增强算法，该方法是采用具有重叠性的分块化双平台操作技术对图像进行去烟雾处理，其具体步骤包括：先对图像进行分块化处理，然后对每一块的灰度值进行统计，分别设置灰度级统计数目的高低平台对统计结果进行削平处理，实现单块图像的增强，这样可以利用相邻块之间的具有重叠区域，实现图像的增强；（４）图像特征提取与配准本方法是采用ＳＵＲＦ加速的鲁棒性特征方法进行图像特征点的检测和描述，通过ＳＵＲＦ对特征点进行检测和描述后，使每个特征点为一个高维的向量描述符，又采用最近Ｋ邻域方法进行特征点的匹配，实现相邻两幅图像的配准；（５）帧道帧的图像变换通过步骤（４）配准得到相邻图像间的匹配点集，通过匹配点集采用ＲＡＮＳＡＣ和Ｌ－Ｍ方法来求出两幅图像之间的单应变换矩阵，进行参数估计，获取图像的变换模型，实现帧到帧的变换关系，这样根据无人机垂直对地拍摄并且高度较高，可以假设图像之间为平移关系；（６）帧到全景的变换通过以上步骤，方法得到了帧到帧的变换关系，为实现全景图的构建，必须先实现帧到全景的变换，本方法采用一种基于无人机飞行路径的帧到全景图（ｆｒａｍｅ－ｔｏ－ｍｏｓａｉｃ）的拼接方式，可以直接求取当前帧到全景图像的参考坐标系的变换参数；（７）无人机返回路径时空融合图像帧到全景拼接根据步骤（６）的帧到全景的变换方法结合无人机飞行路径，融合时空两方面的信息，对图像帧的变换计算进行优化，同时利用时空相邻帧信息实现图像帧到全景的变换，这样可以减少图像连乘累积误差，以实现无人机返回路径时空融合图像帧到全景拼接；（８）图像融合生成全景图为了使得重叠区域平滑过渡，提高图像质量，采用线性的淡入淡出方法逐渐过渡，以避免出现明显的边界，本方法的具体步骤包括：在重叠区域由一幅图像线性地过渡到另一幅图像，即将图像重叠区域的灰度值按照一定的权值相加合成新的图像，针对无人机拍摄的彩色图像，分别对红、绿、蓝三个通道进行插值融合，利用渐入渐出的融合算法得到较好的视觉效果，生成能满足该应用场合的全景图。...

【技术特征摘要】

【专利技术属性】
技术研发人员：王桥生，
申请(专利权)人：湖南天幕智能科技有限公司，
类型：发明
国别省市：43