低空飞行场景的无人机视频稳定方法和装置制造方法及图纸

本发明专利技术提供一种低空飞行场景的无人机视频稳定方法和装置，其中方法包括：获取待稳定无人机视频，对视频中的每一帧进行特征点提取，连接得到各个特征点的轨迹，轨迹按阈值分为长轨迹与短轨迹，基于长轨迹和平滑长轨迹可以计算得到每帧图片对应的全局变换矩阵，结合每帧图片相应的全局变换矩阵、短轨迹以及低通滤波器，可以得到平滑短轨迹，最终采用多平面优化方法结合长轨迹与短轨迹进行计算，得到稳定的无人机视频。本发明专利技术对特征点轨迹进行了分类，在保证特征点充足区域稳定效果的同时，对特征点不充足的区域起到了稳定效果，能够在一定程度上解决低空飞行场景中多平面优化方法边缘不稳定的影响，从而提高无人机视频的稳定效果。

【技术实现步骤摘要】
低空飞行场景的无人机视频稳定方法和装置
本专利技术涉及通信
，尤其涉及一种低空飞行场景的无人机视频稳定方法和装置。
技术介绍
无人机视频稳定技术，主要是为解决大气湍流、旋桨震动和姿态变换等原因造成的无人机视频画面抖动问题。该技术可仅根据无人机拍摄视频中的图像信息，通过计算机图形变换，还原出稳定的观察视野，对增强无人机拍摄视频可用性具有重大意义。当前无人机视频稳定方法中，主要以估计图像序列间的变换矩阵为基础，将某一帧作为基准对所有帧进行补偿，使所有帧的视角接近所选帧，也可以对变换矩阵进行平滑，从而得到一系列相对稳定的图像。由于这类方法对每帧只采用线性变换，因而算法健壮性好、处理速度快，适合在高空中以及视频内容稳定时使用。然而，在低空拍摄场景中，当前无人机视频稳定方法仍有不足，一方面不能解决低空中场景的视差问题，另一方面也易受到卷帘效应的影响。
技术实现思路
本专利技术提供一种低空飞行场景的无人机视频稳定方法和装置，用于解决现有无人机视频稳定技术中低空飞行场景可用性差的问题，。本专利技术的第一个方面是提供一种低空飞行场景的无人机视频稳定方法，包括：提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹以及轨迹长度；将特征点的轨迹长度与特征点轨迹长度阈值进行比较，分别获取特征点长轨迹和特征点短轨迹；对特征点长轨迹的坐标值采用低通滤波进行平滑处理，得到平滑后的特征点长轨迹；对特征点长轨迹以及平滑后的特征点长轨迹进行多平面优化计算，得到每帧图片对应的全局变换矩阵；采用全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换以及平滑处理，得到平滑后的特征点短轨迹；对所述平滑后的特征点长轨迹与平滑后的特征点短轨迹进行合并得到特征点平滑轨迹，采用多平面优化方法对各个特征点轨迹和特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵；依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频。进一步地，所述对特征点长轨迹以及平滑后的特征点长轨迹进行多平面优化计算，得到每帧图片对应的全局变换矩阵，包括：针对每帧图片，获取各个特征点长轨迹中所述图片对应的各个特征点的坐标；获取平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标；采用多平面优化方法对各个特征点长轨迹中所述图片对应的各个特征点的坐标，以及平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标进行计算，得到所述图片对应的全局变换矩阵。进一步地，所述采用全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换以及平滑处理，得到平滑后的特征点短轨迹，包括：采用各帧图片对应的全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换，得到特征点短轨迹中各个特征点变换后的坐标；对特征点短轨迹中各个特征点变换后的坐标进行组合，得到预稳定的特征点短轨迹；对所述预稳定的特征点短轨迹进行B样条曲线拟合，得到平滑后的特征点短轨迹。进一步地，所述B样条曲线拟合函数为其中Pi为控制点，Ni,p(u)为p次B样条基函数。进一步地，B样条基函数为其中k为B样条幂次，u为节点，i为B样条的序列帧号。本专利技术中，通过提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹以及轨迹长度，并结合特征点轨迹长度阈值进行分类，得到特征点长轨迹和特征点短轨迹，基于特征点长轨迹和经低通滤波处理得到的平滑后的特征点长轨迹，计算得到每帧图片对应的全局变换矩阵，结合每帧图片对应的全局变换矩阵、特征点短轨迹以及平滑处理手段，得到平滑后的短轨迹，采用多平面优化方法对各个特征点轨迹以及特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵，依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频，本专利技术对特征点的轨迹的分类，对每帧图片对应的全局变换矩阵的计算，使得每帧图片可以采用不同的变换规则描述其运动，能够精确地描述不同区域的运动，本专利技术结合多平面优化方法的使用，能够一定程度解决无人机低空飞行场景卷帘效应，以及CMOS相机高频振动场景对视频的影响，从而提高无人机视频的稳定效果，提高无人机视频的可用性。本专利技术的第二个方面是提供一种低空飞行场景的无人机视频稳定装置，包括：提取模块，用于提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹以及轨迹长度；比较模块，用于将特征点的轨迹长度与特征点轨迹长度阈值进行比较，分别获取特征点长轨迹和特征点短轨迹；滤波处理模块，用于对特征点长轨迹的坐标值采用低通滤波进行平滑处理，得到平滑后的特征点长轨迹；第一计算模块，用于对特征点长轨迹以及平滑后的特征点长轨迹进行多平面优化计算，得到每帧图片对应的全局变换矩阵；变换模块，用于采用全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换以及平滑处理，得到平滑后的特征点短轨迹；第二计算模块，用于对所述平滑后的特征点长轨迹与平滑后的特征点短轨迹进行合并得到特征点平滑轨迹，采用多平面优化方法对各个特征点轨迹和特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵；位移补偿模块，用于依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频。进一步地，所述第一计算模块包括：第一获取单元，用于针对每帧图片，获取各个特征点长轨迹中所述图片对应的各个特征点的坐标；第二获取单元，用于获取平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标；计算单元，采用多平面优化方法对各个特征点长轨迹中所述图片对应的各个特征点的坐标，以及平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标进行计算，得到所述图片对应的全局变换矩阵。进一步地，所述变换模块包括：变换单元，用于采用各帧图片对应的全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换，得到特征点短轨迹中各个特征点变换后的坐标；组合单元，用于对特征点短轨迹中各个特征点变换后的坐标进行组合，得到预稳定的特征点短轨迹；曲线拟合单元，用于对所述预稳定的特征点短轨迹进行B样条曲线拟合，得到平滑后的特征点短轨迹。进一步地，所述B样条曲线拟合函数为其中Pi为控制点，Ni,p(u)为p次B样条基函数。进一步地，B样条基函数为其中k为B样条幂次，u为节点，i为B样条的序列帧号。本专利技术中，通过提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹，并结合特征点轨迹长度阈值进行分类，得到特征点长轨迹和特征点短轨迹，基于特征点长轨迹和经低通滤波处理得到的平滑后的特征点长轨迹，计算得到每帧图片对应的全局变换矩阵，结合每帧图片对应的全局变换矩阵、特征点短轨迹以及平滑处理手段，得到平滑后的短轨迹，采用多平面优化方法对各个特征点轨迹以及特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵，依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频，本专利技术对特征点的轨迹的分类，对每帧图片对应的全局变换矩阵的计算，使得每帧图片可以采用不同的变换规则描述其运动，能够精确地描述不同区域的运动，本专利技术结合多平面优化方法的使用，能够一定程度解决无人机低空飞行场景卷帘效应，以及CMOS相机高频振动场景对视频的影响，从而提高无人机视频的稳定效果，提高无人机视频的可用性。附图说明图1为本专利技术提供的低空飞行场景的无人机本文档来自技高网...

【技术保护点】
一种低空飞行场景的无人机视频稳定方法，其特征在于，包括：提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹以及轨迹长度；将特征点的轨迹长度与特征点轨迹长度阈值进行比较，分别获取特征点长轨迹和特征点短轨迹；对特征点长轨迹的坐标值采用低通滤波进行平滑处理，得到平滑后的特征点长轨迹；对特征点长轨迹以及平滑后的特征点长轨迹进行多平面优化计算，得到每帧图片对应的全局变换矩阵；采用全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换以及平滑处理，得到平滑后的特征点短轨迹；对所述平滑后的特征点长轨迹与平滑后的特征点短轨迹进行合并得到特征点平滑轨迹，采用多平面优化方法对各个特征点轨迹和特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵；依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频。

【技术特征摘要】
1.一种低空飞行场景的无人机视频稳定方法，其特征在于，包括：提取待稳定视频每帧图片中的特征点，连接得到各个特征点的轨迹以及轨迹长度；将特征点的轨迹长度与特征点轨迹长度阈值进行比较，分别获取特征点长轨迹和特征点短轨迹；对特征点长轨迹的坐标值采用低通滤波进行平滑处理，得到平滑后的特征点长轨迹；对特征点长轨迹以及平滑后的特征点长轨迹进行多平面优化计算，得到每帧图片对应的全局变换矩阵；采用全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换以及平滑处理，得到平滑后的特征点短轨迹；对所述平滑后的特征点长轨迹与平滑后的特征点短轨迹进行合并得到特征点平滑轨迹，采用多平面优化方法对各个特征点轨迹和特征点平滑轨迹进行计算，得到每帧图片对应的目标变换矩阵；依次对待稳定视频每帧图片中的每个像素采用对应的目标变换矩阵进行坐标变换，得到稳定的无人机视频。2.根据权利要求1所述的低空飞行场景的无人机视频稳定方法，其特征在于，所述对特征点长轨迹以及平滑后的特征点长轨迹进行多平面优化计算，得到每帧图片对应的全局变换矩阵，包括：针对每帧图片，获取各个特征点长轨迹中所述图片对应的各个特征点的坐标；获取平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标；采用多平面优化方法对各个特征点长轨迹中所述图片对应的各个特征点的坐标，以及平滑后的特征点长轨迹中所述图片对应的各个特征点的坐标进行计算，得到所述图片对应的全局变换矩阵。3.根据权利要求1所述的低空飞行场景的无人机视频稳定方法，其特征在于，所述采用全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换以及平滑处理，得到平滑后的特征点短轨迹，包括：采用各帧图片对应的全局变换矩阵对特征点短轨迹中对应的特征点的坐标进行变换，得到特征点短轨迹中各个特征点变换后的坐标；对特征点短轨迹中各个特征点变换后的坐标进行组合，得到预稳定的特征点短轨迹；对所述预稳定的特征点短轨迹进行B样条曲线拟合，得到平滑后的特征点短轨迹。4.根据权利要求3所述的低空飞行场景的无人机视频稳定方法，其特征在于，所述B样条曲线拟合函数为其中Pi为控制点，Ni,p(u)为p次B样条基函数。5.轨迹权利要求3所述的低空飞行场景的无人机视频稳定方法，其特征在于，B样条基函数为1其中k为B样条幂次，u为节点，i为B样条的序列帧号。6.一种低空飞行场...

【专利技术属性】
技术研发人员：曹先彬，陈磊，刘俊英，郑洁宛，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11