一种基于扑翼飞行系统的实时电子稳像方法技术方案

本发明专利技术公开了一种基于扑翼飞行系统的实时电子稳像方法。本发明专利技术方法首先利用Harris角点检测算法和KLT算法求解出图像内角点的局部运动矢量，利用最小二乘法拟合得到相邻帧间的全局运动矢量；之后针对扑翼飞行的特点，采用Savitzky‑golay滤波与Kalman滤波相结合方法，提取出需要保留的运动参数；接着，利用加速度传感器检判定扑翼飞行器的飞行状态，自适应选择相邻帧补偿算法或者固定帧补偿算法，对图像进行运动补偿；最后，利用双线性插值算法对图像进行放大后将边缘未定义部分区域进行裁剪，便能得到相对稳定的视频。该稳像算法相对简单，实时性好，较好地解决了扑翼飞行器在飞行过程中由于机身抖动导致其摄像系统拍摄的视频出现抖动的问题。

【技术实现步骤摘要】
一种基于扑翼飞行系统的实时电子稳像方法
本专利技术涉及数字图像处理
，具体涉及一种基于扑翼飞行系统的实时电子稳像方法。
技术介绍
近年来，国内外学者和科研人员对仿生扑翼式飞行器进行大量的研究，取得了一定成就。扑翼飞行器的气动性能理论比固定翼和旋翼飞行器要复杂。尤其在低雷诺数下，扑翼飞行器能充分利用非定常空气动力学特性获取更高的升力，在相同能量的消耗下，其续航时间、里程都能更长、能够广泛运用于表演、航拍、监控、测绘、救灾等场景。视频图像是扑翼飞行器自身导航以及获取任务执行目标信息最主要的手段之一，然而相比于固定翼或者四旋翼飞行器，扑翼飞行器的理论研究不够深入、完善，设计制作出的扑翼飞行器远不如固定翼或者旋翼飞行器稳定。扑翼飞行器自重轻，飞行时翼展扑动带来的高频震动，加上外界气流的影响，所以扑翼飞行器机载设备拍摄的视频抖动剧烈。以平行于地面的直线线路为目标线路的飞行过程为例，由于扑翼飞行器上扑行程和下扑行程不对称，所以扑翼飞行器总是围绕着目标线路上下波动，即扑翼飞行器在Y轴方向上的抖动更加剧烈。但是目前几乎没有专门针对扑翼飞行器航拍视本文档来自技高网...

【技术保护点】
1.一种基于扑翼飞行系统的实时电子稳像方法，其特征在于，/n所述扑翼飞行系统包括：扑翼飞行器样机、微处理器、无线图传模块、加速传感器、摄像头、锂电池模块、远程服务终端；/n所述微处理器分别与所述的摄像头、加速传感器、无线图传模块通过有线方式依次连接；所述无线图传模块与所述远程服务终端通过无线方式依次连接；/n所述的微处理器、无线图传模块、加速传感器、摄像头、锂电池模块均放置于所述扑翼飞行器样机上；/n所述锂电池模块分别与所述的微处理器、无线图传模块、加速传感器、摄像头通过有线方式依次连接；/n所述摄像头用于采集视频帧序列，并视频帧序列传输至所述微处理器；所述微处理器将视频帧序列通过无线图传模块...

【技术特征摘要】
1.一种基于扑翼飞行系统的实时电子稳像方法，其特征在于，
所述扑翼飞行系统包括：扑翼飞行器样机、微处理器、无线图传模块、加速传感器、摄像头、锂电池模块、远程服务终端；
所述微处理器分别与所述的摄像头、加速传感器、无线图传模块通过有线方式依次连接；所述无线图传模块与所述远程服务终端通过无线方式依次连接；
所述的微处理器、无线图传模块、加速传感器、摄像头、锂电池模块均放置于所述扑翼飞行器样机上；
所述锂电池模块分别与所述的微处理器、无线图传模块、加速传感器、摄像头通过有线方式依次连接；
所述摄像头用于采集视频帧序列，并视频帧序列传输至所述微处理器；所述微处理器将视频帧序列通过无线图传模块无线传输至所述远程服务终端；
所述加速传感器用于采集X轴加速度、Y轴加速度、Z轴加速度，并将X轴加速度、Y轴加速度、Z轴加速度传输至所述微处理器；所述微处理器将X轴加速度、Y轴加速度、Z轴加速度通过无线图传模块无线传输至所述远程服务终端；
所述实时电子稳像方法包含以下步骤：
步骤1：所述远程服务终端利用Harris角点检测算法检测出视频帧序列的参考帧图像中多个特征角点，利用KLT算法在视频帧序列的目标帧图像中跟踪视频帧序列的匹配参考帧图像中的特征角点得到跟踪匹配的视频帧序列的参考帧图像中的特征角点，结合跟踪匹配的视频帧序列的参考帧图像中的特征角点构建视频帧序列的目标帧图像与视频帧序列的参考帧图像的刚性变换模型，通过最小二乘法拟合得到最优解，即为视频帧序列的参考帧图像与视频帧序列的目标帧图像之间的全局运动矢量；
步骤2：所述远程服务终端将视频帧序列的参考帧图像与视频帧序列的目标帧图像之间的全局运动矢量进行累加处理，得到帧序列间的运动轨迹，分别利用Savitzky-golay滤波算法和Kalman滤波算法对帧序列间的运动轨迹进行平滑处理，得到只包含主动运动的帧序列间的运动轨迹，通过计算求得目标帧相对于参考帧只包含主动运动的运动矢量；
步骤3：通过加速度传感器采集X轴加速度、Y轴加速度、Z轴加速度，分别计算X轴速度、Y轴速度、Z轴速度，进一步选择对应补偿算法，对视频帧序列中每幅图像依次进行补偿得到稳定的视频帧序列；稳定的视频帧序列中每幅图像利用双线性插值算法进行图像放大得到放大后的视频帧序列，将放大后的视频帧序列中每幅图像边缘的未定义区域裁剪掉，得到去除了未定义区的稳定帧序列。


2.根据权利要求1所述的基于扑翼飞行系统的实时电子稳像方法，其特征在于，
步骤1所述视频帧序列为：
{f1,f2，…，fM}
其中，M表示视频帧序列中帧图像的数量，fm为视频帧序列的第m帧图像，定义fp为视频帧序列的第p帧参考帧图像，m∈[1,M]，p∈[1,m)，定义fq为视频帧序列的第q帧目标帧图像，q∈(p,m]；
步骤1所述，若视频帧序列的第p帧参考帧图像中多个特征角点，表示为：
{(xp,1，yp,1)，(xp,2，yp,2)，…，(xp,N，yp,N)}
n∈[1,N]
其中，N表示视频帧序列的第p帧参考帧图像中特征角点的数量，xp,n表示视频帧序列的第p帧参考帧图像中第n个特征角点的X轴的坐标，yp,n表示视频帧序列的第p帧参考帧图像中第n个特征角点的Y轴的坐标；
步骤1所述跟踪匹配的参考帧图像中的特征角点，具体为：
若利用KLT算法成功在视频帧序列的第q帧目标帧图像中跟踪匹配到视频帧序列的第p帧参考帧图像中的第k个特征角点(xp,k，yp,k)，则返回布尔值1，以及第k个特征角点在视频帧序列的第q帧目标帧图像中的位置坐标(x′q,k,y′q,k)；
若不成功，则只返回布尔值0；
依次对视频帧序列的第p帧参考帧图像中多个特征角点通过利用KLT算法进行跟踪匹配，得到视频帧序列的第p帧参考帧图像中多个特征角点在视频帧序列的第q帧目标帧图像中的对应位置坐标为：
{(x′q，1，y′q，1)，(x′q，2，y′q，2)，…，(x′q,R，y′q,R)}，且R≤N；
步骤1所述目标帧图像与参考帧图像的刚性变换模型，表示为：



其中，(xp,k，yp,k)为视频帧序列的第p帧参考帧图像中的第k个特征角点位置坐标，(x′q,k,y′q,k)为(xp,k，yp,k)在视频帧序列的第q帧目标帧图像中的新位置坐标，Δx表示(x′q,k,y′q,k)相对于(xp,k，yp,k)在X轴方向上的位移，Δy表示(x′q,k,y′q,k)相对于(xp,k，yp,k)在Y轴方向上的位移，α表示(x′q,k,y′q,k)相对于(xp,k，yp,k)沿Z轴旋转角度α；
进一步，第k个特征角点的运动矢量可表示为：
Pq,k＝[Δx,Δy,α]T,其中Pq,k又称为视频帧序列的第q帧目标帧图像中的第k个特征角点的局部运动矢量；
步骤1所述通过最小二乘法拟合得到最优解为：
R对特征点的位置坐标{(xp,1，yp,1)，(x′q，1，y′q，1)}…{(xq,R，yq,R)，(x′q,R，y′q,R)}，结合上述刚性模型就会组成一个超定方程组AM＝B，具体如下：



其最优解为：
M0＝(ATA)-1ATb
其中，最优解M0中的元素Δx0、Δy0和α0一起组成步骤1所述的视频帧序列的第q帧目标帧图像相对视频帧序列的第p帧参考帧图像的全局运动矢量，表示为：
Vq＝[xt,q,yt,q,zt,q]T；
其中，xt,q＝Δx0，xt,q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在X轴方向的位移；
yt,q＝Δy0，yt,q表示视频帧序列的第q帧目标帧图像相对视频帧序列的第p帧参考帧图像的在Y轴方向上的位移；
zt,q＝α0，zt,q表示视频帧序列的第q帧目标帧图像相对视频帧...

【专利技术属性】
技术研发人员：朱建阳，刘辉，张加诚，朱名康，田长斌，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北;42