本发明专利技术涉及一种用于扑翼飞行机器人视觉监测的视频增稳方法及系统。其中的方法包括：生成视觉图像的特征点和特征点轨迹；对特征点轨迹进行周期分割，并获取视频帧率，计算获得特征点轨迹的瞬时频率；根据瞬时频率调整特征点的时间间隔，然后进行线性采样，生成原始轨迹；对上述原始轨迹进行插值，获得插值轨迹；对插值轨迹求平均值，获得平滑轨迹；调整平滑轨迹的时间间隔，并进行线性采样，获得最终平滑轨迹；基于原始轨迹和最终平滑轨迹，进行逐帧图像矫正，获得增稳后的视频。本发明专利技术能够对各条特征点轨迹进行单独处理，适用于长短不一的特征点轨迹，同时便于实现并行运算，具有很高的计算效率，并适用于实时在线处理。并适用于实时在线处理。并适用于实时在线处理。
【技术实现步骤摘要】
用于扑翼飞行机器人视觉监测的视频增稳方法及系统
[0001]本专利技术涉及用于扑翼飞行机器人视觉监测的视频增稳方法及系统，属于无人机视觉
技术介绍
[0002]不同于旋翼或固定翼无人机，仿生扑翼无人机通过模仿自然鸟类的扑动实现飞行。在扑翼无人机安装摄像头进行飞行航拍时，视频中的景物会由于扑翼无人机的扑动运动而产生剧烈抖动，从而让视频观看者感到不适。因此，需要利用视频增稳方法对视频进行处理，获得稳定的航拍视频。
[0003]现有的视频增稳方法，主要是对视频通过典型的KS1nS1S4e
‑
LuS3S1s
‑
TomS1si(KLT)特征点跟踪方法所获得的特征点轨迹，再利用特定的平滑方法对特征点轨迹进行平滑，最后基于平滑前后的特征点轨迹利用典型的S3ontent
‑
Preserving WS1rp(S3PW)法进行逐帧图像矫正，获得增稳视频。而视频增稳方法的难点在于平滑特征点轨迹，由于航拍视频中景物变化，相应特征点轨迹往往是零散的不连续的，不能直接采用一般平滑方法如高斯平滑或移动均值平滑进行处理。因此，需要特定方法对航拍视频的特征点轨迹进行平滑。
[0004]现有的视频增稳方法，比如子空间法，轨迹增强法，对极几何法等方法，都是通过移动一个短的时间采样区间对航拍视频的特征点轨迹进行处理，其处理方式劣势在于：1)对于长度较短的特征点轨迹处理能力差；2)在实时处理中，对于连续采集的两段视频，必须保证两者有较大的重叠才能实现特征点平滑衔接，计算较为冗余。
[0005]为了解决上述问题，有必要针对扑翼无人机的飞行特性，提出新的视频增稳方法。
技术实现思路
[0006]本专利技术提供一种用于扑翼飞行机器人视觉监测的视频增稳方法及装置，旨在至少解决现有技术中存在的技术问题之一。
[0007]本专利技术的技术方案一方面涉及用于扑翼飞行机器人视觉监测的视频增稳方法。根据本专利技术的方法包括以下步骤：
[0008]S10、通过特征点检测法获得机器人视觉图像的特征点；通过特征点跟踪或者特征点匹配，生成机器人视觉视频的特征点轨迹；
[0009]S20、根据所述特征点的Y方向上加速度提取特征点，生成所述特征点轨迹的包络线，根据所述包络线的峰值点，对所述特征点轨迹进行周期分割，形成若干个子集；
[0010]S30、基于上述子集，并获取视频帧率，通过计算获得特征点轨迹的瞬时频率；
[0011]S40、根据所述瞬时频率设定基准频率，按所述基准频率调整特征点之间的时间间隔，再根据所述视频帧率设定固定时间间隔，对上述调整后的特征点轨迹按固定时间间隔进行线性采样，生成原始轨迹；
[0012]S50、对上述原始轨迹进行插值，获得插值轨迹；
[0013]S60、对所述插值轨迹求平均值，获得平滑轨迹；按所述基准频率调整所述平滑轨
迹的时间间隔，再对调整后的平滑轨迹按固定时间间隔进行线性采样，获得最终平滑轨迹；
[0014]S70、基于所述原始轨迹和所述最终平滑轨迹，进行逐帧图像矫正，获得增稳后的视频。
[0015]进一步，所述步骤S1中：
[0016]通过KLT跟踪算法获得所述特征点轨迹。
[0017]进一步，所述步骤S20包括：
[0018]S21、所述特征点的Y方向上加速度通过以下公式获得：
[0019][0020]其中，i表示特征点序号，(px，py)表示特征点坐标，m表示特征点数量；
[0021]S22、所述特征点轨迹的包络线采用上包络线，所述上包络线通过以下方式获得：
[0022]当a
iy
的值大于a
i
‑
1y
以及a
i+1y
时，将记为ay
ipeak
；将所有ay
peak
连线形成ay的上包络线。
[0023]进一步，所述步骤S30中：
[0024]所述瞬时频率通过以下计算获得：
[0025][0026]其中，r
i
表示轨迹点i的瞬时频率，r
c
表示视频帧率，nk表示轨迹点i所属子集的轨迹点总数。
[0027]进一步，所述步骤S40包括：
[0028]S41、将基准频率设定为瞬时频率的中位数；
[0029]S42、特征点之间的时间间隔依据以下方程调整：
[0030][0031]其中，Δt(i)表示特征点i与特征点i+1之间的调整后时间间隔，r
f
表示基准频率；r
i
表示轨迹点i的瞬时频率；
[0032]S43、将固定时间间隔设置为1/r
c
；对上述调整后的特征点轨迹按1/r
c
进行线性采样，生成原始轨迹。
[0033]进一步，所述步骤S50中：
[0034]所述插值轨迹通过以下插值公式计算获得：
[0035][0036]其中(k
‑
1)n
f
+h＜j≤kn
f
+h，kn
f
+h≤m
′
[0037]其中，E
h
(j)表示插值轨迹，Q(j)表示原始轨迹；n
f
表示单个扑动循环轨迹点数，r
c
表示视频帧率，r
f
表示上述基准频率，n
f
＝r
c
/r
f
；k表示抖动循环序号，h表示相位序号，h∈[0，nf)，j表示轨迹点序号，j＝knf+h。
[0038]进一步，所述步骤S60中：
[0039]所述最终平滑轨迹通过以下公式计算获得：
[0040][0041]其中，S(j)表示最终平滑轨迹，E
h
(j)表示插值轨迹，n
f
表示单个扑动循环轨迹点数，r
c
表示视频帧率，rf表示上述基准频率，n
f
＝r
c
/r
f
；k表示抖动循环序号，h表示相位序号，h∈[0，nf)，j表示轨迹点序号，j＝knf+h。
[0042]进一步，所述步骤S70中：
[0043]通过CPW算法进行逐帧图像矫正，获得增稳后的视频。
[0044]本专利技术的技术方案另一方面还涉及用于扑翼飞行机器人视觉监测的视频增稳系统，包括：
[0045]由扑翼飞行机器人搭载的至少一个摄像头；
[0046]与所述摄像头连接的计算机设备，所述计算机设备包括计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施如权利要求1至8中任一项所述的方法。
[0047]本专利技术的有益效果如下：
[0048]本专利技术提出用于扑翼飞行机器人视觉监测的视频增稳方法及系统，基于扑翼无人机周期性抖动的特征，将原始特征点轨迹分为平滑特征点轨迹和周期抖动轨迹本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于扑翼飞行机器人视觉监测的视频增稳方法，其特征在于，所述方法包括以下步骤：S10、通过特征点检测法获得机器人视觉图像的特征点；通过特征点跟踪或者特征点匹配，生成机器人视觉视频的特征点轨迹；S20、根据所述特征点的Y方向上加速度提取特征点，生成所述特征点轨迹的包络线，根据所述包络线的峰值点，对所述特征点轨迹进行周期分割，形成若干个子集；S30、基于上述子集，并获取视频帧率，通过计算获得特征点轨迹的瞬时频率；S40、根据所述瞬时频率设定基准频率，按所述基准频率调整特征点之间的时间间隔，再根据所述视频帧率设定固定时间间隔，对上述调整后的特征点轨迹按固定时间间隔进行线性采样，生成原始轨迹；S50、对上述原始轨迹进行插值，获得插值轨迹；S60、对所述插值轨迹求平均值，获得平滑轨迹；按所述基准频率调整所述平滑轨迹的时间间隔，再对调整后的平滑轨迹按固定时间间隔进行线性采样，获得最终平滑轨迹；S70、基于所述原始轨迹和所述最终平滑轨迹，进行逐帧图像矫正，获得增稳后的视频。2.根据权利要求1所述的方法，其中，所述步骤S1中：通过KLT跟踪算法获得所述特征点轨迹。3.根据权利要求1所述的方法，其中，所述步骤S20包括：S21、所述特征点的Y方向上加速度通过以下公式获得：其中，i表示特征点序号，(px，py)表示特征点坐标，m表示特征点数量；S22、所述特征点轨迹的包络线采用上包络线，所述上包络线通过以下方式获得：当a
iy
的值大于a
i
‑
1y
以及a
i+1y
时，将记为a
yipeak
将所有ay
peak
连线形成ay的上包络线。4.根据权利要求1所述的方法，其中，所述步骤S30中：所述瞬时频率通过以下计算获得：其中，r
i
表示轨迹点i的瞬时频率，rc表示视频帧率，nk表示轨迹点i所属子集的轨迹点总数。5.根据权利要求4所述的方法，其中，所述步骤S40包括：S41、将基准频率设定为瞬时频率的中位数；S42、特征点之间的时间间隔依据以下方程调整：其中，Δt...
【专利技术属性】
技术研发人员：徐文福，叶景杨，徐晖，袁晗，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。