基于机械云台和光流算法的双目全向避障方法技术

本发明专利技术公开了基于机械云台和光流算法的双目全向避障方法，通电启动双目测距模块以及机械云台，打开光流摄像头与双目摄像头；启动光流算法，用LK光流算法计算飞机当前的光流速度；根据光流模块输出的光流速度，计算飞机当前的飞行或漂移方向；计算得到的飞机以机头为参照物的飞行方向，控制机械云台的电机，使得双目模块正面朝向飞机的飞行方向。本发明专利技术利用双目测距模块外加机械云台和光流模块，用一个双目模块+三轴机械云台实现水平方向360度全向避障，能有效解决飞机在低速飞行或漂移过程中飞机飞行方向无法准确解算的问题，光流模块利用视觉图像的变化能准确分辨出飞机当前的飞行状态以及速度。

【技术实现步骤摘要】
基于机械云台和光流算法的双目全向避障方法
本专利技术涉及无人机
，具体为基于机械云台和光流算法的双目全向避障方法。
技术介绍
当前的无人机双目加机械云台避障方案，通过飞机的飞行姿态估算飞机的飞行方向，然后根据飞机的飞行方向调整机械云台的航向角，使得双目测距模块能够正向朝着飞机飞行的方向，从而测算飞机飞行方向的障碍物，这种利用飞机飞行姿态估算飞行方向的方法依赖于飞机姿态数据的精度，当飞机以很小的速度飞行或者漂移的时候，姿态数据被传感器噪声淹没，无法准确估算出飞机的飞行方向；另外飞机在室外飞行抵抗风力的过程中飞机可能没有动，但是姿态却是倾斜的，很容易误判为飞机在飞行，另外当传感器安装方位不是水平的，也会导致飞机飞行方向估算错误，这种情况下就无法准确调整双目测距模块的朝向，从而达到避障的目的，另外有的双目模块由于摄像头帧率不高，飞机的高频振动会导致测距模块的两个摄像头成像出现不一致的抖动，容易引起匹配误差，测距精度降低，为此，提出基于机械云台和光流算法的双目全向避障方法来解决上述问题。
技术实现思路
针对现有技术的不足，本专利技术提供了基于机械云台和光流算法的双目全向避障方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：基于机械云台和光流算法的双目全向避障方法，包括以下步骤：S1、通电启动双目测距模块以及机械云台，打开光流摄像头与双目摄像头；S2、启动光流算法，用LK光流算法计算飞机当前的光流速度；S3、根据光流模块输出的光流速度，计算飞机当前的飞行或漂移方向；S4、根据步骤S3计算得到的飞机以机头为参照物的飞行方向，控制机械云台的电机，使得双目模块正面朝向飞机的飞行方向；S5、获取双目测距模块输出的深度图，查询深度图中心区域和周围8个区域的深度数据，查询区域的大小根据飞机机架的大小和双目摄像头视场角的大小来确定，机架大，则对应的深度图区域也要大，机架小，则对应的深度图区域也要小，进行避障飞行。进一步优化本技术方案，所述步骤S2中，LK光流算法有三个假设条件：亮度恒定、小运动以及空间一致。进一步优化本技术方案，所述亮度恒定：一个像素点随着时间的变化，其亮度值(像素灰度值)是恒定不变的，这是光流法的基本设定，所有光流法都必须满足；所述小运动：时间的变化不会引起位置的剧烈变化，这样才能利用相邻帧之间的位置变化引起的灰度值变化，去求取灰度对位置的偏导数，所有光流法必须满足；所述空间一致：即前一帧中相邻像素点在后一帧中也是相邻的，这是LK光流法独有的假定，因为为了求取x,y方向的速度，需要建立多个方程联立求解，而空间一致假设就可以利用邻域n个像素点来建立n个方程。进一步优化本技术方案，所述步骤S3中，计算飞机当前的飞行或漂移方向，规定朝向飞机机头正前方飞行，角度为0；往飞机正右方飞行，角度为-90度；往飞机正左方飞行，角度为90度；往飞机正后方飞行，角度为-180度或180度。进一步优化本技术方案，所述机械云台、双目测距模块以及光流模块均与主控IC芯片进行电连接，且光流模块内设置有光流摄像头。进一步优化本技术方案，所述机械云台：根据飞机抖动姿态或者主动控制调整电机转动角度和方位，对抗因飞机姿态发生变化引起的摄像模块姿态变化，本专利技术中的机械云台主要是为了最大限度的减少双目测距模块的抖动。进一步优化本技术方案，所述双目测距模块：利用双目测距原理，计算图像画面中所有点对应的实际景物离双目摄像头中心的距离。进一步优化本技术方案，所述光流模块：光流摄像头安装在飞机的下方，摄像头朝下采集飞机下方的画面，光流算法根据前后两帧画面和LK光流原理计算飞机在水平方向的速度，包括大小和方向。与现有技术相比，本专利技术提供了基于机械云台和光流算法的双目全向避障方法，具备以下有益效果：1、该基于机械云台和光流算法的双目全向避障方法，本专利技术利用双目测距模块外加机械云台和光流模块，用一个双目模块+三轴机械云台实现水平方向360度全向避障，能有效解决飞机在低速飞行或漂移过程中飞机飞行方向无法准确解算的问题，光流模块利用视觉图像的变化能准确分辨出飞机当前的飞行状态以及速度。2、该基于机械云台和光流算法的双目全向避障方法，利用三轴机械云台增稳原理，有效去除双目摄像的抖动，对双目摄像头进行增稳，提高双目测距的精度。3、该基于机械云台和光流算法的双目全向避障方法，解决飞机在低速飞行或者漂移过程中无法准确计算飞机飞行方向的问题。附图说明图1为本专利技术提出的基于机械云台和光流算法的双目全向避障方法的系统模块示意图；图2为本专利技术提出的基于机械云台和光流算法的双目全向避障方法的用LK光流算法计算飞机当前的光流速度公式示意图；图3为本专利技术提出的基于机械云台和光流算法的双目全向避障方法的计算飞机当前的飞行或漂移方向公式一示意图；图4为本专利技术提出的基于机械云台和光流算法的双目全向避障方法的计算飞机当前的飞行或漂移方向公式二示意图；图5为本专利技术提出的基于机械云台和光流算法的双目全向避障方法的光流速度和飞机对应关系示意图；图6为本专利技术提出的基于机械云台和光流算法的双目全向避障方法的深度数据的查询规则公式示意图；图7为本专利技术提出的基于机械云台和光流算法的双目全向避障方法的区域编号示意图；图8为本专利技术提出的基于机械云台和光流算法的双目全向避障方法的查询规则公式示意图。具体实施方式下面将结合本专利技术的实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参考图1-8所示，本专利技术公开了基于机械云台和光流算法的双目全向避障方法，包括以下步骤：S1、通电启动双目测距模块以及机械云台，打开光流摄像头与双目摄像头；S2、启动光流算法，用LK光流算法计算飞机当前的光流速度，公式如图2所示；S3、根据光流模块输出的光流速度，计算飞机当前的飞行或漂移方向，公式如图3和图4所示，其中光流速度和飞机对应关系如图5所示：规定朝向飞机机头正前方飞行，角度为0，往飞机正右方飞行，角度为-90度，往飞机正左方飞行，角度为90度，往飞机正后方飞行，角度为-180度或180度；S4、根据步骤S3计算得到的飞机以机头为参照物的飞行方向，控制机械云台的电机，使得双目模块正面朝向飞机的飞行方向；S5、获取双目测距模块输出的深度图，查询深度图中心区域和周围8个区域的深度数据，查询区域的大小根据飞机机架的大小和双目摄像头视场角的大小来确定，机架大，则对应的深度图区域也要大，机架小，则对应的深度图区域也要小，深度数据的查询按照如下规则，参考图6所示，其中i＝1,2,3...,m,j＝1,2,3...,n；m和n表示要查询区域的大小，跟飞机机架大小和双目摄像头视本文档来自技高网...

【技术保护点】
1.基于机械云台和光流算法的双目全向避障方法，其特征在于，包括以下步骤：/nS1、通电启动双目测距模块以及机械云台，打开光流摄像头与双目摄像头；/nS2、启动光流算法，用LK光流算法计算飞机当前的光流速度；/nS3、根据光流模块输出的光流速度，计算飞机当前的飞行或漂移方向；/nS4、根据步骤S3计算得到的飞机以机头为参照物的飞行方向，控制机械云台的电机，使得双目模块正面朝向飞机的飞行方向；/nS5、获取双目测距模块输出的深度图，查询深度图中心区域和周围8个区域的深度数据，查询区域的大小根据飞机机架的大小和双目摄像头视场角的大小来确定，机架大，则对应的深度图区域也要大，机架小，则对应的深度图区域也要小，进行避障飞行。/n

【技术特征摘要】
1.基于机械云台和光流算法的双目全向避障方法，其特征在于，包括以下步骤：
S1、通电启动双目测距模块以及机械云台，打开光流摄像头与双目摄像头；
S2、启动光流算法，用LK光流算法计算飞机当前的光流速度；
S3、根据光流模块输出的光流速度，计算飞机当前的飞行或漂移方向；
S4、根据步骤S3计算得到的飞机以机头为参照物的飞行方向，控制机械云台的电机，使得双目模块正面朝向飞机的飞行方向；
S5、获取双目测距模块输出的深度图，查询深度图中心区域和周围8个区域的深度数据，查询区域的大小根据飞机机架的大小和双目摄像头视场角的大小来确定，机架大，则对应的深度图区域也要大，机架小，则对应的深度图区域也要小，进行避障飞行。


2.根据权利要求1所述的基于机械云台和光流算法的双目全向避障方法，其特征在于，所述步骤S2中，LK光流算法有三个假设条件：亮度恒定、小运动以及空间一致。


3.根据权利要求2所述的基于机械云台和光流算法的双目全向避障方法，其特征在于，所述亮度恒定：一个像素点随着时间的变化，其亮度值是恒定不变的，这是光流法的基本设定，所有光流法都必须满足；所述小运动：时间的变化不会引起位置的剧烈变化，这样才能利用相邻帧之间的位置变化引起的灰度值变化，去求取灰度对位置的偏导数，所有光流法必须满足；所述空间一致：即前一帧中相邻像素点在后一帧中也是相邻的，这是LK光流法独有的假定，因为为了求...

【专利技术属性】
技术研发人员：涂广毅，
申请(专利权)人：深圳慧源创新科技有限公司，
类型：发明
国别省市：广东;44