本发明专利技术公开了一种基于双目视觉的无人机实时避障方法，包括1)、通过双目相机采集视差图，并进行三维重构，计算深度；2)、增加阈值，只识别小于避障半径Zmax范围内的障碍；3)、遍历图像，计算每个像素点的障碍情况；4)、计算每个小格单元内的障碍物填充率：填充率大于50％，存在障碍物；填充率在10％～50％内，认为未知，存在风险；填充率小于10％，认为安全。5)、分析安全区域的大小和分布情况，进而输出控制无人机前后、左右、上下的运动速度，以及旋转角速率；6)、进行双目视觉避障的同时，允许用户操纵遥控器，产生无人机额外的前后、左右、上下的运动速度v，以及旋转角速率ω，并与飞行控制系统自然稳定地融合，从而快速稳定地进行自主避障。
【技术实现步骤摘要】
一种基于双目视觉技术的无人机实时避障方法
本专利技术属于无人机飞行控制领域，尤其涉及一种基于双目视觉的无人机实时避障方法。
技术介绍
随着无人机市场的发展，对无人机自动感知与控制提出了越来越高的要求，尤其是主动避障方面，使无人机能在复杂环境中自主安全的飞行，而不会发生碰撞及炸机情况。目前有少数无人机企业将毫米波雷达、超声波雷达、光流、红外等传感器安装在无人机上，进行避障应用，但是上述方案存在检测距离和范围受限、精度不高等缺点，进而容易引发漏检和误检等意外情况。另外，目前存在通过双目视觉进行无人机避障判断的相关研究，但大部分因为控制策略问题，未能良好地与飞控系统结合，将俯仰、偏航、滚转的控制自然稳定地融入系统控制环中。
技术实现思路
本专利技术的目的在于提供一种基于双目视觉的无人机实时避障方法，克服现有技术中毫米波雷达、超声波雷达、光流、红外等传感器的不足，同时与飞行控制系统自然稳定地融合，从而快速稳定地进行自主避障的技术问题。为了解决上述问题，本专利技术采取如下技术方案：一种基于双目视觉技术的无人机实时避障方法，其特征在于，双目视觉实时避障系统包括无人机本体、遥控器和设置在无人机本体上控制器、双目相机，双目相机与控制器之间电连接，遥控器与控制器之间通过无线通信模块进行通讯；基于该系统进行无人机实时避障的方法，包括如下步骤：步骤一、无人机在飞行过程中，通过双目相机采集视差图，并进行三维重构，计算深度；步骤二、设置无人机避障阈值Zmax，识别小于避障阈值Zmax范围内的障碍物，大于避障阈值Zmax则清零，低于则保留；步骤三、对视差图进行阈值截断之后，则获取了包含Zmax距离内物信息的图像，将该图像分成n行、m列的小格单元，计算每个小格单元内的障碍物填充率δi，i＝1,2,...,n*m，n>2，m>2为正整数，设置两个不同的填充率门限值a和b，a>b；1)、如果δi>a，则认为该小格单元区域不能飞行，存在障碍物；2)、如果b<δi<a，则认为该小格单元区域暂定为不确定区域，存在风险；3)、如果δi<b，则认为该小格单元没有障碍物，属于安全区域；将所有δi>a的区域填充一种颜色，将所有b<δi<a的区域填充另一种颜色，将所有δi>a的区域填充第三种颜色，统计当前帧视差图的安全区域情况；步骤五、分析安全区域的尺寸大小和分布情况，结合无人机当前在上下、左右、前后三个方向上的角度和偏航方向，控制无人机前后、左右、上下的运动速度，以及旋转角速率，引导无人机至安全区域飞行，其具体策略是视野内的所有安全区域的分布进行综合判断，分别判断上半视场和下半视场、左半视场和右半视场内安全格子的数量，设定旋翼机趋向于安全格子居多的视场飞行，以此决策飞行方向。当障碍物布满整个飞行器观察视场时，不能进行前飞动作，此时无人机首先需要切换到悬停状态，然后仅进行航向偏转，试图寻找可引导的安全区域，然后切换到之前的预设决策。步骤六、进行双目视觉避障的同时，允许用户操纵遥控器，遥控无人机额外的前后、左右、上下的运动速度v，以及旋转角速率ω；在双目视觉的避障判断与主动操纵遥控器的避障指令间选取时，通过优先级进行决策，决策方法如下：1)、当通过双目视觉判断无人机处于安全阈值范围内时，可允许用户通过遥控器发送的避障指令发挥作用，同时根据安全距离情况对遥控避障值做阈值限制；2)、当通过双目视觉判断无人机处于危险阈值区域内时，则遥控指令无效。步骤八、在地面站中即时显示填充率和指令具体情况，以及避障策略。优选的，所述计算单元为嵌入式计算平台JetsonTX2。双目相机固定于无人机正前方，将采集到的深度图像实时传输到机载计算单元JetsonTX2，然后由预设避障策略进行判断，产生规避动作；若与此同时有发来遥控器的操作，则需进行优先级判断。优选的，所述设置无人机避障阈值Zmax包括如下过程：1)、设定障碍物到相机光心连线的垂直的距离Z，上式中，b为两个相机光心之间的距离，d为两个光心与障碍物连线与焦距所在平面的交点间距，f发为相机的焦距，设定两个相机的焦距相同，b、f可由标定获得，为定值；2)、在测量障碍物到相机光心连线的垂直的距离时，会存在测量误差：2.1)、确定绝对误差ΔZ：绝对误差ΔZ和相机光心连线的垂直的距离Z的平方成正比，Δd为视差的测量误差，认定为1个像素；因此，障碍物到相机的距离在双目测距中的测量结果为所以最极端的情况为无人机距离障碍物的测量距离为设定飞行速度为v，那么无人机与障碍物碰撞发生的时间将为：设定处理一帧深度图像的耗时为tf，且暂时不考虑数据传输与指令执行时间，则要保证无人机避障安全则必须满足：t≥tf(0.9)，由此，计算出t＝tf、且v为无人机最大飞行速度时，无人机与障碍物之间的距离Z1；2.2)、相对测量误差约束由公式(1.3)和(1.4)已经可以直接计算飞行速度与避障距离的对应关系，在理论上保证飞行安全，但还应该考虑相对测量误差——当相对测量误差过大时，测量结果本身的可信度较低，仅依靠公式(1.4)的约束不足以保证安全，还需要考虑相对测量误差，相对测量误差S的计算公式如式：由上式可知当距离增加时测量误差随之增大，设定相对测量误差门限设为C，由此计算出S＝C时的距离Z2；比较Z1、Z2，选取数值较小者作为障碍物的判断阈值Zmax。优选的，所述在进行阈值截断之后，获取了包含特定距离内障碍物信息的图像，图像中不同的颜色表征了物体的相机距离障碍物的远近，方法，依据这些颜色表征的深度信息对障碍物进行检测；设定同一障碍物的深度变化相对于该物体到相机的距离可以视为定值，在深度图像中检测障碍物的方法以openCV开源库中的轮廓检测方法为核心，加以开闭运算等图像处理方法，使深度图中产生闭合的单连通区域，同时使用凸包或者外接矩形框进行描述。优选的，所述填充率门限值a＝40％—60％，b＝7％—20％。优选的，所述相对测量误差门限设为C＝1％—5％。优选的，所述步骤三中，将双目相机拍摄到的图像分成4行4列共计16个小格单元，即n＝m＝4，i＝16。与现有技术相比，本方案具有如下有益效果：本专利技术通过引入一种基于双目视觉的实时避障技术，克服了毫米波雷达、超声波雷达、光流、红外等传感器的不足；同时通过分块的检测和判断策略，以及优先级决策中枢，控制无人机实际输出的前后、左右、上下目标运动速度v，以及目标旋转角速率ω，并与飞行控制系统自然稳定地融合，从而快速稳定地进行自主避障。附图说明图1双目相机测距原理示意图。图2避障决策示意图。图3双目视觉控制与摇杆控制的数据流向示意图。图4为本专利技术所述基于双目视觉的无人机实时避障方法的流程图。具体实施方式为使本专利技术的目的和技术方案更加清楚，下面结合本专利技术实施例对本专利技术的技术方案进行清楚，完整的描述。实施例一：一种基于双目视觉技术的无人机实时避障方法，双目视觉实时避障系统包括无人机本体、遥控器和设置在无人机本体上嵌入式计算平台JetsonTX2、双目相机。双目相机固定于无人机正前方，将采集到的深度图像实时传输到机载计算单元JetsonTX2，然后由预设避障策略进行判断，产生本文档来自技高网...
【技术保护点】
一种基于双目视觉技术的无人机实时避障方法，其特征在于，双目视觉实时避障系统包括无人机本体、遥控器和设置在无人机本体上控制器、计算单元、双目相机，双目相机与控制器之间电连接，遥控器与控制器之间通过无线通信模块进行通讯；基于该系统进行无人机实时避障的方法，包括如下步骤：步骤一、无人机在飞行过程中，通过双目相机采集视差图，并进行三维重构，计算深度；步骤二、设置无人机避障阈值Zmax，识别小于避障阈值Zmax范围内的障碍物；步骤三、对视差图进行阈值截断之后，则获取了包含Zmax距离内物信息的图像，将该图像分成n行、m列的小格单元，遍历每个单元小格中的像素，计算单元计算每个像素点被障碍物覆盖的情况，然后计算出每个小格单元内的障碍物填充率δi，i＝1,2,...,n*m，n>2，m>2为正整数，设置两个不同的填充率门限值a和b，a>b；1)、如果δi>a，则认为该小格单元区域不能飞行，存在障碍物；2)、如果b<δi<a，则认为该小格单元区域暂定为不确定区域，存在风险；3)、如果δi<b，则认为该小格单元没有障碍物，属于安全区域；将所有δi>a的区域填充一种颜色，将所有b<δi<a的区域填充另一种颜色，将所有δi>a的区域填充第三种颜色，统计当前帧视差图的安全区域情况；步骤五、分析安全区域的尺寸大小和分布情况，结合无人机当前在上下、左右、前后三个方向上的角度和偏航方向，控制器控制无人机前后、左右、上下的运动速度，以及旋转角速率，引导无人机至安全区域飞行；步骤六、进行双目视觉自动避障的同时，允许用户通过操纵遥控器控制无人机，遥控无人机额外的前后、左右、上下的运动速度v，以及旋转角速率ω；在双目视觉的避障判断与主动操纵遥控器的避障指令间选取时，通过优先级进行决策，决策方法如下：1)、当通过双目视觉判断无人机处于安全阈值范围内时，可允许用户通过遥控器发送的避障指令发挥作用，同时根据安全距离情况对遥控避障值做阈值限制；2)、当通过双目视觉判断无人机处于危险阈值区域内时，则遥控指令无效。步骤八、在地面站中即时显示填充率和指令具体情况，以及避障策略。...
【技术特征摘要】
1.一种基于双目视觉技术的无人机实时避障方法，其特征在于，双目视觉实时避障系统包括无人机本体、遥控器和设置在无人机本体上控制器、计算单元、双目相机，双目相机与控制器之间电连接，遥控器与控制器之间通过无线通信模块进行通讯；基于该系统进行无人机实时避障的方法，包括如下步骤：步骤一、无人机在飞行过程中，通过双目相机采集视差图，并进行三维重构，计算深度；步骤二、设置无人机避障阈值Zmax，识别小于避障阈值Zmax范围内的障碍物；步骤三、对视差图进行阈值截断之后，则获取了包含Zmax距离内物信息的图像，将该图像分成n行、m列的小格单元，遍历每个单元小格中的像素，计算单元计算每个像素点被障碍物覆盖的情况，然后计算出每个小格单元内的障碍物填充率δi，i＝1,2,...,n*m，n>2，m>2为正整数，设置两个不同的填充率门限值a和b，a>b；1)、如果δi>a，则认为该小格单元区域不能飞行，存在障碍物；2)、如果b<δi<a，则认为该小格单元区域暂定为不确定区域，存在风险；3)、如果δi<b，则认为该小格单元没有障碍物，属于安全区域；将所有δi>a的区域填充一种颜色，将所有b<δi<a的区域填充另一种颜色，将所有δi>a的区域填充第三种颜色，统计当前帧视差图的安全区域情况；步骤五、分析安全区域的尺寸大小和分布情况，结合无人机当前在上下、左右、前后三个方向上的角度和偏航方向，控制器控制无人机前后、左右、上下的运动速度，以及旋转角速率，引导无人机至安全区域飞行；步骤六、进行双目视觉自动避障的同时，允许用户通过操纵遥控器控制无人机，遥控无人机额外的前后、左右、上下的运动速度v，以及旋转角速率ω；在双目视觉的避障判断与主动操纵遥控器的避障指令间选取时，通过优先级进行决策，决策方法如下：1)、当通过双目视觉判断无人机处于安全阈值范围内时，可允许用户通过遥控器发送的避障指令发挥作用，同时根据安全距离情况对遥控避障值做阈值限制；2)、当通过双目视觉判断无人机处于危险阈值区域内时，则遥控指令无效。步骤八、在地面站中即时显示填充率和指令具体情况，以及避障策略。2.根据权利要求1所述的基于双目视觉技术的无人机实时避障系统与方法，其特征在于，所述计算单元为嵌入式计算平台JetsonTX2。3.根据权利要求1所述的基于双目视觉技术的无人机实时避障系统与方法，其特征在于，所述设置无人机避障阈值Zmax包括如下过程：1)、设定障碍物到相机光心连线的垂直的距离Z，上式中，b为两个相机光心之间的距离，d为两个光心与障碍物连线与焦距所...
【专利技术属性】
技术研发人员：廖振星，段文博，高月山，张伟，
申请(专利权)人：南京奇蛙智能科技有限公司，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。