一种无人机航线预警方法、装置、设备及存储介质制造方法及图纸

本申请公开了无人机航线预警方法、装置、设备及存储介质。该方法包括：利用单目相机获取无人机前向的包含障碍物的多幅原始图像；确定每幅所述原始图像中包含所述障碍物的非天空区域；将所述非天空区域划分为多个栅格；确定各个所述栅格对应区域到无人机的距离；确定各个所述栅格与航线方向的重合度；检验所述栅格对应区域到无人机的距离是否小于或等于预定阈值；检验所述栅格与航线方向的重合度是否小于或等于预定阈值；若同时满足上述条件，则发送预警信号。根据本申请实施例的技术方案，提供了实现远距离障碍物检测和预警，从而能有效的提高无人机在航行飞行过程中的安全性。

A route warning method, device, equipment and storage medium for UAV

【技术实现步骤摘要】
一种无人机航线预警方法、装置、设备及存储介质
本专利技术一般涉及视觉测量领域，具体涉及一种无人机航线预警方法、装置、设备及存储介质。
技术介绍
无人机航线飞行过程中，往往会遇到不可控的障碍物信息，如飞禽、山峰、飞行物等，而当前在无人机领域内，常用障碍物感知方向激光雷达、超声波、双目视觉的。其中，激光雷达价格昂贵，计算量巨大；超声波多用于室内场景，且定位误差较大。双目视觉受限于两个相机间距离，不适用远距离物体测距。而在检测出障碍物后，需结合当前无人机航线信息，提出稳定有效的障碍物预警机制。基于以上问题，需要实现视觉障碍物检测以及距离信息获取，并且提出有效的预警机制，提高无人机在航线运行过程中的安全性和稳定性。
技术实现思路
鉴于现有技术中的上述缺陷或不足，本申请实施例提供了一种无人机航线预警方法、装置、设备及存储介质能够实现使用单目相机完成障碍物检测、距离估计以及自动预警。第一方面，本专利技术实施例提供了一种无人机航线预警方法，该方法包括：利用单目相机获取的无人机前向包含障碍物的多幅原始图像；确定每幅所述前向原始图像中包含所述障碍物的非天空区域；将所述非天空区域划分为多个栅格；确定各个所述栅格对应区域到无人机的距离；确定各个所述栅格与航线方向的重合度；检验所述栅格对应区域到无人机的距离是否小于或等于预定阈值，作为第一判断标准；检验所述栅格与航线方向的重合度是否小于或者等于预定阈值，作为第二判断标准；若同时满足第一判断标准和第二判断标准，则发送预警信号。可选的，所述将所述非天空区域划分为多个栅格之前，包括：提取所述非天空区域内的特征点，计算所述特征点的三维坐标。可选的，所述确定所述栅格对应区域到无人机的距离，包括：获取栅格内特征点距离无人机的距离；计算所述特征点的连续跟踪帧数；基于所述特征点的连续跟踪帧数，确定栅格内特征点的置信度；根据所述置信度和所述特征点距离无人机的距离确定所述栅格对应区域到无人机的距离。可选的，所述确定所述栅格对应区域到无人机的距离，包括：依次计算所有栅格距离无人机的距离，将栅格距离无人机的距离的最小值作为栅格对应区域到无人机的距离。可选的，所述确定所述栅格与航线方向的重合度，包括：选取原始图像的中心区域，依次计算所述区域内的栅格的夹角。可选的，所述计算所述区域内的栅格的夹角，包括：获取栅格内特征点在世界坐标系下的三维坐标；基于所述世界坐标系下的三维坐标获取相应的变换矩阵；根据所述三维坐标和变换矩阵计算所述特征点与飞机前进方向的夹角；根据所述夹角确定所述栅格与航线方向的重合度。第二方面，本专利技术实施例提供了一种无人机航线预警装置，该装置包括：获取模块，用于利用单目相机获取无人机前向的包含障碍物的多幅原始图像；确定模块，用于确定每幅所述原始图像中包含所述障碍物的非天空区域；划分模块，用于将所述非天空区域划分为多个栅格；距离计算模块，用于确定各个所述栅格对应区域到无人机的距离；重合度计算模块，用于确定各个所述栅格与航线方向的重合度；第一判断模块，用于检验所述栅格对应区域到无人机的距离是否小于或等于预定阈值，作为第一判断标准；第二判断模块，用于检验所述栅格与航线方向的重合度是否小于或等于预定阈值，作为第二判断标准；信号发送模块，用于若同时满足第一判断标准和第二判断标准，则发送预警信号。可选的，所述距离计算模块，包括：获取单元，用于获取栅格内特征点距离无人机的距离；计算单元，用于计算所述特征点的连续跟踪帧数；第一确定单元，用于基于所述特征点的连续跟踪帧数，确定栅格内特征点的置信度；第二确定单元，用于根据所述置信度和所述特征点距离无人机的距离确定所述栅格对应区域到无人机的最终距离。可选的，所述重合度计算模块，包括：选取原始图像的中心区域，依次计算所述区域内的栅格的夹角。可选的，所述重合度计算模块，包括：第一获取单元，用于获取栅格内特征点在世界坐标系下的三维坐标；第二获取单元，用于基于所述世界坐标系下的三维坐标获取相应的变换矩阵；计算单元，用于根据所述三维坐标和变换矩阵计算所述特征点与飞机前进方向的夹角；确定单元，用于根据所述夹角确定所述栅格与航线方向的重合度。第三方面，本专利技术实施例还提供一种设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现实施例描述的方法。第四方面，本专利技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行实现本申请实施例描述的方法。本申请实施例提供的基于图像处理中的天空检测和单目视觉测距实现远距离障碍物检测和预警，从而能有效的提高无人机在航行过程中的安全性。进一步的，对非天空区域进行栅格划分结合特征点距离估计提高了障碍物预测的准确性。进一步的，对非天空区域进行栅格划分结合特征点进行航线方向估计附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1为本专利技术实施例提供的无人机航线预警方法的流程示意图；图2为本专利技术实施例提供的确定栅格对应区域到无人机距离的流程示意图；图3为本专利技术实施例提供的计算栅格的夹角的流程示意图；图4为本专利技术的实施例提供的无人机航线预警装置的示例性结构框图；图5为本专利技术的实施例提供的距离计算模块的示例性结构框图；图6为本专利技术的实施例提供的重合度计算模块的示例性结构框图；图7为用来实现本申请实施例的计算机系统的示例性结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。微型无人机视觉系统的发展经历了三个阶段：第一阶段是对图片信息的精确拍摄和存储，主要完成的是图像的采集工作，执行如航拍工作；第二阶段是对静止目标的搜寻、识别和定位、执行目标识别之类的工作；第三阶段是利用已识别到的图像信息结合飞行控制系统完成特定的飞行任务，例如目标跟踪、自主起飞等。国内对于无人机视觉系统的研究起步较晚，各参赛队使用的视觉系统，大都还是通过机载摄像头连接模拟传输模块，将图像信息以模拟信号的形式传输到地面机站，再由地面机站完成图像的存储和识别。如
技术介绍
中所提到的，无人机航线飞行过程，会遇到不可控的障碍信息，如飞禽、山峰、飞行物等。在当前的无人机领域，常用的障碍物感知方法有激光雷达本文档来自技高网...

【技术保护点】
1.一种无人机航线预警方法，其特征在于，该方法包括：/n利用单目相机获取无人机前向的包含障碍物的多幅原始图像；/n确定每幅所述原始图像中包含所述障碍物的非天空区域；/n将所述非天空区域划分为多个栅格；/n确定各个所述栅格对应区域到无人机的距离；/n确定各个所述栅格与航线方向的重合度；/n检验所述栅格对应区域到无人机的距离是否小于或等于预定阈值，作为第一判断标准；/n检验所述栅格与航线方向的重合度是否小于或等于预定阈值，作为第二判断标准；/n若同时满足第一判断标准和第二判断标准，则发送预警信号。/n

【技术特征摘要】
1.一种无人机航线预警方法，其特征在于，该方法包括：
利用单目相机获取无人机前向的包含障碍物的多幅原始图像；
确定每幅所述原始图像中包含所述障碍物的非天空区域；
将所述非天空区域划分为多个栅格；
确定各个所述栅格对应区域到无人机的距离；
确定各个所述栅格与航线方向的重合度；
检验所述栅格对应区域到无人机的距离是否小于或等于预定阈值，作为第一判断标准；
检验所述栅格与航线方向的重合度是否小于或等于预定阈值，作为第二判断标准；
若同时满足第一判断标准和第二判断标准，则发送预警信号。


2.根据权利要求1所述的无人机航线预警方法，其特征在于，所述将所述非天空区域划分为多个栅格之前，包括：
提取所述非天空区域内的特征点，计算所述特征点的三维坐标。


3.根据权利要求2所述的无人机航线预警方法，其特征在于，所述确定所述栅格对应区域到无人机的距离，包括：
获取栅格内特征点距离无人机的距离；
计算所述特征点的连续跟踪帧数；
基于所述特征点的连续跟踪帧数，确定栅格内特征点的置信度；
根据所述置信度和所述特征点距离无人机的距离确定所述栅格对应区域到无人机的距离。


4.根据权利要求3所述的无人机航线预警方法，其特征在于，所述确定所述栅格对应区域到无人机的距离，包括：
依次计算所有栅格距离无人机的距离，将栅格距离无人机的距离的最小值作为栅格对应区域到无人机的距离。


5.根据权利要求2所述的无人机航线预警方法，其特征在于，所述确定所述栅格与航线方向的重合度，包括：
选取原始图像的中心区域，依次计算所述中心区域内的栅格的夹角。


6.根据权利要求5所述的无人机航线预警方法，其特征在于，所述计算所述区域内的栅格的夹角，包括：
获取栅格内特征点在世界坐标系下的三维坐标；
基于所述世界坐标系下的三维坐标获取相应的变换矩阵；
根据所述三维坐标和变换矩阵计算所述特征点与飞机前进方向的夹角；
根据所述夹角确定所述栅格与航线方向的重合度。


7.一种无人机航线预警装置，其特征在于，包括:
获取模块，...

【专利技术属性】
技术研发人员：王浩，毛曙源，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：广东;44