一种基于无人机图像的既定航线地物识别与定位方法技术

本发明专利技术涉及无人机航线巡检领域，提供一种基于无人机图像的既定航线地物识别与定位方法，步骤如下：构建无人机图像检测分割数据集；构建潜在区域搜索模型；构建基于高清图像的检测分割模型；生成航线定位和安全预警；完成威胁目标定位分割之后，得到相应的网络参数，针对新的无人机图像，输入到检测分割器中，生成相应标注图像，利用每张图像对应的无人机姿态信息，画出相应航线，计算航线和目标之间的距离，对高度为H米范围以内的目标报警。采用本发明专利技术提供的定位方法，利用检测分割技术将威胁目标分割出来，利用位姿信息将航线在图中标注出来，计算目标物和航线的实际距离，进行安全预警，定位精确度高。

A method of recognition and location of certain route surface features based on UAV image

【技术实现步骤摘要】
一种基于无人机图像的既定航线地物识别与定位方法
本专利技术属于无人机航线巡检领域，尤其涉及一种基于无人机图像的既定航线地物识别与定位方法。
技术介绍
近年来，随着卫星定位系统的成熟、电子与无线电控制技术的改进、固定翼无人机结构的出现，无人机航拍技术在工业界的应用进入了快速发展阶段。工业级用户主要需求是数据采集、材料运输等，此外还应用于武警、电力巡检、管道巡检、国土资源、医疗、救灾等领域。这些应用不仅克服了以上传统行业耗费大量人力物力的缺点，同时确保了作业人员的人身财产安全。固定翼无人机具有飞行稳定、续航时间长、GPS定位精准和惯性测量单元(InertialMeasurementUnit,IMU)姿态解算准确的特点，在巡检和救灾等任务中表现出比多旋翼更好的性能，而在巡检任务中最重要的环节就是检测分割和定位测距。针对检测分割任务，有效的特征表示是目标检测问题的一个关键步骤。然而，无人机图像具有像素高、俯视角度特征细节少、目标物体尺度变化大、小目标物体分布密集、地表背景复杂、天气光照变化大等特点。这使得采用上述目标检测和实例分割方法无法很好地解决此类问题。除此之外，航空视角下的带有掩码信息的数据匮乏成为MaskR-CNN在该领域下的学习瓶颈。分析当前无人机图像目标检测和实例分割中出现小目标丢失的原因，可以总结出两个方面：首先是高清图像进入检测模型之前会进行压缩，这使得在图像进入模型之前小物体的特征丢失近90％；其次是检测模型的基础网络大多采用分类任务的基础网络，注重语义信息缺少局部细节信息不利于定位。>
技术实现思路
为了克服现有技术的不足，本专利技术的目的在于提供一种基于无人机图像的既定航线地物识别与定位方法，其解决现有定位方法中小物体的特征丢失多以及局部细节信息少导致定位精确度低的技术问题。本专利技术提出了一种新的识别与定位方法，先使用区域搜索算法得到小目标存在的潜在区域，再将原图和潜在区域图片一同进行检测分割，检测分割过程中第一阶段的特征提取采用高清特征抽取器，并且以级联提升的方式生成高质量建议框，二阶段则添加了交并比预测分支的双评分机制来提升掩码贴合度。在进行航线定位的步骤中，定义了不同的外方位角，利用三点共线方程进行精准定位，最终提高了定位的精确度。本专利技术的目的采用如下技术方案实现：一种基于无人机图像的既定航线地物识别与定位方法，包括以下步骤：构建无人机图像检测分割数据集：将对航线产生威胁的小车、卡车、挖掘机、房屋建筑、堆积物、地表水毁、地表塌陷用多边形进行标记，并且给出相应的类标；构建潜在区域搜索模型：通过设计高清图像预处理算法，构建潜在区域搜索模型；构建基于高清图像的检测分割模型：通过HBI-Mask检测分割网络，构建检测分割模型；生成航线定位和安全预警：完成威胁目标定位分割之后，得到相应的网络参数，针对新的无人机图像，输入到检测分割器中，生成相应标注图像，利用每张图像对应的无人机姿态信息，画出相应航线，计算航线和目标之间的距离，对高度为H米范围以内的目标报警。进一步地，构建无人机图像检测分割数据集包括以下步骤：收集固定翼无人机拍摄图片，结算每张图片的无人机位姿信息；所有图片采用VIA软件进行矩形框实例和多边形实例标注，实例类别包括：小车、卡车、房屋建筑、水毁和塌陷；通过人工标注，获得M张图片，后期对实例进行切割粘贴，扩充数据集至N张图片，其中，N为M的10倍。进一步地，构建潜在区域搜索模型包括以下步骤：利用目标在自然界中存在的语义信息进行潜在区域搜索；利用房屋检测器来得到房屋建筑在图像中的像素位置；设计自适应聚类模型，以每张图片得到的房屋位置坐标作为输入数据，单张图片内进行聚类，聚为一个簇的房子构成一个房区，该簇的最大外接正矩形则为潜在区域；对潜在区域进行切割，将其相应的真值作对应修改。进一步地，构建基于高清图像的检测分割模型包括以下步骤：采用并联式高清特征提取网络进行特征提取；采用递进式区域建议网络提高小物体正样本质量；采用双评分掩码生产机制提高掩码贴合度。进一步地，生成航线定位和安全预警包括以下步骤：用加密狗解决算每张图片无人机的飞行高度、俯仰角、偏航角、滚转角、经度和纬度，导入桩点航线的桩点经纬度坐标；利用俯仰角、偏航角、滚转角、经纬度计算无人机的外方位角度；将光心、桩点投影至同一个局部东北天坐标系，其中，利用三点共线的方法求出像点的像素坐标；将所有桩点在图中连接绘制成航线，计算构建基于高清图像的检测分割模型中检测分割出来的小车和管线的实际物理距离。进一步地，所述高度H为30米。本专利技术的有益效果是：本专利技术采用了由粗到细的目标搜索策略，模拟人眼搜寻目标的方式，先粗步定位小目标的潜在范围，聚焦于该范围之后进行细致搜寻；整体的探测模型采用递进探测的框架，由于小物体建议框的交并比一般较低，这导致正样本数量过少，并且越高的交并比阈值产生越少的正样本，为了缓解这种原因导致的正负样本不均衡采用级联的网络结构逐步提升交并比阈值，获得正样本质量的稳步提升；小物体丢失利用逐阶段并联的基网络获得高清特征以避免小物体信息的过分丢失，最终达到降低小物体丢失率的效果。实现了无人机沿固定线路的巡检任务，首先对无人机在300米高空巡线航拍的图像进行小车、卡车、挖掘机、房屋建筑等威胁物的检测和分割，然后对固定航线进行像素坐标的定位，最后计算航线和威胁目标之间的实际距离，对航线区域安全距离以内的物体进行预警处理。这样的方式极大缩短了人眼人工排查威胁目标的时间，除此之外，距离计算的功能也是人眼所不具备的，具有极大的实际应用价值。附图说明图1是本专利技术提供的基于无人机图像的既定航线地物识别与定位方法的流程图；图2是本专利技术提供的潜在区域搜索方法的流程图；图3是本专利技术提供的HBI-Mask的模型框架图；图4是本专利技术提供的求解外方位角的流程图；图5是本专利技术提供的航线定位和安全预警效果图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。图1示出了本专利技术提供的基于无人机图像的既定航线地物识别与定位方法的流程图，其详述如下：步骤S1：构建无人机图像检测分割数据集。本专利技术使用的用于训练的数据来采用JOUAVCW-20无人机，拍摄相机采用尼康D810。一般在距地面高300米的位置进行巡线航摄，图像涉及到荒漠、荒山、城镇等场景。该步骤将对航线产生威胁的小车、卡车、挖掘机、房屋建筑、堆积物、地表水毁、地表塌陷用多边形进行标记，并且给出相应的类标，具体步骤如下：步骤S1-1：收集固定翼无人机拍摄图片，结算每张图片的无人机位姿信息；步骤S1-2：所有图片采用VIA软件进行矩形框实例和多边形实例标注，实例类别包括：小车、卡车、房屋建筑、水毁和塌陷；步骤S1-3：通过本文档来自技高网...

【技术保护点】
1.一种基于无人机图像的既定航线地物识别与定位方法，其特征在于：所述方法包括以下步骤：/n构建无人机图像检测分割数据集：将对航线产生威胁的小车、卡车、挖掘机、房屋建筑、堆积物、地表水毁、地表塌陷用多边形进行标记，并且给出相应的类标；/n构建潜在区域搜索模型：通过设计高清图像预处理算法，构建潜在区域搜索模型；/n构建基于高清图像的检测分割模型：通过HBI-Mask检测分割网络，构建检测分割模型；/n生成航线定位和安全预警：完成威胁目标定位分割之后，得到相应的网络参数，针对新的无人机图像，输入到检测分割器中，生成相应标注图像，利用每张图像对应的无人机姿态信息，画出相应航线，计算航线和目标之间的距离，对高度为H米范围以内的目标报警。/n

【技术特征摘要】
1.一种基于无人机图像的既定航线地物识别与定位方法，其特征在于：所述方法包括以下步骤：
构建无人机图像检测分割数据集：将对航线产生威胁的小车、卡车、挖掘机、房屋建筑、堆积物、地表水毁、地表塌陷用多边形进行标记，并且给出相应的类标；
构建潜在区域搜索模型：通过设计高清图像预处理算法，构建潜在区域搜索模型；
构建基于高清图像的检测分割模型：通过HBI-Mask检测分割网络，构建检测分割模型；
生成航线定位和安全预警：完成威胁目标定位分割之后，得到相应的网络参数，针对新的无人机图像，输入到检测分割器中，生成相应标注图像，利用每张图像对应的无人机姿态信息，画出相应航线，计算航线和目标之间的距离，对高度为H米范围以内的目标报警。


2.根据权利要求1所述的方法，其特征在于：构建无人机图像检测分割数据集包括以下步骤：
收集固定翼无人机拍摄图片，结算每张图片的无人机位姿信息；
所有图片采用VIA软件进行矩形框实例和多边形实例标注，实例类别包括：小车、卡车、房屋建筑、水毁和塌陷；
通过人工标注，获得M张图片，后期对实例进行切割粘贴，扩充数据集至N张图片，其中，N为M的10倍。


3.根据权利要求1所述的方法，其特征在于：构建潜在区域搜索模型包括以下步骤：
利...

【专利技术属性】
技术研发人员：张海军，孙明珊，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：广东;44