基于视觉语义地图的云端一体无人机航线定位方法及系统技术方案

本发明专利技术公开了一种基于视觉语义地图的云端一体无人机航线定位方法及系统，该方法包括：无人机实时采集航线俯拍图像并进行预处理，以构建航线局部语义地图，并上传至云端服务器；云端服务器对航线局部语义地图进行融合更新以获取航线全局语义地图；无人机获取最新的航线全局语义地图，遭遇卫星拒止环境时，对实时航线俯拍图像和航线全局语义地图进行语义特征匹配，以获取无人机的定位信息。本发明专利技术将需要不断更新、运算量较大的融合更新模块放在云服务器端，无人机端只需执行计算量较小的局部建图和语义匹配，合理分配计算任务；本发明专利技术能准确描述航线下方的地面信息，并快速更新地面信息的改动，有利于提高卫星拒止环境下无人机定位的鲁棒性。人机定位的鲁棒性。人机定位的鲁棒性。

【技术实现步骤摘要】
基于视觉语义地图的云端一体无人机航线定位方法及系统


[0001]本专利技术涉及无人机定位
，尤其涉及一种基于视觉语义地图的云端一体无人机航线定位方法及系统。

技术介绍

[0002]随着无人机技术的不断进步和发展，大规模的无人机商业化应用已经出现在人类社会，比如郊区农林植保、电力巡检、城市快递配送、医疗物资运送等等，这些应用需要无人机每天需要沿着预先设定的航线执行几十、几百、甚至上千架次的飞行。在航线飞行中，无人机的定位和导航信息主要来自全球卫星导航系统，如GPS、北斗、GLONASS、伽利略等。卫星导航信号易受环境干扰，如城市高楼、恶劣天气、电磁辐射都可能导致卫星导航信号的丢失。为了提高大规模商业化应用中无人机定位导航的鲁棒性，卫星拒止环境下航线定位技术的研究极其关键，其中视觉导航因抗干扰能力强、功耗低、成本低、体积小、设备结构简单、被动式、定位精度高等优点得到了广泛关注。
[0003]视觉导航主要是指通过飞行器机载的视觉成像设备，如可见光、红外、SAR 等传感器对地面拍照，继而对图像进行处理，得到各种导航参数。目前的视觉导航按照是否需要基准数据库，可分为地图型导航和无地图导航。地图型导航需要使用预先存储包含精确地理信息的数字景象基准数据库，又称导航地图，利用一帧实拍图像与导航地图进行图像匹配或特征匹配，即可实现飞行器的绝对定位。如有些无人机视觉辅助导航方法及系统中，将地理信息系统作为机载基准数据库，对无人机实时拍摄图像进行处理，提取具有实际地理意义的视觉特征，如村庄、道路等信息，再将获取的视觉特征与地理信息系统进行匹配，得到无人机视觉定位结果。有些基于单目视觉的无人机自主定位方法将卫星遥感图像作为基准数据库，对遥感影像与无人机采集的图像进行影像混合配准，计算得到同名特征点，求解无人机的地理坐标。基于地理信息系统或卫星遥感图像数据库的方法能在一定程度上解决无人机的定位问题，但也存在以下三个缺点：第一，地理信息系统和卫星遥感图像更新频率太低，一般以年为单位进行数据更新，无法及时反应当今中国大规模基建带来的城市、农村面貌变化；第二，地理信息系统和卫星遥感图像与无人机实时航拍图像的拍摄时间、季节、天气不同，同一地面目标的图像可能存在较大差异，图像匹配难度大，精度低；第三，对无人机某条具体的航线而言，地理信息系统和卫星遥感图像覆盖的范围太大，无法定制化裁剪，包含了大量冗余信息，图像匹配耗时长，不利于无人机的实时定位。
[0004]基于物体语义的无人机视觉重定位方法预先使用YOLOv3网络对800张图像提取物体语义信息，并使用语义信息构建拓扑图，形成场景地图库。对待匹配的实时图像，同样使用YOLOv3网络提取语义信息，采用随机游走算法进行待匹配图像与地图库之间的匹配，最后使用EPnP算法求解无人机位姿。该方法能有效克服因环境光照变化引起的图像匹配精度不足的问题，但匹配算法较为复杂，且未涉及地图库的更新方法，不适合无人机商业应用中大规模多架次的室外飞行。
[0005]无地图导航方法的典型代表为基于无人机的视觉SLAM技术。随着计算机视觉的蓬
勃发展，视觉SLAM导航逐渐成为一种成熟的导航方案，并在小型、狭窄、封闭的复杂空间取得了较好的效果。但视觉SLAM导航适合探索未知的飞行环境，并不适用于室外大范围、飞行航线已知、鲁棒性要求高的无人机导航。
[0006]综上所述，现有视觉定位导航方法都存在一定的局限性，且这些方法都是围绕无人机单架次飞行设计，未考虑无人机大规模飞行情况下的系统架构优化。为此，本专利技术提出一种面向卫星拒止环境的基于视觉语义地图的云端一体化无人机航线定位方法。

技术实现思路

[0007]本专利技术的目的在于针对现有技术中无人机视觉定位方法基准数据库不合适、未发挥大规模飞行优势的问题，提供一种基于视觉语义地图的云端一体无人机航线定位方法及系统。
[0008]本专利技术的目的是通过以下技术方案来实现的：本专利技术实施例第一方面提供了一种基于视觉语义地图的云端一体无人机航线定位方法，包括以下步骤：S1、卫星导航信号良好时，无人机在每一次飞行中，实时采集航线俯拍图像，并对航线俯拍图像进行预处理，以构建飞行架次对应的航线局部语义地图，并将飞行架次对应的航线局部语义地图上传至云端服务器；其中，所述预处理包括语义分割、逆透视变换、缩放处理和栅格化处理；S2、云端服务器对从无人机端接收到的航线局部语义地图进行融合更新，以获取航线全局语义地图；S3、无人机在执行飞行任务前，从云端服务器获取当前最新的航线全局语义地图；无人机在飞行过程中，遭遇卫星拒止环境时，通过对实时航线俯拍图像和航线全局语义地图进行语义特征匹配，以获取无人机当前的定位信息。
[0009]进一步地，所述步骤S1中所述构建飞行架次对应的航线局部语义地图包括以下子步骤：S11、卫星导航信号良好时，无人机在每一次飞行中，获取实时航线俯拍图像、实时飞行高度、实时飞行姿态和实时经纬度；其中，所述飞行姿态包括俯仰角、滚转角和偏航角；S12、采用语义分割网络对实时航线俯拍图像进行语义分割，以提取实时航线俯拍图像中地面目标的语义标签，以获取语义图像；其中，所述语义标签包括道路、河流、建筑和地面标志；S13、根据实时飞行姿态对语义图像进行逆透视变换，以获取逆透视变换后的语义图像；其中，逆透视变换后的语义图像平面平行于地面，且图像显示方向为正北方向；S14、根据实时飞行高度和预设的拍摄高度对逆透视变换后的语义图像进行缩放处理，以获取缩放处理后的语义图像；其中，缩放处理后的语义图像的拍摄高度为预设的拍摄高度；S15、根据实时经纬度和预设的栅格尺寸对缩放处理后的语义图像进行栅格化处理，以获取栅格化后的语义图像，并计算每个栅格的经纬度和语义标签得分；S16、根据栅格化后的语义图像以及每个栅格的经纬度和语义标签得分构建航线局部语义地图。
[0010]进一步地，所述步骤S15中计算每个栅格的经纬度具体为：语义图像中心栅格的经
纬度为无人机的实时经纬度，其余栅格根据其与中心栅格的距离换算经纬度。
[0011]进一步地，所述步骤S15中计算每个栅格的语义标签得分具体为：首先将所有语义标签得分置零，然后统计栅格内每个像素所属的语义标签，则该语义标签得分加一。
[0012]进一步地，所述步骤S2包括以下子步骤：S21、云端服务器对从无人机端接收航线局部语义地图，采用步骤S15中预设的栅格尺寸对航线全局语义地图栅格化处理，并对航线全局语义地图进行初始化，初始化后的航线全局语义地图中所有栅格只包含经纬度信息，语义标签得分均置零；S22、加载一张航线局部语义地图至航线全局语义地图进行融合；S23、判断所述步骤S22中加载的航线局部语义地图是否为最后一张航线局部语义地图，若是最后一张航线局部语义地图，则跳转至步骤S26；否则，跳转至步骤S24；S24、将航线局部语义地图中每个栅格的语义标签得分，按照栅格的经纬度添加到航线全局语义地图对应的栅格中，以更新航线局部语义地图的语义标签得分；S25、完成当前航线局部语义地图中所有栅格的融合更新后，返回所述步骤S2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉语义地图的云端一体无人机航线定位方法，其特征在于，包括以下步骤：S1、卫星导航信号良好时，无人机在每一次飞行中，实时采集航线俯拍图像，并对航线俯拍图像进行预处理，以构建飞行架次对应的航线局部语义地图，并将飞行架次对应的航线局部语义地图上传至云端服务器；其中，所述预处理包括语义分割、逆透视变换、缩放处理和栅格化处理；S2、云端服务器对从无人机端接收到的航线局部语义地图进行融合更新，以获取航线全局语义地图；S3、无人机在执行飞行任务前，从云端服务器获取当前最新的航线全局语义地图；无人机在飞行过程中，遭遇卫星拒止环境时，通过对实时航线俯拍图像和航线全局语义地图进行语义特征匹配，以获取无人机当前的定位信息。2.根据权利要求1所述的基于视觉语义地图的云端一体无人机航线定位方法，其特征在于，所述步骤S1中所述构建飞行架次对应的航线局部语义地图包括以下子步骤：S11、卫星导航信号良好时，无人机在每一次飞行中，获取实时航线俯拍图像、实时飞行高度、实时飞行姿态和实时经纬度；其中，所述飞行姿态包括俯仰角、滚转角和偏航角；S12、采用语义分割网络对实时航线俯拍图像进行语义分割，以提取实时航线俯拍图像中地面目标的语义标签，以获取语义图像；其中，所述语义标签包括道路、河流、建筑和地面标志；S13、根据实时飞行姿态对语义图像进行逆透视变换，以获取逆透视变换后的语义图像；其中，逆透视变换后的语义图像平面平行于地面，且图像显示方向为正北方向；S14、根据实时飞行高度和预设的拍摄高度对逆透视变换后的语义图像进行缩放处理，以获取缩放处理后的语义图像；其中，缩放处理后的语义图像的拍摄高度为预设的拍摄高度；S15、根据实时经纬度和预设的栅格尺寸对缩放处理后的语义图像进行栅格化处理，以获取栅格化后的语义图像，并计算每个栅格的经纬度和语义标签得分；S16、根据栅格化后的语义图像以及每个栅格的经纬度和语义标签得分构建航线局部语义地图。3.根据权利要求2所述的基于视觉语义地图的云端一体无人机航线定位方法，其特征在于，所述步骤S15中计算每个栅格的经纬度具体为：语义图像中心栅格的经纬度为无人机的实时经纬度，其余栅格根据其与中心栅格的距离换算经纬度。4.根据权利要求1所述的基于视觉语义地图的云端一体无人机航线定位方法，其特征在于，所述步骤S15中计算每个栅格的语义标签得分具体为：首先将所有语义标签得分置零，然后统计栅格内每个像素所属的语义标签，则该语义标签得分加一。5.根据权利要求1所述的基于视觉语义地图的云端一体无人机航线定位方法，其特征在于，所述步骤S2包括以下子步骤：S21、云端服务器对从无人机端接收航线局部语义地图，采用步骤S15中预设的栅格尺寸对航线全局语义地图栅格化处理，并对航线全局语义地图进行初始化，初始化后的航线全局语义地图中所有栅格只包含经纬度信息，语义标签得分均置零；S22、加载一张航线局部语义地图至航线全局语义地图进行融合；
S23、判断所述步骤S22中加载的航线局部语义地图是否为最后一张航线局部语义地图，若是最后一张航线局部语义地图，则跳转至步骤S26；否则，跳转至步骤S24；S24、将航线局部语义地图中每个栅格的语义标签得分，按照栅格的经纬度添加到航线全局语义地图对应的栅格中，以更新航线局部语义地图的语义标签得分；S25、完成当前航线局部语义地图中所...

【专利技术属性】
技术研发人员：谢安桓，项森伟，汪婷，门泽华，叶敏翔，朱世强，
申请(专利权)人：之江实验室，
类型：发明
国别省市：