一种无控制点下的单幅无人机影像定位方法技术

本发明专利技术提供一种无控制点下的单幅无人机影像定位方法，包括两个阶段定位，第一阶段是基于摄影测量的无人机影像粗定位阶段，第二个阶段是基于建筑物语义特征的无人机影像精校准阶段。在第二阶段中，提取建筑物中的语义特征信息，更符合人类感知世界的方式，语义信息较手工不变性特征的鲁棒性更强。同时在第二阶段中提出的加权的各向异性尺度迭代最近点方法可以解决尺度不一致的问题，通过误匹配点剔除、加权迭代的方法改进改善了配准效果。本发明专利技术不需要控制点信息，减少人工作业时间。本发明专利技术提出的摄影测量粗定位‑基于建筑物语义特征精配准的两阶段定位方法，实现了无人机影像的秒级、地物级定位。

A single UAV image location method under the control point of UAV

【技术实现步骤摘要】
一种无控制点下的单幅无人机影像定位方法
本专利技术属于无人机影像定位
，具体地，涉及一种基于无控制点下的单幅无人机影像定位方法。
技术介绍
无人机起源于军事应用，20世纪四五十年代开始应用于军事侦查领域。我国1970年之后开始自主研制无人机用于情报收集、通讯联络、目标跟踪等任务，以无人机为代表的无人作战系统在军事上具有不可比拟的优势。2010年以后在民用航空摄影等领域也蓬勃发展，创造了极为客观的经济效益，工业界称2015年为“无人机元年”，无人机成为快速发展的消费类电子产品。定位无人机拍摄的影像，是无人机多种典型应用的基础，既是无人机影像理解的内在任务，也是后续完成目标打击、目标跟踪等任务的关键。现有的无人机影像定位方法仍沿用传统的航空影像定位流程，大致如下：首先，在接到某区域的定位任务后，进行相机检校、资料收集工作，规划无人机作业航线，派出专业测绘人员在测绘区域人工布设控制点并精确的记录控制点参数；然后根据既定航线进行无人机航拍作业，获取无人机拍摄的影像及拍摄时的无人机位姿信息；完成测绘区域的外场作业后，根据产品需求统一对获取的影像数据和无人机位姿信息进行空三加密、影像校正、三维建模等后处理，得到符合产品规范的地理信息产品。当前，无人机影像定位任务开始受到世界各国研究人员的关注，在该领域进行了一些卓有成效的研究，在针对于同一无人机拍摄的同源、序列无人机影像的快速处理和分析，取得了一些可喜的研究成果。但是，现阶段该领域研究的主导思想和影像定位流程仍沿用传统航空影像的定位流程，作业流程复杂、需要专业人员人工布设控制点和后处理才能得到定位产品，没有考虑无人机航拍影像姿态多变、位姿信息不准确、影像失真等问题导致单幅无人机影像的定位误差大。传统的影像定位处理流程背离了无人机快速灵活的获取信息这一优势，且定位要求严格，对单幅无人机影像的定位误差大，无法满足紧急情况下的无人机影像定位需求。
技术实现思路
针对现有技术存在的缺陷，本专利技术提供一种无控制点下的单幅无人机影像定位方法，通过该方法不需要人工布设控制点即不需要控制点信息且无需拍摄多幅无人机序列影像，在只有单幅无人机原始影像、相机内外参数的情况下就能够实现无人机影像的秒级、地物级定位，有效提高了仅利用摄影测量方法对单幅无人机影像的定位精度。为实现上述技术目的，本专利技术采取的技术方案如下：一种无控制点下的单幅无人机影像定位方法，包括：(1)获取单幅原始无人机影像U、相机内参数I以及拍摄无人机影像U时的无人机位姿参数POS，解算无人机影像U在大地坐标系中的位置；(2)将无人机影像U在大地坐标系中的坐标转换到WebMercator投影坐标系下；从网络地图中爬取对应位置的卫星影像S；(3)求解无人机影像U与卫星影像S在图像坐标系之间的位置变换关系T1，将无人机影像U叠加在卫星影像S上显示，完成无人机影像U在卫星影像S的粗定位；(4)基于训练好的卫星影像建筑物提取预训练模型和无人机影像建筑物提取预训练模型分别提取卫星影像S和无人机影像U中的建筑物，得到两幅二值图像；(5)分别提取两幅二值图像中的所有建筑物对象，计算无人机影像U对应的二值图像中的建筑物对象与卫星影像S对应的二值图像中每个建筑物对象的相似度，确定候选建筑物匹配对象；(6)获取各建筑物匹配对象在各自二值图中与其他建筑物对象的空间关系，保留满足设定空间关系条件的建筑物匹配对象；(7)在满足设定空间关系条件的建筑物匹配对象中，提取无人机影像中的建筑物对象外轮廓组成源点集，提取卫星影像中的建筑物对象外轮廓组成目标点集，求解源点集与目标点集的点集变换矩阵T2，并将其作为无人机影像U到卫星影像S的映射关系，校正步骤(3)中无人机影像U在卫星影像S中的位置。本专利技术步骤(1)中，相机内参数I包括：相机焦距f、相机的像主点偏移量(xoffset，yoffset)；无人机位姿参数POS为无人机自身携带定位设备获取的位姿参数，包括经度Longitude、纬度Latitude、高度Altitude、航向倾角φ、旁向倾角ω、像片旋角κ六个参数。本专利技术步骤(1)中，解算无人机影像U在大地坐标系中的位置，方法如下：(1.1)，根据相机内参数I纠正影像畸变和失真；(1.2)，根据航向倾角φ、旁向倾角ω、像片旋角κ将无人机影像U中四个角的像点Ui(xa，ya，-f)转换到像空间辅助坐标系为(1.3)，根据摄影测量理论中的共线方程，完成像空间辅助坐标系到物方坐标系的转换，解得物点Si(XA，YA，ZA)。本专利技术步骤(2)中，从网络地图中爬取对应位置的卫星影像S，方法如下：将步骤(1.3)解算出来的物点坐标Si(XA，YA，ZA)转换到浏览器的网络地图WebMercator投影坐标系下，从网络地图中爬取影像四个角点范围内的影像瓦片，组成对应的卫星影像S。本专利技术步骤(3)，方法如下：根据无人机影像U其像点Ui在图像坐标系中的位置IU(ux，uy)和卫星影像S其物点Si在图像坐标系中的位置IS(sx，sy)，计算3*3的变换矩阵T1；将整幅无人机影像U按照T1做透视变换得到粗定位的无人机影像Ucoarse，并将其在卫星影像S上叠加显示，至此完成无人机影像U在卫星影像S的粗定位。本专利技术步骤(5)中，提取二值图像中的所有建筑物对象的方法如下：提取二值图像的轮廓信息，求取连通域，以一个连通域为一个建筑物对象，其中相互接触的多栋建筑物在同一个连通域内，被认为同一个建筑物对象。本专利技术步骤(5)中，计算无人机影像U对应的二值图像中的建筑物对象与卫星影像S对应的二值图像中每个建筑物对象的相似度，确定候选建筑物匹配对象，方法如下：(5.a)对两幅二值图像中的每个建筑物对象进行简化描述。对于无人机影像U对应的二值图像中的建筑物对象i，将建筑物对象i轮廓的最小矩形外包框的长轴长度l1i、短轴长度l2i、长宽比建筑物对象i轮廓面积Si、显著度Saliencyi、3*5的描述子矩阵和重心位置(xi，yi)作为建筑物对象i的简化描述。对于卫星影像S对应的二值图像中的建筑物对象j，将建筑物对象j轮廓的最小矩形外包框的长轴长度l1j、短轴长度l2j、长宽比建筑物对象j轮廓面积Sj、显著度Saliencyj、3*5的描述子矩阵和重心位置(xj，yj)作为建筑物对象j的简化描述。其中：3*5的描述子矩阵的获取方法如下：取建筑物对象的最小矩形外包框，按长轴五等分，短轴三等分划分为均匀的3*5个子块，计算每个子块的3*5描述子值，3*5个子块以及各子块对应的3*5描述子值构成3*5的描述子矩阵。每个子块的3*5描述子值即每个子块中建筑物的像素占全部子块像素的比例。(5.b)计算无人机影像U对应的二值图像中的建筑物对象i与卫星影像S对应的二值图像中建筑物对象j的形状相似度Sim_ratioij、显著度相似度Sim_saliencyij、描述子相似度Sim_descriptorij。其中∑uavS和∑sa本文档来自技高网...

【技术保护点】
1.一种无控制点下的单幅无人机影像定位方法，其特征在于，包括：/n(1)获取单幅原始无人机影像U、相机内参数I以及拍摄无人机影像U时的无人机位姿参数POS，解算无人机影像U在大地坐标系中的位置；/n(2)将无人机影像U在大地坐标系中的坐标转换到Web Mercator投影坐标系下；从网络地图中爬取对应位置的卫星影像S；/n(3)求解无人机影像U与卫星影像S在图像坐标系之间的位置变换关系T

【技术特征摘要】
1.一种无控制点下的单幅无人机影像定位方法，其特征在于，包括：
(1)获取单幅原始无人机影像U、相机内参数I以及拍摄无人机影像U时的无人机位姿参数POS，解算无人机影像U在大地坐标系中的位置；
(2)将无人机影像U在大地坐标系中的坐标转换到WebMercator投影坐标系下；从网络地图中爬取对应位置的卫星影像S；
(3)求解无人机影像U与卫星影像S在图像坐标系之间的位置变换关系T1，将无人机影像U叠加在卫星影像S上显示，完成无人机影像U在卫星影像S的粗定位；
(4)基于训练好的卫星影像建筑物提取预训练模型和无人机影像建筑物提取预训练模型分别提取卫星影像S和无人机影像U中的建筑物，得到两幅二值图像；
(5)分别提取两幅二值图像中的所有建筑物对象，计算无人机影像U对应的二值图像中的建筑物对象与卫星影像S对应的二值图像中每个建筑物对象的相似度，确定候选建筑物匹配对象；
(6)获取各建筑物匹配对象在各自二值图中与其他建筑物对象的空间关系，保留满足设定空间关系条件的建筑物匹配对象；
(7)在满足设定空间关系条件的建筑物匹配对象中，提取无人机影像中的建筑物对象外轮廓组成源点集，提取卫星影像中的建筑物对象外轮廓组成目标点集，求解源点集与目标点集的点集变换矩阵T2，并将其作为无人机影像U到卫星影像S的映射关系，校正步骤(3)中无人机影像U在卫星影像S中的位置。


2.根据权利要求1所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(1)中，相机内参数I包括：相机焦距f、相机的像主点偏移量(xoffset，yoffset)；无人机位姿参数POS为无人机自身携带定位设备获取的位姿参数，包括经度Longitude、纬度Latitude、高度Altitude、航向倾角φ、旁向倾角ω、像片旋角κ六个参数。


3.根据权利要求1所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(1)中，解算无人机影像U在大地坐标系中的位置，方法如下：
(1.1)，根据相机内参数I纠正影像畸变和失真；
(1.2)，根据航向倾角φ、旁向倾角ω、像片旋角κ将无人机影像U中四个角的像点Ui(xa，ya，-f)转换到像空间辅助坐标系为
(1.3)，根据摄影测量理论中的共线方程，完成像空间辅助坐标系到物方坐标系的转换，解得物点Si(XA，YA，ZA)。


4.根据权利要求1所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(2)中，从网络地图中爬取对应位置的卫星影像S，方法如下：将步骤(1.3)解算出来的物点坐标Si(XA，YA，ZA)转换到浏览器的网络地图WebMercator投影坐标系下，从网络地图中爬取影像四个角点范围内的影像瓦片，组成对应的卫星影像S。


5.根据权利要求1所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(3)，方法如下：根据无人机影像U其像点Ui在图像坐标系中的位置IU(ux，uy)和卫星影像S其物点Si在图像坐标系中的位置IS(sx，sy)，计算3*3的变换矩阵T1；将整幅无人机影像U按照T1做透视变换得到粗定位的无人机影像Ucoarse，并将其在卫星影像S上叠加显示，至此完成无人机影像U在卫星影像S的粗定位。


6.根据权利要求1所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(4)中，卫星影像建筑物提取预训练模型的训练方法为：收集大量卫星影像及其建筑物标签制作卫星影像训练数据集，送入建筑物语义提取网络Unet训练，学习卫星影像训练数据集中建筑物的语义特征，保存卫星影像建筑物语义提取网络参数记作Unet-S，作为卫星影像建筑物提取预训练模型；
无人机影像建筑物提取预训练模型的训练方法为：收集大量无人机影像及其建筑物标签制作无人机影像训练数据集，加载预训练模型的网络参数，将无人机影像训练数据集送入建筑物语义特征提取网络Unet训练，微调无人机影像训练数据集中建筑物的语义特征，保存无人机影像建筑物语义提取网络参数记作Unet-U，作为无人机影像建筑物提取预训练模型。


7.根据权利要求6所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(4)中，提取卫星影像S中的建筑物，得到一幅二值图像，方法如下：首先，加载保存的卫星影像建筑物语义提取网络参数Unet-S，然后将待提取建筑物的卫星影像S裁剪为多幅512*512的子图像Ssub，送入卫星影像建筑物提取预训练模型，输出建筑物语义信息二值图其中待提取建筑物的卫星影像S中有建筑物的位置表示为1，待提取建筑物的卫星影像S中非建筑物的位置表示为0，按照子图像的裁剪规则拼合回一幅与原始卫星影像S大小相同的建筑物语义二值图像MaskS，裁剪时重叠的部分拼合时取平均值。


8.根据权利要求7所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(4)中，提取无人机影像U的建筑物，得到一幅二值图像，方法如下：首先，加载保存的无人机影像建筑物语义提取网络参数Unet-U，然后将待提取建筑物的无人机影像U裁剪为多幅512*512的子图像Usub，送入无人机影像建筑物提取预训练模型，输出建筑物语义信息二值图其中待提取建筑物的无人机影像U中有建筑物的位置表示为1，待提取建筑物的无人机影像U中非建筑物的位置表示为0，按照子图像的裁剪规则拼合回一幅与待提取建筑物的卫星影像S大小相同的建筑物语义二值图像MaskU，裁剪时重叠的部分拼合时取平均值。


9.根据权利要求8所述的无控制点下的单幅无人机影像定位方法，其特征在于：步骤(5)中，提取二值图像中的所有建筑物对象的方法如下：提取二值图像的轮廓信息，求取连通域，以一个连通域为一个建筑物对象，其中相互接触的多栋建筑物在同一个连通域内，被认为同一个建筑物对象。


10.根据权利要求8所述的无控制点下的单幅无人机影像定位方法，其特征在于...

【专利技术属性】
技术研发人员：杜春，陈浩，徐樱笑，李军，伍江江，景宁，彭双，陈荦，钟志农，熊伟，吴烨，欧阳雪，王力，伍送兵，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南;43