一种基于机器学习的控制点自动布设方法及装置制造方法及图纸

一种基于机器学习的控制点自动布设方法及装置，获取待布设航空影像，从所述待布设航空影像选取与参考像控点关联的影像数据；将所述影像数据输入预先训练的点位学习模型；利用所述点位学习模型学习得到所述影像数据对应的像控点图形特征，根据所述像控点图形特征确定所述影像数据对应的像控点点位；利用所述像控点点位标注所述待布设航空影像，并基于所述像控点点位生成点位记录；输出带有所述像控点点位的所述待布设航空影像和所述点位记录，结合机器学习，利用摄影测量技术，控制点布设、三维重建过程中的控制点测量等环节自动化程度大幅度提高。大幅度提高。大幅度提高。

An automatic layout method and device of control points based on machine learning

【技术实现步骤摘要】
一种基于机器学习的控制点自动布设方法及装置


[0001]本专利技术涉及机器学习领域，特别是一种基于机器学习的航空影像控制点自动布设方法及装置、存储介质、计算设备。

技术介绍

[0002]随着数字孪生城市建设的不断发展，对于新技术的不断应用，全自动化高效获取数据成为研究热点，在国内一些学者结合新技术做出了一些自动化建设的研究和应用。
[0003]蒋汪洋等人提出对于框幅式数码航摄仪影像质量检查系统的设计与应用，实现了对于原始影像的检查，李俊等人提出一种对于无人机航摄数据质量检查的方法，针对无人机航空摄影数据自动检查发现，保持摄影影像间存在一定的重叠度是构成立体像对进行测图的基础，应用图像点特征匹配方法进行影像匹配，通过单应性变换模型精确识别影像重叠区域，有效解决无人机影像间重叠区不规则不易识别的困难，利用SIFT\SURF\ORB\BRISK\AKAZE等五种特征提取算法对基于图像匹配的检查方法的实用性进行了验证，结果表明基于SIFT的检查方法再影像各个尺度均能够较好的计算出影像间重叠度，速度稍慢，而基于ORB的检查方法速度最快，缺点是在一些不易识别特征点的区域其可靠性较差。另一方面，无人机飞行姿态不稳定，易导致无人机摄像的像片倾角与旋角等指标超限，利用POS数据对摄站航高差、航带弯曲度、像片旋角与倾角等进行检查，基于python编程语言进行编程实现计算，完成一套相对完善的无人机航摄数据自动检查系统。
[0004]吴弦骏、董平等人则提出一种对于无人机航空影像像控点自动布设的解决方案。无人机航摄技术运用低空数码遥感影像技术生产的正射影像图(DOM)可满足一定比例尺精度要求，运用POS系统(即Position and Orientation System定位定向系统，又称IMU/DGPS系统)可以在传感器成像过程中实时测量其位置和姿态，获取影像的外方位元素，但是由于无人机轻而不稳，导致其POS数据(主要包括位置信息及姿态信息)不够精确，故使用无人机航摄生产DOM产品时需要大量的像片控制点(像控点)来提升空三加密精度，通过像控点布设设计、提高像控点布设效率，利用程序，根据设定的像控密度及像控旁像航线间隔数，在POS数据辅助下自动设计网型，生成像控分布略图，并基于共线方程匹配出像控分布网上的每个节点在航片上的对应的像点位置，生成标定有“像控可选范围”的航片图。
[0005]然而，在三维重建自动化软件如ContextCapture、Photomesh、smart3d等软件中，在内业生产环节，依然需要大量的内业人员和外业人员人工进行手动控制点判读和选刺，生产自动化程度实际上并不高，还有待于进一步提升。
[0006]现有技术中，并不存在利用机器学习将输出的控制点位置及相关影像进行像平面格式化输出，以提高生产自动化的技术。
[0007]在中国专利文献CN112484704A中提供了一种快速测绘方法，为了提高快速测绘的自动化程度，使得测绘更加渐变，提高适应性，通过机器学习直接校准目标测绘点，从而快速得到测绘结果。采用人工判断方式或者机器学习方式识别目标图像，再采用人工调整方式确定目标测绘点精确位置信息，这样提高实时校准和实时测绘的精准度和适用性。
[0008]在中国专利文献CN109076173A中记载了一种输出影像生成方法。地面站基于预先设定的像控点的GPS信息，将上述计算获得的位置和姿态，转换为世界坐标系下的位置和姿态，在这种实现方式中通过人工的方式查找像控点在第一拍摄设备拍摄获得的第一影像中的相对位置和像控点在第二拍摄设备拍摄获得的第二影像中的相对位置，再基于像控点的相对位置和像控点的GPS信息，将上述计算获得的相对位置和姿态转换为世界坐标系下的位置和姿态，或者通过图像识别方式，先基于像控点的GPS信息，分别从第一拍摄设备拍摄的第一影像和第二拍摄设备拍摄的第二影像中差找包括像控点的影像，以及该影像中可能存在像控点的区域，再通过预设的机器学习模型和优化算法在上述区域中识别出像控点，从而获得像控点在第一影像和第二影像中的相对位置，再基于像控点的相对位置和GPS信息，将第一拍摄设备和第二拍摄设备再拍摄影像时的相对位置和姿态转换为世界坐标系下的位置和姿态，在该方案中，尽管对于图像识别而言自动化程度得到提高，但是，其仍然需要较多的人工干预，对于控制点布设自动化程度需要进一步提高。
[0009]本专利技术研究团队经过足够样本训练，通过机器学习和摄影测量技术相结合，将机器学习输出的控制点位置及相关影像进行像平面格式化输出，大幅度提高生产自动化水平。

技术实现思路

[0010]鉴于此，为了解决现有技术中存在的技术问题，本专利技术旨在提供一种能够结合机器学习，利用传统的摄影测量技术，对图像特征进行处理和应用，将传统的控制点布设、三维重建过程中的控制点测量等环节进行一体化、自动化结合处理，减少人为的干预，实现软件自动化处理，在保障数据准确度的基础上，进行数据控制点刺点，降低人工干预，大大提高生产自动化程度的基于机器学习的控制点自动布设方法及装置、存储介质、计算设备。
[0011]根据本专利技术的一个方面，提供了一种基于机器学习的控制点自动布设方法，其特征在于，包括：
[0012]获取待布设航空影像，从所述待布设航空影像选取与参考像控点关联的影像数据；所述参考像控点预先从所述待布设航空影像中确定；
[0013]将所述影像数据输入预先训练的点位学习模型；利用所述点位学习模型学习得到所述影像数据对应的像控点图形特征，根据所述像控点图形特征确定所述影像数据对应的像控点点位；
[0014]利用所述像控点点位标注所述待布设航空影像，并基于所述像控点点位生成点位记录；
[0015]输出带有所述像控点点位的所述待布设航空影像和所述点位记录。
[0016]优选地，所述待布设航空影像为航空影像。
[0017]可选地，所述将所述影像数据输入预先训练的点位学习模型，利用所述点位学习模型学习得到所述影像数据对应的像控点图形特征之前，所述方法还包括：
[0018]获取至少一组参考影像以及与像控点关联的多个特征图形，利用所述特征图形制作所述参考影像对应的蒙版影像，并确定所述蒙版影像对应的刺点位置；
[0019]根据所述参考影像、所述特征图形、所述蒙版影像和所述刺点位置创建特征数据集；
[0020]基于神经网络构建机器学习模型，利用所述特征数据集训练所述机器学习模型，得到能够参考影像得到对应的像控点特征图形和像控点位置的点位学习模型。
[0021]可选地，所述获取待布设航空影像，从所述待布设航空影像选取与参考像控点关联的影像数据包括：
[0022]获取待布设航空影像，利用摄影测量原理的航向和旁向重叠度计算并合理布设所述待布设航空影像对应的参考像控点；
[0023]结合定位定姿系统从所述待布设航空影像中选取出与所述参考像控点关联的下视影像数据。
[0024]可选地，所述将所述影像数据输入预先训练的点位学习模型；利用所述点位学习模型学习得到所述影像数据对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器学习的控制点自动布设方法，其特征在于，包括：获取待布设航空影像，从所述待布设航空影像选取与参考像控点关联的影像数据；所述参考像控点预先从所述待布设航空影像中确定；将所述影像数据输入预先训练的点位学习模型；利用所述点位学习模型学习得到所述影像数据对应的像控点图形特征，根据所述像控点图形特征确定所述影像数据对应的像控点点位；利用所述像控点点位标注所述待布设航空影像，并基于所述像控点点位生成点位记录；输出带有所述像控点点位的所述待布设航空影像和所述点位记录。2.根据权利要求1所述的方法，其特征在于，所述将所述影像数据输入预先训练的点位学习模型，利用所述点位学习模型学习得到所述影像数据对应的像控点图形特征之前，所述方法还包括：获取至少一组参考影像以及与像控点关联的多个特征图形，利用所述特征图形制作所述参考影像对应的蒙版影像，并确定所述蒙版影像对应的刺点位置；根据所述参考影像、所述特征图形、所述蒙版影像和所述刺点位置创建特征数据集；基于神经网络构建机器学习模型，利用所述特征数据集训练所述机器学习模型，得到能够参考影像得到对应的像控点特征图形和像控点位置的点位学习模型。3.根据权利要求1所述的方法，其特征在于，所述获取待布设航空影像，从所述待布设航空影像选取与参考像控点关联的影像数据包括：获取待布设航空影像，利用航向和旁向重叠度计算并合理布设所述待布设航空影像对应的参考像控点；结合定位定姿系统从所述待布设航空影像中选取出与所述参考像控点关联的下视影像数据。4.根据权利要求3所述的方法，其特征在于，所述将所述影像数据输入预先训练的点位学习模型；利用所述点位学习模型学习得到所述影像数据对应的像控点图形特征，根据所述像控点图形特征确定所述影像数据对应的像控点点位，包括：将所述下视影像数据输入预先训练的点位学习模型，利用所述点位学习模型学习得到所述下视影像数据对应的像控点图形特征；根据所述像控点图形特征自动确定所述下视影像中布设像控点的第一像平面位置和第一点号。5.根据权利要求4所述的方法，其特征在于，所述结合定位定姿系统从所述待布设航空影像中选取出与所述参考像控点关联的下视影像数据之后，所述方法还包括：计算所述待布设航空影像中的侧视影像数据，获取所述侧视影像...

【专利技术属性】
技术研发人员：刘俊伟，王娟，江涛，
申请(专利权)人：泰瑞数创科技北京有限公司，
类型：发明
国别省市：