【技术实现步骤摘要】
本专利技术涉及双目立体匹配的，尤其涉及一种基于双目立体匹配的目标地物实时测量方法及系统。
技术介绍
1、双目立体视觉是从人类视觉中得到启发，在不接触目标物的情况下，通过模仿人眼采用两个相机从不同角度拍摄图像，并根据视差原理来获取物体的三维信息，重建物体三维轮廓以及位置信息，且具有高效率，较高精度、操作简单，低成本，自动化程度高等优点，广泛的应用在精密测量、目标定位、机器人运动和环境勘测、机械抓取、智能驾驶、三维重建、医疗影像、人机交互等领域。
2、双目视觉实现的关键技术有：相机标定、立体校正、立体匹配及三维重建，而立体匹配是双目视觉技术核心步骤之一，是计算机视觉领域的研究重点。立体匹配是通过找到空间物体在所获取的左右图像中的对应关系，即寻找双目图像的对应点，从中计算出视差，并根据计算出的视差，利用相似三角形原理估计深度的过程。立体匹配是建立立体视觉中最具有重要性的一环，立体匹配所获取的视差信息将直接影响所得到的三维信息。
3、目前，现有的图像双目立体匹配中，主要有局部立体匹配、全局立体匹配、基于左右视图特征点的立体匹配、深度学习深度估计等，这些匹配算法的核心都是从参考图像中找到高度相似的对应匹配点，然后根据相机的内外参数计算左右视图的视差获得深度信息。
4、但现有的双目立体匹配方法(例如：典型的sgm与patchmatchsgm)受限于其极消耗时间算力的缺陷，无法做到目标地物实时测量，且在弱纹理、无纹理、重复纹理区域的匹配效果极差，易出现噪点空洞，影响测量结果。
技
1、为解决现有双目立体匹配方法算能力有限，无法做到实时测量，且在弱纹理、无纹理、重复纹理区域易出现噪点空洞，导致匹配效果差的问题，本专利技术提出一种基于双目立体匹配的目标地物实时测量方法及系统，能够实时解算目标场景的深度图，并有效提高在弱纹理、无纹理及重复纹理区域的匹配效果。
2、为实现本专利技术的目的，本专利技术采用如下技术方案实现：
3、一种基于双目立体匹配的目标地物实时测量方法，包括以下步骤：
4、获取包含目标地物的图像数据，对所述图像数据进行预处理；
5、构建目标地物分割网络模型，利用预处理后的图像数据对所述目标地物分割网络模型进行训练，得到训练好的目标地物分割网络模型；
6、采集目标地物的双目图像数据，利用训练好的目标地物分割网络模型对双目图像数据进行识别与分割，得到目标地物的双目掩膜图像；
7、构建双目立体匹配网络模型，并利用所述双目立体匹配网络模型对得到的目标地物的双目掩膜图像进行双目立体深度估计，输出目标地物的场景深度图；
8、基于双目掩膜图像与场景深度图，得到目标地物的表面点云数据，根据所述表面点云数据，拟合出底面点云数据，根据底面点云数据和表面点云数据，对目标地物进行实时测量，并输出测量值；
9、其中，所述测量值包括目标地物的地物距离与地物体积。
10、在上述技术方案中，对获取的包含目标地物的图像数据进行预处理，能够提高图像数据在使用过程中的可靠性；然后利用预处理后的图像数据对构建的目标地物分割网络模型进行目标地物的识别与分割训练，提高目标地物分割网络模型对图像数据中目标地物的识别与分割能力，同时提高分割结果的准确性，然后利用训练好的目标地物分割网络模型对采集的双目图像数据中的目标地物进行识别与分割，得到目标地物的双目掩膜图像，利用构建的双目立体匹配网络模型对所述双目掩膜图像进行实时的深度估计，得到目标地物的场景深度图，还能够有效地根据双目掩膜图像的表面数据还原和重建出真实世界的三维场景，提高在弱纹理、无纹理、重复纹理区域的匹配效果，进而根据双目掩膜图像和场景深度图得到目标地物的表面点云数据，然后根据目标地物的表面点云数据拟合出目标地物的底面点云数据，进而根据目标地物的表面点云数据和底面点云数据，实时的测量出采集到的双目图像数据中目标地物的地物距离和地物体积等数据，在提高目标地物测量结果质量的同时，减少作业时间与成本，并实现对包含目标地物的双目图像数据的实时采集、实时分析和实时测量的效果。
11、进一步地，对所述图像数据进行预处理的方式为：
12、对获取的包含目标地物的图像数据进行地物标注。
13、进一步地，采集目标地物的双目图像数据之前，对用于采集双目图像数据的相机进行相机标定，并利用标定完成的相机实时的采集目标地物的双目图像数。
14、进一步地，利用训练好的目标地物分割网络模型对双目图像数据进行识别与分割的具体过程为：
15、将实时采集的双目图像输入目标地物分割网络模型，利用目标地物分割网络模型对双目图像进行目标地物分割识别，得到目标地物的坐标范围，根据该坐标范围，将目标地物从双目图像中分割出来，得到目标地物的双目掩膜图像。
16、根据上述技术方案，对获取的包含目标地物的图像数据进行地物标注，能够有效地对目标地物分割网络模型进行目标地物的识别与分割训练，加快目标地物分割网络模型的训练速度与训练精度，对采集双目图像数据的相机进行相机标定，可以测量出相机的内部参数和外部参数，进而将图像坐标系与世界坐标系之间建立的联系。
17、进一步地，构建双目立体匹配网络模型的具体过程为：
18、构建bg-net网络，在bg-net网络上增加基于特征金字塔的yolo v8视频图像分割卷积层，得到基于yolo v8视频图像分割的bg-net网络；
19、利用双目掩膜图像对基于yolo v8视频图像分割的bg-net网络进行训练，在训练的过程中，设计损失函数对基于yolo v8视频图像分割的bg-net网络进行调优，损失函数表达式为：
20、
21、当损失函数的输出值收敛时，得到训练好的基于yolo v8视频图像分割的bg-net网络；
22、其中，为(t-1)图像帧的深度图像，为(t)图像帧的深度图像，p表示对应图像帧的全部像素点；
23、在基于yolo v8视频图像分割的bg-net网络上增加包含纹理平面估计器的子网络，得到最终的双目立体匹配网络模型；
24、利用双目掩膜图像对所述双目立体匹配网络模型进行深度学习训练，在训练的过程中，设计损失函数l(θ)对所述双目立体匹配网络模型进行调优，损失函数l(θ)的表达式为：
25、
26、当损失函数l(θ)的输出值收敛时，得到训练完成的双目立体匹配网络模型；
27、其中，θ表示网络中所有可学习参数的集合，包括特征金字塔提取层和不同金字塔级别的弱纹理平面估计器，dθ表示网络预测第l个金字塔层的弱纹理平面视差估计，dgt表示弱纹理平面对应的视差真实值，α、γ均为相应权值，||2为向量的l2范数。
28、进一步地，将目标地物的双目掩膜图像输入双目立体匹配网络模型，对双目掩膜图像中的目标地物进行深度估计，过程为：
29、所述双目立体匹配网络模型对双本文档来自技高网...
【技术保护点】
1.一种基于双目立体匹配的目标地物实时测量方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于双目立体匹配的目标地物实时测量方法，其特征在于，对所述图像数据进行预处理的方式为：
3.根据权利要求2所述的基于双目立体匹配的目标地物实时测量方法，其特征在于，采集目标地物的双目图像数据之前，对用于采集双目图像数据的相机进行相机标定，并利用标定完成的相机实时的采集目标地物的双目图像数。
4.根据权利要求3所述的基于双目立体匹配的目标地物实时测量方法，其特征在于，利用训练好的目标地物分割网络模型对双目图像数据进行识别与分割的具体过程为：
5.根据权利要求4所述的基于双目立体匹配的目标地物实时测量方法，其特征在于，构建双目立体匹配网络模型的具体过程为：
6.根据权利要求5所述的基于双目立体匹配的目标地物实时测量方法，其特征在于，将目标地物的双目掩膜图像输入双目立体匹配网络模型，对双目掩膜图像中的目标地物进行深度估计，过程为：
7.根据权利要求6所述的基于双目立体匹配的目标地物实时测量方法，其特征在于，对双目掩膜
8.根据权利要求7所述的基于双目立体匹配的目标地物实时测量方法，其特征在于，基于双目掩膜图像与场景深度图，得到目标地物的表面点云数据的具体过程为：
9.根据权利要求8所述的基于双目立体匹配的目标地物实时测量方法，其特征在于，根据底面点云数据和表面点云数据，对目标地物进行实时测量的具体过程为：
10.一种基于双目立体匹配的目标地物实时测量系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于双目立体匹配的目标地物实时测量方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于双目立体匹配的目标地物实时测量方法，其特征在于，对所述图像数据进行预处理的方式为：
3.根据权利要求2所述的基于双目立体匹配的目标地物实时测量方法，其特征在于，采集目标地物的双目图像数据之前，对用于采集双目图像数据的相机进行相机标定，并利用标定完成的相机实时的采集目标地物的双目图像数。
4.根据权利要求3所述的基于双目立体匹配的目标地物实时测量方法，其特征在于，利用训练好的目标地物分割网络模型对双目图像数据进行识别与分割的具体过程为：
5.根据权利要求4所述的基于双目立体匹配的目标地物实时测量方法，其特征在于，构建双目立体匹配网络模型的具体过程为：
6.根据权利要求5所述的基于双目立体...
【专利技术属性】
技术研发人员：郑川江，贾学富，杨心宇，
申请(专利权)人：广州南方测绘科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。