一种基于影像的三维场景重建中移动车辆的修复方法技术

本发明专利技术涉及一种基于影像的三维场景重建中移动车辆的修复方法，包括：根据深度学习模型得到各张影像中的车辆信息标记；对于三维场景模型的各个三角面，统计得到第i个三角面f

【技术实现步骤摘要】
一种基于影像的三维场景重建中移动车辆的修复方法
本专利技术涉及测绘
，尤其涉及一种基于影像的三维场景重建中移动车辆的修复方法。
技术介绍
基于影像的三维场景重建一直是计算机视觉中的热门研究话题，并且涌现出了一大批表现优异的算法成果。基于多视影像的三维建模方法，不仅可以恢复目标对象的三维结构，还可以获取三维模型表面的纹理信息。近几年，随着无人机技术的日益成熟，我们获取影像数据的成本也大大降低。因此，基于多视倾斜影像的城市级三维场景的构建就变得更加的广泛。车辆作为城市中的重要交通工具，会出现在城市场景中的各个角落。然而，由于城市场景中大部分车辆可能处于移动状态，这样就会给三维重建过程带来一些问题。一方面，如图1(a)和图1(b)所示分别为移动车辆在场景一的三维场景重建过程示意图和重建结果示意图，该场景一为移动车辆在斑马线上，斑马线上存在车辆的几何结构，导致映射后的纹理出现扭曲变形现象，由图1(a)和图1(b)可知，移动过的车辆会导致重建出的三维场景存在几何结构上的失真，从而对后续三维模型表面的纹理映射产生影响；另一方面，如图2(a)和图2(b)所示分别为移动车辆在场景二的三维场景重建过程示意图和重建结果示意图，该场景二为交通繁忙的十字路口附近，由图2(a)和图2(b)可知，在整个影像数据采集的过程中，部分移动车辆可能会出现停留的情况(例如斑马线钱等红绿灯的车辆)，在此期间，假如有两张或以上的影像拍摄到该车辆，那么该车辆的几何模型就可能会出现在重建的三维场景中，道路中央的车辆几何模型很突兀，而且映射的纹理也出现了扭曲变形的情况，因此，为了解决这样的问题，这里需要对三维场景的几何模型进行修复。不能对三维场景重建中的移动车辆进行修复的话，重建后的三维场景看起来很杂乱，视觉效果大打折扣。因此，为了解决以上问题，通常需要全人工或半人工的方式对重建后的三维场景模型进行手动修复，主要包含几何结构和纹理影像两个方面的修复，但这个修复过程，往往需要花费大量人力物力，从而严重影响生产效率。
技术实现思路
本专利技术针对现有技术中存在的技术问题，提供一种基于影像的三维场景重建中移动车辆的修复方法，解决现有技术中三维场景重建过程中对移动车辆进行修复时效率低的问题。本专利技术解决上述技术问题的技术方案如下：一种基于影像的三维场景重建中移动车辆的修复方法，包括：步骤1，训练得到车辆的深度学习模型，根据所述深度学习模型得到各张影像中的车辆信息标记，所述车辆信息标记包括车辆位置和车辆颜色；步骤2，对于三维场景模型的各个三角面，统计得到第i个三角面fi的可视影像集合I(fi)，其中集合I(fi)中包含的影像的数量为nk；步骤3，统计所述可视影像集合I(fi)中标记为车辆的影像的数量n1，根据所述数量n1是否超过设定值判断该三角面fi在各个影像的投影位置处是否为车辆；步骤4，判定该三角面fi所述投影位置处为车辆时，统计所述n1个标记为车辆的车辆颜色中每种颜色出现的次数，得到所述次数中的最大值n2，根据所述数量nk、数量n1以及数量n2确定该三角面fi对应的为停留移动车辆、未停留移动车辆或未移动车辆；步骤5，根据所述停留移动车辆对应的三角面进行几何修复，根据纹理处的三角面的颜色进行纹理修复。本专利技术的有益效果是：本专利技术提供的一种基于影像的三维场景重建中移动车辆的修复方法，基于深度学习进行影像中的车辆信息的识别，可以保证车辆信息识别的效率及准确性；收集一段时间内的各张影像，根据各张影像的车辆信息标记的车辆位置和车辆颜色，基于多视图约束进行该时间段内的车辆的移动状态的判定，利用各个三角面的判定结果对移动车辆造成的几何模型的扭曲变形进行几何修复，对移动车辆造成的三维模型纹理信息的错误选取进行纹理修复，且无需人工干预，自动化程度高，节约大量的人力物力，保证重建后的三维场景的视觉效果。在上述技术方案的基础上，本专利技术还可以做如下改进。进一步，所述步骤1中得到各个影像中的车辆信息标记的过程包括：步骤101，将人工标记好的车辆样本数据放入到深度学习框架中进行训练，当损失曲线收敛时，得到训练好的所述车辆的深度学习模型；步骤102，将每张影像裁剪成设定大小的矩形影像块，利用所述车辆的深度学习模型分别对各个所述影像块进行车辆信息的识别，得到所述影像块中车辆的位置和颜色信息；步骤103，汇总属于同一张所述影像的所述影像块的识别结果，得到每张所述影像所对应的车辆信息标记。进一步，所述步骤2中得到所述可视影像集合I(fi)的过程包括：步骤201，将三角网格中的每个所述三角面fi根据投影矩阵Pj依次投影到每张影像Ij上；步骤202，获取所述影像Ij上可见的三角面集合F(Ij)＝{f1,f2,...,fm}；步骤203，根据所述三角面集合F(Ij)统计所述三角面fi在哪些影像上可见，得到所述三角面fi的可视影像集合进一步，所述步骤3中所述设定值为预先设定的最小车辆影像张数阈值δ0；n1＜δ0时，直接返回判断是否每个三角面fi均完成了判定过程，是，结束整个判定流程，否，对i加一后进行下一个三角面fi的判定。进一步，所述步骤4包括：对n1张标记为车辆的影像与所述可视影像集合I(fi)中的nk张影像分别按照影像采集的时间顺序进行排列，排列结果记为Order1和Order2，找出Order1中的首尾两张影像在Order2中对应位置的索引Pos1与Pos2，计算ratio＝(Pos2-Pos1+1)/nk；n1/nk≤δ1且ratio＜δ1时，判定该三角面fi对应的移动车辆，否则，判定该三角面fi对应的未移动车辆；其中，δ1表示设定的第一比例阈值。进一步，所述步骤4包括：步骤401，判断n1/nk＞δ1是否成立，是，执行步骤403，否，执行步骤402；步骤402，判断ratio＜δ1是否成立，是，执行步骤404，否，执行步骤403；步骤403，判断n2/n1＞δ2是否成立，是，判定该三角面fi对应的未移动车辆，否，执行步骤404；其中，δ2表示设定的第一比例阈值；步骤404，判定该三角面fi对应的移动车辆。进一步，所述步骤404判定该三角面fi对应的移动车辆后，判断n2＞δ0是否成立，是，判定该三角面fi对应的停留移动车辆；否，判定该三角面fi对应的未停留移动车辆。进一步，所述步骤4确定该三角面fi对应的为停留移动车辆、未停留移动车辆或未移动车辆之后，判断是否每个三角面fi均完成了判定过程，是，结束整个判定流程，否，对i加一后进行下一个三角面fi的判定。进一步，所述步骤3和步骤4判断三角面fi对应的场景的类别为非车辆、未移动车辆、停留移动车辆或未停留移动车辆之后，还包括对每个三角面fi的类别进行校正：根据三角面fi在影像中的投影位置，结合影像中所标记的每个车辆的车辆信息标记的车辆范围，对属于同一车辆Ci的三角面进行聚类Ci＝{f1,f2,...,fn}；对每辆本文档来自技高网...

【技术保护点】
1.一种基于影像的三维场景重建中移动车辆的修复方法，其特征在于，所述方法包括：/n步骤1，训练得到车辆的深度学习模型，根据所述深度学习模型得到各张影像中的车辆信息标记，所述车辆信息标记包括车辆位置和车辆颜色；/n步骤2，对于三维场景模型的各个三角面，统计得到第i个三角面f

【技术特征摘要】
1.一种基于影像的三维场景重建中移动车辆的修复方法，其特征在于，所述方法包括：
步骤1，训练得到车辆的深度学习模型，根据所述深度学习模型得到各张影像中的车辆信息标记，所述车辆信息标记包括车辆位置和车辆颜色；
步骤2，对于三维场景模型的各个三角面，统计得到第i个三角面fi的可视影像集合I(fi)，其中集合I(fi)中包含的影像的数量为nk；
步骤3，统计所述可视影像集合I(fi)中标记为车辆的影像的数量n1，根据所述数量n1是否超过设定值判断该三角面fi在各个影像的投影位置处是否为车辆；
步骤4，判定该三角面fi所述投影位置处为车辆时，统计所述n1个标记为车辆的车辆颜色中每种颜色出现的次数，得到所述次数中的最大值n2，根据所述数量nk、数量n1以及数量n2确定该三角面fi对应的为停留移动车辆、未停留移动车辆或未移动车辆；
步骤5，根据所述停留移动车辆对应的三角面进行几何修复，根据纹理处的三角面的颜色进行纹理修复。


2.根据权利要求1所述的方法，其特征在于，所述步骤1中得到各个影像中的车辆信息标记的过程包括：
步骤101，将人工标记好的车辆样本数据放入到深度学习框架中进行训练，当损失曲线收敛时，得到训练好的所述车辆的深度学习模型；
步骤102，将每张影像裁剪成设定大小的矩形影像块，利用所述车辆的深度学习模型分别对各个所述影像块进行车辆信息的识别，得到所述影像块中车辆的位置和颜色信息；
步骤103，汇总属于同一张所述影像的所述影像块的识别结果，得到每张所述影像所对应的车辆信息标记。


3.根据权利要求1所述的方法，其特征在于，所述步骤2中得到所述可视影像集合I(fi)的过程包括：
步骤201，将三角网格中的每个所述三角面fi根据投影矩阵Pj依次投影到每张影像Ij上；
步骤202，获取所述影像Ij上可见的三角面集合F(Ij)＝{f1,f2,...,fm}；
步骤203，根据所述三角面集合F(Ij)统计所述三角面fi在哪些影像上可见，得到所述三角面fi的可视影像集合


4.根据权利要求1所述的方法，其特征在于，所述步骤3中所述设定值为预先设定的最小车辆影像张数阈值δ0；
n1＜δ0时，直接返回判断是否每个三角面fi均完成了判定过程，是，结束整个判定流程，否，对i加一后进行下一个三角面fi的判定。


5.根据权利要求1所述的方法，其特征在于，所述步骤4包括：
对n1张标记为车辆的影像与所述可视影像集合I(fi)中的nk张影像分别按照影像采集的时间顺序进行排列，排列结果记为O...

【专利技术属性】
技术研发人员：杨冲，
申请(专利权)人：武汉大势智慧科技有限公司，
类型：发明
国别省市：湖北;42