一种基于动态目标检测与分类的构建地图孔洞修复方法技术

本发明专利技术公开了一种基于动态目标检测与分类的构建地图孔洞修复方法，涉及机器视觉技术领域。本发明专利技术通过卷积神经网络的计算、逐像素分割先天的动态物体、利用多视图几何和深度学习提高动态物体分割能力、利用一个低代价的追踪模块在创建好的场景地图中定位、基于经过分割的帧被用来生成相机的轨迹和场景的地图以及基于之前视角中观测到的静态信息来重新构建当前帧被遮挡的背景部分，该方法除了能够实时计算出相机的轨线，并生成场景的稀疏三维重建结果，检测动态物体并实现分类，通过场景的静态地图对观测帧的背景进行修复，适用于单目，双目以及RGB

【技术实现步骤摘要】
一种基于动态目标检测与分类的构建地图孔洞修复方法


[0001]本专利技术属于机器视觉
，特别是涉及一种基于动态目标检测与分类的构建地图孔洞修复方法。

技术介绍

[0002]图像修复的最初是为了去除遮挡或对破损的图像就行修复，但是，修复图像是一个ill
‑
pose（病态）问题，所示，图像修复需要一些前提假设（也就是之前提到过的正则约束），通过在一定约束条件下，建立最优化准则，从而实现图像修复，简而言之，就是利用那些已经被破坏的区域的边缘，即边缘的颜色和结构，根据这些图像留下的信息去推断被破坏的信息区的信息内容，然后对破坏区进行填补，以达到图像修补的目的，图像修复者需要采取最恰当的方法恢复图像的原始状态，同时保证图像达到最理想的艺术效果，早在文艺复兴时期，人们就开始修复一些中世纪的艺术品，其目的在于通过填补一些裂缝来使画面恢复原貌，这一工作就称之为"Inpainting"(修复，润饰)或"Retouching"，M.Bertalmio首次提出许多图像修复能被简化为一个数学表达式，利用计算机能自动加以实现，图像修复现已是计算机图形学和计算机视觉中的一个研究热点，在文物保护、影视特技制作、虚拟现实、多余物体剔除(如视频图像中删除部分人物、文字、小标题等)等方面有着重大的应用价值；基于动态物体检测与分类的地图孔洞修复是通过几何变换实现的，在完成动态物体的剔除后图像会出现一些窟窿，这样的图片既不美观也不利于跟踪和定位等操作。
[0003]因此如何修复图中之前被动态物体遮挡住的静态背景，合成出只包含静态物体的图像，提高图像质量成急需解决的问题；因此图像修复存在以下问题：不能够很好地提高图片质量，不能够很好地实现局部地图的准确重建。

技术实现思路

[0004]本专利技术的目的在于提供一种基于动态目标检测与分类的构建地图孔洞修复方法，以解决现有的问题：不能够很好地提高图片质量，不能够很好地实现局部地图的准确重建。
[0005]为解决上述技术问题，本专利技术是通过以下技术方案实现的：一种基于动态目标检测与分类的构建地图孔洞修复方法，包括以下步骤:S1、通过卷积神经网络计算，逐像素分割先天动态物体；S2、利用一个低代价的跟踪模块在创建好的场景地图中定位；S3、利用多视图几何和深度学习提高动态物体分割能力；S4、基于这些经过分割的帧来生成相机的轨迹和场景地图；S5、基于之前视角中观测到的静态信息来重新构建当前帧被遮挡的背景部分。
[0006]进一步地，将图像数据输入系统通过卷积神经网络进行语义分割，所述图像数据类型为单目或双目图像；
系统用于动态物体检测的方法为卷积神经网络；所述图像数据在使用单目或双目相机时，所述动态物体检测使用卷积神经网络进行工作。
[0007]进一步地，将图像数据输入系统通过卷积神经网络进行语义分割，所述图像数据类型为RGB
‑
D图像；系统用于动态物体检测的方法为卷积神经网络和多视图几何；在所述图像数据使用RBG
‑
D相机时，所述动态物体检测使用卷积神经网络以及多视图几何同时进行工作。
[0008]进一步地，所述低代价的跟踪模块为一个耗时短，计算量少的跟踪计算模块；获得在多视图几何判断时所需要的相机位姿估计值；所述低代价的跟踪模块使用是经过之前神经网络处理，去除掉了动态物体的图像；此时图像中的信息变少，在跟踪定位时能使用的特征也变少，相应的计算量也减少了；利用稀疏地图的数据进行跟踪，提高数据准确性。
[0009]进一步地，针对RGB
‑
D图像数据在所述低代价的跟踪模块获取之后，利用多视图几何方法对经过神经网络语义分割过的图像再次进行动态物体的分割，根据当前帧对应的深度图获得x(CF)实际测得的深度值Zc；计算ΔZ=Zp
‑
Zc.并且通过权衡准确率设定阈值为0.7，如果ΔZ大于某个阈值，则认为关键点x(CF)是在动态物体上，需要将其剔除。
[0010]进一步地，针对RGB
‑
D图像数据在所述低代价的跟踪模块获取之后，根据角度α判断是否是动态物体，如果关键点x(KF)和x(CF) 之间的视差角大于30
°
，则也会将x(CF)从图像中剔除，（TUM数据集上的普遍使用的判断条件）；将其中并非先验动态物体，在现实场景中又为动态物体分割出来。
[0011]进一步地，使用经过神经网络语义分割加多视图几何的方法处理后的图像完成跟踪定位和建图任务。
[0012]进一步地，基于几何变换实现而成；在完成动态物体剔除后，整个图片会出现一些窟窿；通过背景修复的方法，将这些窟窿填补好，修复出之前被动态物体所挡住的背景图像。
[0013]本专利技术具有以下有益效果：本专利技术通过卷积神经网络的计算、逐像素分割先天的动态物体、利用多视图几何和深度学习提高动态物体分割能力、利用一个低代价的追踪模块在创建好的场景地图中定位、基于经过分割的帧被用来生成相机的轨迹和场景的地图以及基于之前视角中观测到的静态信息来重新构建当前帧被遮挡的背景部分与现有方法相比；该方法除了能够实时计算出相机的轨线，并生成场景的稀疏三维重建结果，还能通过多视角几何，或者深度学习，或者二者融合，检测动态物体并实现分类，通过场景的静态地图对观测帧的背景进行修复，以消除动态物体遮挡的影响，使得该方法对动态场景具有鲁棒性，适用于单目，双目以及RGB
‑
D相机，在高度动态的场景下，能够取得较高的精度，
提高了长时间建图的质量。
附图说明
[0014]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0015]图1为本专利技术一种基于动态目标检测与分类的构建地图孔洞修复方法的流程图；图2为本专利技术中多视图几何方法的结构示意图。
[0016]附图中，各标号所代表的部件列表如下。
具体实施方式
[0017]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0018]请参阅图1
‑
2所示，本专利技术为一种基于动态目标检测与分类的构建地图孔洞修复方法，包括以下步骤:S1、通过卷积神经网络计算，逐像素分割先天动态物体；将图像数据输入系统通过卷积神经网络进行语义分割，图像数据类型有两种：图像数据第一种的类型为单目或双目图像图像数据第二种的类型为RGB
‑
D图像系统根据图像数据类型的不同，动态对象检测的方法也不同；系统用于动态物体检测的方法有两种：动态物体检测的第一种方法为卷积神经网络；动态物体检测的第二种方法为多视图几何；图像获本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态目标检测与分类的构建地图孔洞修复方法，其特征在于，包括以下步骤:S1、通过卷积神经网络计算，逐像素分割先天动态物体；S2、利用一个低代价的跟踪模块在创建好的场景地图中定位；S3、利用多视图几何和深度学习提高动态物体分割能力；S4、基于这些经过分割的帧来生成相机的轨迹和场景地图；S5、基于之前视角中观测到的静态信息来重新构建当前帧被遮挡的背景部分。2.根据权利要求1所述的一种基于动态目标检测与分类的构建地图孔洞修复方法，其特征在于，其中，通过卷积神经网络计算，逐像素分割先天动态物体，主要包括：将图像数据输入系统通过卷积神经网络进行语义分割，所述图像数据类型为单目或双目图像；系统用于动态物体检测的方法为卷积神经网络；所述图像数据在使用单目或双目相机时，所述动态物体检测使用卷积神经网络进行工作。3.根据权利要求1所述的一种基于动态目标检测与分类的构建地图孔洞修复方法，其特征在于，其中，通过卷积神经网络计算，逐像素分割先天动态物体，主要包括：将图像数据输入系统通过卷积神经网络进行语义分割，所述图像数据类型为RGB
‑
D图像；系统用于动态物体检测的方法为卷积神经网络和多视图几何；在所述图像数据使用RBG
‑
D相机时，所述动态物体检测使用卷积神经网络以及多视图几何同时进行工作。4.根据权利要求3所述的一种基于动态目标检测与分类的构建地图孔洞修复方法，其特征在于，其中，利用一个低代价的跟踪模块在创建好的场景地图中定位，主要包括：所述低代价的跟踪模块为一个耗时短，计算量少的跟踪计算模块；获得在多视图几何判断时所需要的相机位姿估计值；所述低代价的跟踪模块使用是经过之前神经网络处理，去除掉了动态物体的图像；此时图像中的信息变少，在跟踪定位时能使用的特征也变少，相应的计算量也减少了；利用稀疏地图的数据进行跟踪...

【专利技术属性】
技术研发人员：何苗，胡方超，朱越，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：