一种基于众包影像的三维重建的方法和装置制造方法及图纸

本申请公开了一种基于众包影像的三维重建的方法及装置，该方法包括：获取携带有目标物体信息的众包影像，确定每个目标物体信息所对应的众包影像集，提取众包影像集内每张众包影像的特征，据此确定每两张众包影像中目标物体内的第一同名点和第二同名点，根据所确定出的每两张众包影像中目标物体内的第一同名点以及第二同名点，对目标物体进行三维重建。通过上述方法，能够通过根据特征，确定第一同名点和第二同名点，提供丰富的同名点信息，生成良好的影像间几何约束关系，避免道路场景下纹理信息欠缺导致匹配失败。

A Method and Device for 3D Reconstruction Based on Crowdsourcing Image

【技术实现步骤摘要】
一种基于众包影像的三维重建的方法和装置
本申请涉及高精度地图领域，尤其涉及一种基于众包影像的三维重建方法及装置。
技术介绍
目前，高精度地图作为智能汽车的大脑，提供车道、坡度、曲率、航向等方面的信息，提前对道路和周边环境进行预判，是自动驾驶过程中必不可少的一环。进一步的，在对高精度地图的更新过程中，通常采用行车记录仪、网络信息、用户上报信息、卫星航片等众包信息，经过数据的处理、分析和挖掘来更新高精度地图。但是，现有技术中，众包影像数据来源广泛，影像质量参差不齐，大量纹理弱的道路不易形成特征，即使影像间有大量重叠也很难找到正确匹配点，从而导致匹配失败，进而无法准确的更新高精度地图。
技术实现思路
有鉴于此，本申请实施例提供一种基于众包影像的三维重建的方法及装置，相比于现有的通过众包影像的地图更新方式，能够通过每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点和第二同名点，提供丰富的同名点信息，有助于影像间良好几何约束关系的生成，克服了道路场景下纹理信息欠缺导致匹配失败的问题。为解决上述技术问题，本申请实施例公开一种基于众包影像的三维重建的方法，该方法包括：获取携带有目标物体信息以及影像采集位置信息的众包影像；根据所述目标物体信息以及影像采集位置信息，对所获取的众包影像进行分类，确定每个所述目标物体信息所对应的众包影像集；针对每个所述目标物体信息所对应的众包影像集，提取该众包影像集内每张众包影像的特征；根据每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点和第二同名点；根据所确定出的每两张众包影像中目标物体内的第一同名点以及第二同名点，对目标物体进行三维重建。为了实现上述基于众包影像的三维重建的方法，本申请实施例公开一种基于众包影像的三维重建的装置，该装置包括：存储设备，用于存储程序数据；处理器，用于执行所述存储设备中的程序数据以实现基于众包影像的三维重建方法。另外，本申请实施例公开一种存储设备，其上存储有程序数据，其特征在于，所述程序数据用于被处理器执行时实现基于众包影像的三维重建方法。本申请实施例公开一种基于众包影像的三维重建的方法及装置，该方法能够产生以下有益效果：相比于现有的通过众包影像的地图更新方式，能够通过根据每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点和第二同名点，提供丰富的同名点信息，有助于影像间良好几何约束关系的生成，克服了道路场景下纹理信息欠缺导致匹配失败的问题。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本申请实施例提供的基于众包影像的三维重建的过程；图2为本申请实施例提供的众包影像分类过程；图3为本申请实施例提供的评定三维重建出的目标物体的模型的精度的实施方式；图4为本申请实施例提供的基于众包影像的三维重建的装置结构示意图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图1为本申请实施例提供的基于众包影像的三维重建的过程，具体包括以下步骤：S101：获取携带有目标物体信息以及影像采集位置信息的众包影像。在实际应用中，由于众包影像是通过行驶车辆自动采集并上传的，而想要基于众包影像对目标物体进行三维重建，首先需要确定哪些众包影像里包含了目标物体，因此，在本申请中，在车辆自动采集并上传的众包影像中确定哪些众包影像包含了目标物体信息，具体是通过图像识别算法在上传的众包影像中确定哪些众包影像包含了目标物体信息。在此需要说明的是，目标物体不同，通过图像识别算法识别出的目标物体信息各不相同，也就是说，通过图像识别算法识别出的目标物体信息取决于目标物体的类型，以目标物体为交通标志牌为例，通过图像识别算法识别出的交通标志牌信息包括标牌区域多边形点串坐标(单位：像素)、标牌主成分颜色以及标牌中的文字内容。进一步的，当通过图像识别算法识别出携带有目标物体信息的众包影像后，由于本申请在基于众包影像的三维重建对目标物体进行三维重建时所使用的就是携带有目标物体信息的众包影像，因此，在本申请中，首先需要获取携带有目标物体信息的众包影像。S102：根据所述目标物体信息以及影像采集位置信息，对所获取的众包影像进行分类，确定每个所述目标物体信息所对应的众包影像集。进一步的，在获取到携带有目标物体信息的众包影像后，需要对所获取的众包影像进行分类，确定每个目标物体信息所对应的众包影像集，也就是说，将携带有的目标物体信息相同的众包影像分类到一起，这样每个不同的目标物体均对应一个众包影像集。进一步的，本申请提供了一种根据目标物体信息以及影像采集位置信息，对所获取的众包影像进行分类，确定每个目标物体信息所对应的众包影像集的实施方式，具体如下：根据众包影像的影像采集位置信息，确定众包影像对应的轨迹，根据众包影像对应的轨迹与电子地图中的道路进行匹配，确定所述轨迹对应的道路，根据众包影像中包含的影像采集位置信息，确定众包影像中的目标物体的位置，确定目标物体的位置在道路方向上前后左右预设范围的区域中所包含的所有众包影像为目标物体对应的众包影像集，根据目标物体信息中的语义信息，对众包影像集内的所有众包影像进行筛选。在此需要说明的是，确定众包影像中的目标物体的位置还可以根据众包上传的数据中包含的车辆与标牌之间的距离，通过坐标换算出标牌的精确位置，以该位置为中心，选取其前后左右一段区域内所有轨迹点对应的影像作为场景。在此还需要说明的是，由于该实施方式需要基于影像采集位置信息，因此，在本申请的步骤S101中，所获取的众包影像中除了携带有目标物体信息，还携带有影像采集位置信息，该影像采集位置信息指的是众包影像拍摄时刻拍摄中心的影像采集位置信息，如，全球卫星导航系统的定位信息。另外，在本申请中，该众包影像的语义信息可以根据实际目标物体的种类而定，假设实际目标物体为交通标志牌，则目标物体信息中的语义信息为交通标志牌颜色信息以及交通标志牌中的文字内容，另外，目标物体信息中的语义信息也可以是同一位置的标牌个数以及标牌左右关系。S103：针对每个所述目标物体信息所对应的众包影像集，提取该众包影像集内每张众包影像的特征。进一步的，在对所获取的众包影像进行分类，确定每个目标物体信息所对应的众包影像集后，每个众包影像集就均包含了同一个目标物体信息，后续，需要根据众包影像集中包含的目标物体信息进行三维重建。而根据众包影像集中包含的目标物体信息进行三维重建首先需要针对每个目标物体信息所对应的众包影像集，提取该众包影像集内每张众包影像的特征。在此需要说明的是，在本申请中，具体是通过特征检测算法，提取该众包影像集内每张众包影像的特征，如，采用Shi-Tomasi算法提取每张众包影像的特征作为跟踪点，Shi-Tomasi算法是Harris算法的改进，提取的特征稳定性好。在此还需要说明的是，由于角点特征更易被精确提取，后续执行步骤S104确定每两张本文档来自技高网...

【技术保护点】
1.一种基于众包影像的三维重建方法，其特征在于，包括：获取携带有目标物体信息以及影像采集位置信息的众包影像；根据所述目标物体信息以及影像采集位置信息，对所获取的众包影像进行分类，确定每个所述目标物体信息所对应的众包影像集；针对每个所述目标物体信息所对应的众包影像集，提取该众包影像集内每张众包影像的特征；根据每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点和第二同名点；根据所确定出的每两张众包影像中目标物体内的第一同名点以及第二同名点，对目标物体进行三维重建。

【技术特征摘要】
1.一种基于众包影像的三维重建方法，其特征在于，包括：获取携带有目标物体信息以及影像采集位置信息的众包影像；根据所述目标物体信息以及影像采集位置信息，对所获取的众包影像进行分类，确定每个所述目标物体信息所对应的众包影像集；针对每个所述目标物体信息所对应的众包影像集，提取该众包影像集内每张众包影像的特征；根据每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点和第二同名点；根据所确定出的每两张众包影像中目标物体内的第一同名点以及第二同名点，对目标物体进行三维重建。2.如权利要求1所述的方法，其特征在于，根据所确定出的每两张众包影像中目标物体内的第一同名点以及第二同名点，对目标物体进行三维重建，具体包括：根据所确定的每两张众包影像中目标物体内的第一同名点，通过运动恢复结构确定众包影像集内每张众包影像的初始位置姿态参数；根据每张众包影像的初始位置姿态参数，通过前方交会确定众包影像中目标物体内第一同名点的初始物方坐标；根据所确定出的第二同名点、每张众包影像的初始位置姿态参数以及所确定的众包影像中目标物体内第一同名点的初始物方坐标，对目标物体进行三维重建。3.如权利要求1所述的方法，其特征在于，根据所述目标物体信息以及影像采集位置信息，对所获取的众包影像进行分类，确定每个所述目标物体信息所对应的众包影像集，具体包括：根据众包影像的影像采集位置信息，确定众包影像对应的轨迹；根据众包影像对应的轨迹与电子地图中的道路进行匹配，确定所述轨迹对应的道路；根据众包影像中包含的影像采集位置信息，确定众包影像中的目标物体的位置；确定目标物体的位置在道路方向上前后左右预设范围的区域中所包含的所有众包影像为目标物体对应的众包影像集；根据目标物体信息中的语义信息，对众包影像集内的所有众包影像进行筛选。4.如权利要求1所述的方法，其特征在于，提取该众包影像集内每张众包影像的特征，具体包括：通过特征检测算法，提取该众包影像集内每张众包影像的角点特征。5.如权利要求1所述的方法，其特征在于，根据每张众包影像的特征，确定每两张众包影像中目标物体内的第一同名点，具体包括：选取任意一张众包影像的影像，截取影像内携带有目标物体的区域；根据所截取携带有目标物体的区域，制作形状匹配模板；根据所述形状匹配模板，对剩余的每张众包影像进行匹配...

【专利技术属性】
技术研发人员：范争光，付兵杰，宋向勃，李鹏航，魏涛，闫春利，
申请(专利权)人：北京四维图新科技股份有限公司，
类型：发明
国别省市：北京,11