一种图像处理的方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种图像处理的方法、装置、电子设备及存储介质，涉及计算机视觉领域。具体实现方案为：获取待建模图像帧集合中的每个待建模图像帧中的特征点的匹配关联关系，待建模图像帧集合中的多个待建模图像帧属于至少两个不同的待建模图像序列；根据匹配关联关系，确定每个待建模图像帧的第一特征点集合，其中第一特征点集合包括第一特征点，该第一特征点与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配；以及根据每个待建模图像帧中第一特征点集合中的第一特征点的数目，从待建模图像帧集合中选择待建模图像帧以用于三维重建。

【技术实现步骤摘要】
一种图像处理的方法、装置、电子设备及存储介质
本申请涉及图像处理领域，具体而言，涉及计算机视觉技术。
技术介绍
随着技术的发展，各类数码相机和摄像机以及手机等数字产品已经成为人们生活的必需品，人们可以方便地获取影像数据。影像不仅是一种大众化的娱乐媒介，更是一种历史风貌、环境变迁、场景描述的真实再现，因此，可以说图像是表达现实世界的有效载体。随着智能制造、人工智能、辅助驾驶等技术的发展，人们迫切需要充分挖掘图像中包含的三维几何信息，从而利用图像来真实还原现实世界。而在众多影像数据中，视频是一类重要的信息源，不仅具有一般图像、影像的特征，还具有时间属性等，因此，从视频数据中有效提取对象三维信息以进行三维重建的技术有着巨大的市场需求。
技术实现思路
本公开提供了一种图像处理的方法、装置、设备以及存储介质，解决跨时间、跨相机导致图像关联度低而无法三维重建的问题。根据本公开的第一方面，提供了一种图像处理的方法，包括：获取待建模图像帧集合中的每个待建模图像帧中的特征点的匹配关联关系，待建模图像帧集合中的多个待建模图像帧属于至少两个不同的待建模图像序列；根据匹配关联关系，确定每个待建模图像帧的第一特征点集合，其中第一特征点集合包括第一特征点，该第一特征点与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配；以及根据每个待建模图像帧中第一特征点集合中的第一特征点的数目，从待建模图像帧集合中选择待建模图像帧以用于三维重建。根据本公开的第二方面，提供了一种图像处理的装置，包括：匹配关联关系获取模块，用于获取待建模图像帧集合中的每个待建模图像帧中的特征点的匹配关联关系，待建模图像帧集合中的多个待建模图像帧属于至少两个不同的待建模图像序列；特征点集合确定模块，用于根据匹配关联关系确定每个待建模图像帧的第一特征点集合，其中第一特征点集合包括第一特征点，该第一特征点与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配；以及重建模块，用于根据每个待建模图像帧中第一特征点集合中的第一特征点的数目从待建模图像帧集合中选择待建模图像帧以用于三维重建。根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被所述至少一个处理器执行的指令，指令被所述一个处理器执行，以使至少一个处理器能够执行根据本公开的第一方面的方法。根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，计算机指令用于使计算机执行根据本公开的第一方面的方法。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明结合附图并参考以下详细说明，本公开的上述以及其它目的、特征和优势将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；图2示出了根据本公开的一些实施例的图像处理的方法的流程图；图3示出了根据本公开的一些实施例的特征点的匹配关联关系的示意图；图4示出了根据本公开的一些实施例的用于选择待建模图像帧以用于三维重建的方法的流程图；图5示出了根据本公开的一些实施例的用于选择待建模图像帧以用于三维重建的方法的流程图；图6示出了根据本公开的一些实施例的用于选择待建模图像帧以用于三维重建的方法的流程图；图7示出了根据本公开实施例的图像处理的装置的示意性框图；以及图8示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。如本文所使用的，术语“采集实体”可以但不限于是驾驶系统。驾驶系统可以包括自动驾驶系统和/或非自动驾驶系统。在下文中，以采集车为例来讨论本公开的实施例，然而应当理解，本公开的方案也可以被类似地应用于其他类型的采集实体。如以上提及的，利用视频图像来真实还原现实世界(即，三维重建)对于智能制造、人工智能、辅助驾驶等技术的发展而言是很重要的。基于视频序列的三维重建可有效恢复对象的三维模型，从而方便进一步获取对象的相关信息。现有的三维重建，一般是通过SFM(structurefrommotion，运动恢复结构)技术来实现三维场景重建。重建过程一般为：先获取待重建场景对应的多幅二维图像，然后对所有二维图像进行特征提取、特征匹配等操作，确定二维图像中的二维图像点与三维图像点之间的匹配关系，最后，根据各匹配关系，建立该场景的三维图像。例如，在辅助驾驶中，利用车辆行驶过程中拍摄的图像可以重建车辆行驶过程中所经过的场景中的具有显著特征变化的像素点，即特征点(例如，道路中的路牌、树木等)，从而反推出车辆与这些特征点之间的相对关系以进行辅助驾驶。视频数据的特点是相邻图像重叠度高，一方面可为重建提供丰富的信息，但同时也带来重建效率较低的问题。传统的重建方法大都将整个视频数据纳入重建的流程，这不仅影响重建效率，同时也会降低重建的精度。另外，当使用异构相机或者使用同一相机在不同时间对待重建场景进行采集时，由于光照、时间、季节、运动物体、相机参数等不稳定因素使得在相同的图像序列中的图像帧中存在匹配关系的特征点的数量很多，而在不同的图像序列中的图像帧之间存在匹配关系的特征点的数量较少，因此在进行三维建模时不同的图像序列无法融合在一起。根据本公开的实施例，提出了一种图像处理的方案。根据该方案，当待建模图像帧来源于不同的图像序列时，针对待建模图像帧集合中的每个待建模图像帧，根据该待建模图像帧中的特征点的匹配关联关系将特征点分为两类，一类是与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配的特征点(以下称为“第一特征点”)，一类是仅与相同待建模图像序列中的待建模图像帧中的相应特征点相匹配的特征点(以下称为“第二特征点”)，进而根据“第一特征点”的数目来从待建模图像帧集合中选择待建模图像帧以用于三维重建。通过采用上述基于匹配关联关系的三维重建方法，能够在三维重建时过滤掉一部分同序列内匹配的“第二特征点”，优先使用跨序列匹配的“第一特征点”，以使得“第一特征点”与“第二特征点”的数量相均衡。以此方式，有效地提高了重建效率，并且避免了采用跨序列图像帧的三维重建失败，提高了成功重建本文档来自技高网...

【技术保护点】
1.一种图像处理的方法，包括：/n获取待建模图像帧集合中的每个待建模图像帧中的特征点的匹配关联关系，所述待建模图像帧集合中的多个待建模图像帧属于至少两个不同的待建模图像序列；/n根据所述匹配关联关系，确定每个所述待建模图像帧的第一特征点集合，其中所述第一特征点集合包括第一特征点，所述第一特征点与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配；以及/n根据每个所述待建模图像帧中第一特征点集合中的所述第一特征点的数目，从所述待建模图像帧集合中选择待建模图像帧以用于三维重建。/n

【技术特征摘要】
1.一种图像处理的方法，包括：
获取待建模图像帧集合中的每个待建模图像帧中的特征点的匹配关联关系，所述待建模图像帧集合中的多个待建模图像帧属于至少两个不同的待建模图像序列；
根据所述匹配关联关系，确定每个所述待建模图像帧的第一特征点集合，其中所述第一特征点集合包括第一特征点，所述第一特征点与不同待建模图像序列中的待建模图像帧中的相应特征点相匹配；以及
根据每个所述待建模图像帧中第一特征点集合中的所述第一特征点的数目，从所述待建模图像帧集合中选择待建模图像帧以用于三维重建。


2.根据权利要求1所述的方法，还包括：
根据所述匹配关联关系，确定每个所述待建模图像帧的第二特征点集合，其中所述第二特征点集合包括第二特征点，所述第二特征点仅与相同待建模图像序列中的待建模图像帧中的相应特征点相匹配。


3.根据权利要求2所述的方法，其中根据所述数目，从所述待建模图像帧集合中选择待建模图像帧以用于三维重建包括：
确定待建模图像帧的所述数目大于第一阈值；
选择所述待建模图像帧进行三维重建，其中使用所述待建模图像帧的所述第一特征点集合中的所有所述第一特征点进行三维重建；以及
响应于使用所述待建模图像帧进行所述三维重建成功，从所述待建模图像帧集合中移除所述待建模图像帧。


4.根据权利要求3所述的方法，还包括：
确定待建模图像帧的所述数目大于第二阈值并且所述待建模图像帧的邻近图像帧已经用于三维重建，其中所述第二阈值小于所述第一阈值；
选择所述待建模图像帧进行三维重建，其中使用所述第一特征点集合中的所有所述第一特征点以及所述第二特征点集合中的部分所述第二特征点进行三维重建；以及
响应于所述三维重建成功，从所述待建模图像帧集合中移除所述待建模图像帧。


5.根据权利要求4所述的方法，还包括：
在所述第二特征点集合中随机选择部分所述第二特征点进行三维重建，其中所选择的所述第二特征点的数目小于所述第一特征点集合中的第一特征点的数目。


6.根据权利要求4所述的方法，还包括：
在所述待建模图像帧集合的剩余的待建模图像帧中确定待建模图像帧的邻近图像帧已经用于三维重建；
选择所述待建模图像帧进行三维重建，其中使用所述待建模图像帧的所述第一特征点集合中的所有所述第一特征点以及所述第二特征点集合中的所有所述第二特征点进行三维重建；以及
响应于所述三维重建成功，从所述待建模图像帧集合中移除所述待建模图像帧。


7.根据权利要求4或6所述的方法，还包括：
确定所述待建模图像帧的邻近图像帧未用于三维重建，在所述待建模图像帧集合中保留所述待建模图像帧。


8.根据权利要求4或6所述的方法，其中，确定所述待建模图像帧的邻近图像帧已经用于三维重建包括：
确定所述待建模图像帧与已经用于三维重建的图像帧之间的帧号之差小于第三阈值。


9.一种图像处理的装置，包括：
匹配关联关系获取模块，用于获取待建模图像帧集合中的每个待建模图像帧中的特征点的匹配关联关系，所述待建模图像帧集合中的多个待建模图像帧属于至少两个不同的待建模图像序列；
第一特征点集合确定模块，用于根据所述匹配关联关系确定每个所述待建模图像帧的第一特征点集合，其中所述第一特征点集合包括第一特征点，所述第一特征点与不同待建模图像序列中的待建模图像帧中的相...

【专利技术属性】
技术研发人员：姚萌，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11