用于图像处理的方法、装置、设备以及存储介质制造方法及图纸

本申请公开了用于图像处理的方法、装置、设备以及存储介质，涉及计算机视觉、三维图像重建领域。具体实现方案为：提供了一种图像处理的方法，包括：获取图像序列集合，该图像序列集合包括多个图像序列；确定图像序列集合中的图像序列之间的第一相似度度量；基于第一相似度度量，将图像序列集合划分成一个或多个图像序列子集；以及在每个图像序列子集中，确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。通过本公开的实施例，能够减少三维图像重建中的计算量，提高计算效率，适用于自动驾驶领域。

Method, apparatus, apparatus and storage medium for image processing

【技术实现步骤摘要】
用于图像处理的方法、装置、设备以及存储介质
本公开总体上涉及计算机视觉技术，并且更具体地涉及三维图像重建中的图像处理技术。
技术介绍
三维图像的精确重建在诸多领域中发挥着重要的作用。为了从大量二维图像中准确重建出三维图像，需要对大量的二维图像进行特征匹配计算。特征匹配计算需要对不同图像之间的像素进行匹配，因此是一项计算量很大的、极为耗时和耗资源的过程。
技术实现思路
本公开提供了一种用于图像处理的方法、装置、设备以及存储介质。根据本公开的一方面，提供了一种图像处理的方法，包括：获取图像序列集合，该图像序列集合包括多个图像序列；确定图像序列集合中的图像序列之间的第一相似度度量；基于第一相似度度量，将图像序列集合划分成一个或多个图像序列子集；以及在每个图像序列子集中，确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。根据本公开的另一方面，提供了一种图像处理的装置，包括：图像序列集合获取模块，被配置为获取图像序列集合，该图像序列集合包括多个图像序列；相似度度量确定模块，被配置为确定图像序列集合中的图像序列之间的第一相似度度量；图像序列集合划分模块，被配置为基于第一相似度度量，将图像序列集合划分成一个或多个图像序列子集；以及图像关联度确定模块，被配置为在每个图像序列子集中，确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。根据本公开的又一方面，提供了一种电子设备，其特征在于，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开的一方面的方法。根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，该计算机指令用于使计算机执行根据本公开的一方面的方法。根据本申请的技术减少了三维图像重建中的计算量，提高了计算效率。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是本申请实施例能够在其中实现的示例环境的示意图；图2是根据本申请实施例的图像处理的方法的示意图；图3A是根据本申请实施例的图像序列集合的示意图；图3B是根据本申请实施例的多个图像序列子集的示意图；图4是根据本申请实施例的图像序列子集中的两个图像序列的示意图；图5是根据本申请实施例的将图像序列集合划分成一个或多个图像序列子集的方法的示意图；图6A是根据本申请实施例的图像序列集合的示意图；图6B是根据本申请实施例的图像序列集合的示意图；图7是根据本公开实施例的图像处理的装置的示意性框图；图8是用来实现本申请实施例的图像处理的方法的电子设备的框图；具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。三维图像的精确重建在诸多领域中发挥着重要的作用。例如，在自动驾驶领域，所重建的高精度三维地图可以有助于自动驾驶车辆的计算平台做出正确的驾驶决策、路线规划等。然而，为了实现从大量图像中准确重建出高精度的三维地图，需要对大量的图像进行特征匹配计算。特征匹配计算需要对不同图像之间的像素进行匹配，因此是一项计算量很大的、极为耗时和耗资源的过程。在进行特征匹配计算之前，确定图像之间的关联度可以有助于减少特征匹配的计算量，提高计算效率，因为可以只对关联的图像进行特征匹配。目前，在进行三维图像重建中的特征匹配之前，仅仅是根据采集的图像序列或视频的位置信息和采集时间对图像序列集合进行聚类，然后对聚类内的视频图像进行特征匹配计算。然而，通过这样的方式，所需的特征匹配的计算量仍然很大。根据本公开的实施例，提出了一种图像处理的方案。在该方案中，根据图像序列之间的相似度将包括图像序列集合的图像序列集合划分成一个或多个图像序列子集，然后在每个图像序列子集中确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。通过这种方式，可以有效地确定具有高关联度的图像，使得可以仅针对所确定的高关联度的图像进行后续的耗时耗资源的特征匹配计算，从而减少计算量、提高计算效率。图1是本申请实施例能够在其中实现的示例环境100的示意图。如图1所示，示例环境100包括图像处理设备110和图像获取设备120-1至120-3(统称为图像获取设备120)。图像获取设备120能够获取图像序列130-1至130-3(统称为图像序列130)并将图像序列130传输给图像处理设备110。图像处理设备110能够从图像序列130中确定图像之间的关联度。在一些实施例中，图像处理设备110可以是计算机、虚拟机、服务器等。图像获取设备120可以是相机、摄像机等。图像处理设备110和图像获取设备120之间可以通过网络彼此通信。网络可以是互联网、内联网等。应当理解，仅出于示例性的目的描述了示例环境100，而不暗示对于本公开的范围的任何限制。例如，本公开的实施例还可以被应用到与示例环境100不同的环境中。应当理解，上述各设备的具体数目仅出于说明性目的给出，而不暗示对本公开范围的任何限制。例如，本公开的实施例还可以被应用于更多的图像处理设备110、更多或更少的图像获取设备120。或者，本公开的实施例还可以将图像处理设备110和图像获取设备120集成在相同的设备中。图2是根据本申请实施例的图像处理的方法200的示意图。在一些实施例中，方法200可以在图1示出的图像处理设备110中实现。为了便于理解，在下文描述中提及的具体数据均是示例性的，并不用于限定本公开的保护范围。在S201，图像处理设备110可以获取图像序列集合，该图像序列集合包括多个图像序列。在一些实施例中，图像处理设备110可以从不同的图像获取设备120中获取图像序列集合。附加地或备选地，在另一些实施例中，图像处理设备110可以从相同的图像获取设备120中获取图像序列集合。附加地，在一些实施例中，图像获取设备120可以是车辆中的视觉信息采集设备，车辆的计算平台可以通过获取车辆的总线控制系统中的信息，控制车辆的视觉信息采集设备采集图像，并将经处理的图像序列传输给图像处理设备110。例如，车辆的计算平台可以通过获取车轮的转速信息，控制车辆的视频信息采集设备在车轮每转0.33圈时采集一幅图像，并将按时间顺序排列的图像序列传输给图像处理设备110。在一些实施例中，图像获取设备120可以在采集图像的同时记录图像被采集的地理位置信息，例如GPS信息，以及图像被采集的时间信息本文档来自技高网...

【技术保护点】
1.一种图像处理的方法，包括：/n获取图像序列集合，所述图像序列集合包括多个图像序列；/n确定所述图像序列集合中的图像序列之间的第一相似度度量；/n基于所述第一相似度度量，将所述图像序列集合划分成一个或多个图像序列子集；以及/n在每个所述图像序列子集中，确定一个图像序列中的图像与所述图像序列子集中其他图像序列中的图像的关联度。/n

【技术特征摘要】
1.一种图像处理的方法，包括：
获取图像序列集合，所述图像序列集合包括多个图像序列；
确定所述图像序列集合中的图像序列之间的第一相似度度量；
基于所述第一相似度度量，将所述图像序列集合划分成一个或多个图像序列子集；以及
在每个所述图像序列子集中，确定一个图像序列中的图像与所述图像序列子集中其他图像序列中的图像的关联度。


2.根据权利要求1所述的方法，其中，确定所述图像序列集合中的图像序列之间的所述第一相似度度量包括：
确定与所述图像序列集合中的每个图像相对应的特征向量；以及
基于所述特征向量，确定所述图像序列集合中的图像序列之间的所述第一相似度度量。


3.根据权利要求1所述的方法，其中，基于所述第一相似度度量将所述图像序列集合划分成所述一个或多个图像序列子集包括：
从所述图像序列集合中确定基础图像序列，其中与所述基础图像序列相对应的第二相似度度量高于等于与所述图像序列集合中其他图像序列相对应的第二相似度度量，其中所述第二相似度度量是基于所述第一相似度度量确定的；以及
将所述图像序列集合划分成所述一个或多个图像序列子集，以使每个所述图像序列子集包括所述基础图像序列和至少一个其他图像序列，其中所述基础图像序列和所述至少一个其他图像序列之间的所述第一相似度度量高于一阈值相似度度量。


4.根据权利要求3所述的方法，其中，将所述图像序列集合划分成所述一个或多个图像序列子集以使每个所述图像序列子集包括所述基础图像序列和至少一个其他图像序列包括：
调整所述一个或多个图像序列子集，其中所述调整基于以下准则中的至少一项：
每个所述图像序列子集包括预定数目的图像序列；以及
每个所述图像序列仅属于一个所述图像序列子集。


5.根据权利要求1所述的方法，还包括：
基于所述关联度，确定每个所述图像序列子集中的关联的图像；以及
计算所述关联的图像的特征匹配，以用于三维图像重建。


6.一种图像处理的装置，包括：
图像序列集合获取模块，被配置为获取图像序列集合，所述图像序列集合包括多个图像序列；
相似度度量确定模块，被配置为确定所述图像序列集合中的图像序列之间的第一相似度度量；
图像序列集合划分模块，被配置为基于所述第一相似度度量，将所述图像序列集合...

【专利技术属性】
技术研发人员：姚萌，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11