生成深度图的方法、装置、电子设备和可读存储介质制造方法及图纸

本公开提供了一种生成深度图的方法、装置、电子设备和可读存储介质，涉及图像处理、计算机视觉和深度学习等人工智能技术领域，可应用于3D视觉、虚拟/增强现实等场景。生成深度图的方法包括：获取参考图像与源图像，所述参考图像与所述源图像对应同一场景下的不同视角；将所述参考图像中的参考像素块与所述源图像中的候选源像素块进行匹配，在匹配过程中对所述参考像素块的大小进行调整，确定所述源图像中与所述参考像素块对应的目标源像素块；根据所述参考像素块及其对应的目标源像素块，生成所述参考图像的深度图。本公开能够提升像素块的匹配准确性，进而提升所生成的深度图的准确性。性。性。

【技术实现步骤摘要】
生成深度图的方法、装置、电子设备和可读存储介质


[0001]本公开涉及人工智能
，具体涉及图像处理、计算机视觉和深度学习等
，可应用于3D视觉、虚拟/增强现实等场景。提供了一种生成深度图的方法、装置、电子设备和可读存储介质。

技术介绍

[0002]随着计算机视觉的发展，基于二维彩色图像处理的传统计算机视觉技术已无法满足人们将计算机视觉应用于三维物理世界中的需求。深度图作为可以直接反映物体距离信息的图像，得到了越来越多的应用。

技术实现思路

[0003]根据本公开的第一方面，提供了一种生成深度图的方法，包括：获取参考图像与源图像，所述参考图像与所述源图像对应同一场景下的不同视角；将所述参考图像中的参考像素块与所述源图像中的候选源像素块进行匹配，在匹配过程中对所述参考像素块的大小进行调整，确定所述源图像中与所述参考像素块对应的目标源像素块；根据所述参考像素块及其对应的目标源像素块，生成所述参考图像的深度图。
[0004]根据本公开的第二方面，提供了一种生成深度图的装置，包括：获取单元，用于获取参考图像与源图像，所述参考图像与所述源图像对应同一场景下的不同视角；匹配单元，用于将所述参考图像中的参考像素块与所述源图像中的候选源像素块进行匹配，在匹配过程中对所述参考像素块的大小进行调整，确定所述源图像中与所述参考像素块对应的目标源像素块；第一生成单元，用于根据所述参考像素块及其对应的目标源像素块，生成所述参考图像的深度图。
[0005]根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
[0006]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。
[0007]根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。
[0008]由以上技术方案可以看出，本公开通过在匹配过程中对参考像素块的大小进行调整的方式，实现像素块之间的匹配，能够提升像素块的匹配速度与匹配效率，进而提升在生成深度图时的生成速度与生成效率。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0011]图1是根据本公开第一实施例的示意图；
[0012]图2是根据本公开第二实施例的示意图；
[0013]图3是根据本公开第三实施例的示意图；
[0014]图4是根据本公开第四实施例的示意图；
[0015]图5是用来实现本公开实施例的生成深度图的方法的电子设备的框图。
具体实施方式
[0016]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和机构的描述。
[0017]图1是根据本公开第一实施例的示意图。如图1所示，本实施例的生成深度图的方法，具体包括如下步骤：
[0018]S101、获取参考图像与源图像，所述参考图像与所述源图像对应同一场景下的不同视角；
[0019]S102、将所述参考图像中的参考像素块与所述源图像中的候选源像素块进行匹配，在匹配过程中对所述参考像素块的大小进行调整，确定所述源图像中与所述参考像素块对应的目标源像素块；
[0020]S103、根据所述参考像素块及其对应的目标源像素块，生成所述参考图像的深度图。
[0021]本实施例的生成深度图的方法，在获取同一场景下对应不同视角的参考图像与源图像之后，将参考图像中的参考像素块与源图像中的源像素块进行匹配，确定源图像中与参考像素块对应的目标源像素块，再根据参考像素块及其对应的目标源像素块，生成参考图像的深度图，本实施例通过在匹配过程中对参考像素块的大小进行调整的方式，来实现像素块之间的匹配，能够提升像素块的匹配准确地，进而提升所生成的深度图的准确性。
[0022]本实施例在执行S101获取参考图像与源图像时，可以首先获取相机在同一场景下所拍摄的不同视角的多张图像，然后再从多张图像中选取一张作为参考图像，选取另一张作为源图像。
[0023]举例来说，若相机针对场景1所拍摄的不同视角的图像为图像1与图像2，本实施例可以将图像1作为参考图像，将图像2作为源图像，生成图像1的深度图；然后将图像2作为参考图像，将图像1作为源图像，生成图像2的深度图。
[0024]本实施例在执行S101获取参考图像与源图像之后，执行S102将参考图像中的参考像素块与源图像中的候选源像素块进行匹配，在匹配过程中对参考像素块的大小进行调整，确定源图像中与参考像素块对应的目标源像素块。
[0025]在本实施例中，参考图像所包含的像素为参考像素，源图像所包含的像素为源像素；将参考图像中与参考像素对应的像素块作为参考像素块，将源图像中与源像素对应的像素块作为源像素块；其中，本实施例中的每个像素块与图像中的不同像素相对应。
[0026]具体地，本实施例在执行S102将参考图像中的参考像素块与源图像中的源像素块进行匹配时，可以采用的可选实现方式为：按照预设的像素块大小，将参考图像划分为多个参考像素块，将源图像划分为多个源像素块，预设的像素块大小可以为n
×
n(即每个像素块中包含n
×
n个像素，n为大于1等于1的正整数)；从多个源像素块中选取与参考像素块对应的候选源像素块；将参考像素块及其对应的候选源像素块进行匹配。
[0027]可以理解的是，本实施例所选取的与参考像素块对应的候选源像素块通常为多个，由于一次匹配过程仅能够完成参考像素块与一个候选源像素块之间的匹配，因此本实施例在执行S102时会进行多次匹配过程。
[0028]本实施例在执行S102从多个源像素块中选取与参考像素块对应的候选源像素块时，可以采用的可选实现方式为：确定参考图像中与参考像素块对应的目标参考像素；从源图像中选取与所确定的目标参考像素对应的源像素块，作为与参考像素块对应的候选源像素块。
[0029]也就是说，本实施例根据参考像素块对应的目标参考像素来确定候选源像素块，由于参考像素与源像素块之间存在对应关系，因此本实施例能够提升候选源像素块的选取准确性与选取速度。
[0030]本实施例在执行S102确定参考图像中与参考像素块对应的目标参考像素时，可以将参考图像中位于参考像素块中预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种生成深度图的方法，包括：获取参考图像与源图像，所述参考图像与所述源图像对应同一场景下的不同视角；将所述参考图像中的参考像素块与所述源图像中的候选源像素块进行匹配，在匹配过程中对所述参考像素块的大小进行调整，确定所述源图像中与所述参考像素块对应的目标源像素块；根据所述参考像素块及其对应的目标源像素块，生成所述参考图像的深度图。2.根据权利要求1所述的方法，其中，所述将所述参考图像中的参考像素块与所述源图像中的候选源像素块进行匹配包括：按照预设的像素块大小，将所述参考图像划分为多个参考像素块，将所述源图像划分为多个源像素块；从多个源像素块中选取与所述参考像素块对应的候选源像素块；将所述参考像素块及其对应的候选源像素块进行匹配。3.根据权利要求2所述的方法，其中，所述从多个源像素块中选取与所述参考像素块对应的候选源像素块包括：确定所述参考图像中与所述参考像素块对应的目标参考像素；从所述源图像中选取与所述目标参考像素对应的源像素块，作为与所述参考像素块对应的候选源像素块。4.根据权利要求1
‑
3中任一项所述的方法，其中，所述在匹配过程中对所述参考像素块的大小进行调整包括：获取所述参考像素块与本次匹配过程中的候选源像素块在水平方向与竖直方向上的匹配程度；将匹配程度满足预设要求的方向，作为目标方向；对所述参考像素块在所述目标方向上的长度进行调整。5.根据权利要求4所述的方法，其中，所述对所述参考像素块在所述目标方向上的长度进行调整包括：在确定调整之后的参考像素块在所述目标方向上的长度位于预设长度范围的情况下，对所述参考像素块在目标方向上的长度进行调整。6.根据权利要求1
‑
5中任一项所述的方法，其中，所述确定所述源图像中与所述参考像素块对应的目标源像素块包括：将匹配过程中与所述参考像素块具有最高匹配程度的候选源像素块，作为第一源像素块；在所述源图像中选取与所述第一源像素块对应的第二源像素块；在确定所述参考像素块与所述第二源像素块具有更高匹配程度的情况下，将所述第二源像素块作为所述目标源像素块，否则将所述第一源像素块作为所述目标源像素块。7.根据权利要求1
‑
6中任一项所述的方法，其中，所述根据所述参考像素块及其对应的目标源像素块，生成所述参考图像的深度图包括：获取与所述目标源像素块对应的源像素在所述源图像中的第一位置信息，获取与所述参考像素块对应的参考像素在所述参考图像中的第二位置信息；根据所述第一位置信息与所述第二位置信息，得到所述参考像素的偏移量；
基于所述参考像素的偏移量，生成所述参考图像的深度图。8.根据权利要求1
‑
7中任一项所述的方法，还包括，在生成所述参考图像的深度图之后，获取多张参考图像的深度图；将不同深度图中相同像素的深度信息进行融合，得到每个像素的深度融合结果；在去除深度融合结果超过预设深度阈值的像素之后，根据剩余像素的深度信息生成三维点云。9.一种生成深度图的装置，包括：获取单元，用于获取参考图像与源图像，所述参考图像与所述源图像对应同一场景下的不同视角；匹配单元，用于将所述参考图像中的参考像素块与所述源图像中的候选源像素块进行匹配，在匹配过程中对所述参考像素块的大小进行调整，确定所述源图像中与所述参考像素块对应的目标源像素块；第一生成单元，用于根据所述参考像素块及其对应的目标源像素块，生成所述参考图像的深度图。10.根据权利要求...

【专利技术属性】
技术研发人员：陈曲，叶晓青，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：