景深图像重聚焦制造技术

一种图像处理设备，包括处理器，所述处理器用于通过以下步骤根据输入图像和指示所述图像的深度信息的图生成重聚焦图像：对于与所述图像内相应深度关联的多个平面中的每个平面：生成深度掩码，所述深度掩码的值指示所述输入图像的区域是否在所述平面的指定范围内，其中，通过评估所述输入图像的区域与根据所述图确定的所述平面之间的范围的可微函数来评估区域是否在所述平面的所述指定范围内；根据所述输入图像和所述生成的深度掩码生成掩码图像；使用模糊核重聚焦所述掩码图像以生成重聚焦的分图像；根据所述多个重聚焦的分图像生成所述重聚焦图像。

【技术实现步骤摘要】
【国外来华专利技术】景深图像重聚焦
本专利技术涉及执行图像重聚焦。一些方面涉及训练执行输入图像的重聚焦的图像处理模型。
技术介绍
图像的景深(depthoffield，DOF)是指所有对象都清晰(对焦)的深度范围。例如，浅DOF图像可用于将对象与其背景分离，通常用于人像和微距摄影。图像的景深部分取决于用于捕获图像的设备的孔径大小。因此，一些具有窄孔径的图像处理设备(如智能手机)通常无法光学呈现浅景深图像，而是基本上捕获全焦图像。然而，通过合适的数字图像处理技术，可以通过重聚焦数字图像来模拟或合成浅景深效果。一些以计算方式重聚焦数字图像的方法利用了图像的深度信息。图1示出了如何以计算方式重聚焦输入数字图像的示例。图1示出了全焦图像101。103处示出了包含图像101的深度信息的图。在该示例中，图是视差图，但在其它示例中，它可以是深度图。视差图对表示公共场景的一对(通常是立体)图像的块之间的空间移位进行编码。当所述一对图像由两个空间分离的摄像机捕获时，场景中的一个点投影到每个图像内的不同块位置。这些不同块位置之间的坐标移位是视差。因此，视差图中的每个块对一对图像表示的场景的一部分之间的空间移位进行编码。视差图的块对一对图像中一个图像中的并置块表示的场景的一部分与一对图像中另一个图像表示的场景的所述一部分之间的坐标移位进行编码。视差图的所述块的视差值表示校正图像域中的坐标移位。块是指图的一个或多个像素的块。与距离图像平面深度较浅的场景部分相比，距离图像平面深度较深的场景部分在一对图像之间的块位移相对较小。因此，视差图的值通常与对应深度图的深度值成反比。根据输入图像101和图103，重聚焦图像105和107可以通过以计算方式重聚焦图像101来生成。在图像105中，背景通过重聚焦而模糊，前景保持聚焦；在图像107中，前景通过重聚焦而模糊，背景保持聚焦。
技术实现思路

技术实现思路
介绍了一些概念，在具体实施方式中会进一步描述这些概念。
技术实现思路
并非旨在确定所要求保护的主题的关键特征或必要特征，也并非旨在用于限制所要求保护的主题的范围。根据一个方面，提供了一种图像处理设备，包括处理器，所述处理器用于通过以下步骤根据输入图像和指示所述输入图像的深度信息的图生成重聚焦图像：对于与所述图像内相应深度关联的多个平面中的每个平面：生成深度掩码，所述深度掩码的值指示所述输入图像的区域是否在所述平面的指定范围内，其中，通过评估所述输入图像的区域与根据所述图确定的所述平面之间的范围的可微函数来评估区域是否在所述平面的所述指定范围内；根据所述输入图像和所述生成的深度掩码生成掩码图像；使用模糊核重聚焦所述掩码图像以生成重聚焦的分图像；根据所述多个重聚焦的分图像生成所述重聚焦图像。这使得可以执行可微的重聚焦步骤，从而允许重聚焦步骤作为可学习流水线内的层实现。多个平面可以定义深度范围，并且输入图像可以具有跨越多个平面的深度范围的景深。这可以使浅景深图像重聚焦。指示所述图像的深度信息的所述图可以是视差图，并且所述多个平面中的每个平面可以是处于相应视差值的平面；或者(ii)指示所述图像的深度信息的所述图可以是深度图，并且所述多个平面中的每个平面可以是处于相应深度处的平面。这使得可以在重聚焦阶段灵活使用深度图或视差图。所述函数可以在定义函数值范围的下界与上界之间平滑变化，当正在评估所述函数的图像区域在所述平面的所述指定范围内时，所述函数具有在其范围的前半部分内的值；当正在评估所述函数的图像区域不在所述平面的所述指定范围内时，所述函数具有在其范围的后半部分内的值。这使从计算函数返回的函数值能够指示图像的区域是否在平面的指定范围内。可以评估所述可微函数以评估是否满足的条件，其中，D(x)是在所述输入图像的块x处图像区域的视差图或深度图的值，d′是所述平面的所述视差或深度，a是孔径的大小，当满足所述条件时，确定图像区域在所述平面的所述指定范围内；当不满足所述条件时，确定所述图像区域不在所述平面的所述指定范围内。这提供了一个定量条件，以确定图像区域是否在平面的指定范围内。深度掩码可以为输入图像的一个或多个像素的每个块指定值。这允许评估图像的每个块，以确定块是否在平面的指定范围内。所述模糊核是半径为所述孔径大小，以及所述平面与焦平面之间的深度或视差差值的函数的径向核。这使得模糊取决于平面的深度。生成的掩码图像可以仅包含输入图像中确定在平面的指定范围内的那些区域。这使得每个平面的分图像可以相互在顶部层叠。根据第二方面，提供了一种训练图像处理模型的方法，所述方法包括：接收多个图像元组，每个图像元组包括表示公共场景的一对图像和所述场景的重聚焦的训练图像；对于每个图像元组：(i)使用所述图像处理模型处理所述一对图像，以估计指示所述场景的深度信息的图；(ii)对于与所述图像内相应深度关联的多个平面中的每个平面：生成深度掩码，所述深度掩码的值指示输入图像的区域是否在所述平面的指定范围内，其中，通过评估所述输入图像的区域与根据所述估计图确定的所述平面之间的范围的可微函数来评估区域是否在所述平面的所述指定范围内；根据所述输入图像和所述生成的深度掩码生成掩码图像；使用模糊核重聚焦所述掩码图像以生成重聚焦的分图像；(iii)根据所述多个重聚焦的分图像生成重聚焦图像；(iv)估计所述生成的重聚焦图像与所述重聚焦的训练图像之间的差异；(v)根据所述估计的差异调整所述图像处理模型。这提供了一种训练图像处理模型以生成可通过重聚焦学习的重聚焦图像的方法。所述生成图可以与所述一对图像的分辨率相同，并且所述输入图像是所述一对图像中的一个图像。这使得重聚焦阶段可以与深度估计阶段一起顺序执行，并且可以从重聚焦阶段生成全分辨率的重聚焦图像，而无需在该阶段中进行上采样。与所述一对图像相比，所述生成图可以具有降低的分辨率，并且所述输入图像形成为所述一对图像中的一个图像的分辨率降低图像。这使得重聚焦阶段的步骤可以对较少的图像块执行。生成所述重聚焦图像的所述步骤(iii)可以使用所述分辨率降低图执行，并且还可以包括以下步骤：根据所述多个重聚焦的分图像生成分辨率降低的重聚焦图像；对所述分辨率降低的重聚焦图像进行上采样以生成所述重聚焦图像。这使得可以生成全分辨率的重聚焦图像。根据第三方面，提供了一种调整图像处理模型的方法，所述方法包括：接收多个图像元组，每个图像元组包括表示公共场景的一对图像和所述场景的重聚焦的训练图像；对于每个图像元组：使用图像处理模型处理所述一对图像，包括：(i)使用计算神经网络处理所述一对图像，以从所述一对图像中提取特征；(ii)针对多个视差平面比较所述特征以生成成本量；(iii)根据所述成本量的相应上采样条带，为与所述图像内的相应深度关联的多个平面中的每个平面生成掩码；执行重聚焦阶段，包括：(iv)对于所述多个平面中的每个平面：根据本文档来自技高网...

【技术保护点】
1.一种图像处理设备，包括处理器，所述处理器用于通过以下步骤根据输入图像和指示所述输入图像的深度信息的图生成重聚焦图像：/n对于与所述图像内相应深度关联的多个平面中的每个平面：/n生成深度掩码，所述深度掩码的值指示所述输入图像的区域是否在所述平面的指定范围内，其中，通过评估所述输入图像的区域与根据所述图确定的所述平面之间的范围的可微函数来评估区域是否在所述平面的所述指定范围内；/n根据所述输入图像和所述生成的深度掩码生成掩码图像；/n使用模糊核重聚焦所述掩码图像以生成重聚焦的分图像；/n根据所述多个重聚焦的分图像生成所述重聚焦图像。/n

【技术特征摘要】
【国外来华专利技术】1.一种图像处理设备，包括处理器，所述处理器用于通过以下步骤根据输入图像和指示所述输入图像的深度信息的图生成重聚焦图像：
对于与所述图像内相应深度关联的多个平面中的每个平面：
生成深度掩码，所述深度掩码的值指示所述输入图像的区域是否在所述平面的指定范围内，其中，通过评估所述输入图像的区域与根据所述图确定的所述平面之间的范围的可微函数来评估区域是否在所述平面的所述指定范围内；
根据所述输入图像和所述生成的深度掩码生成掩码图像；
使用模糊核重聚焦所述掩码图像以生成重聚焦的分图像；
根据所述多个重聚焦的分图像生成所述重聚焦图像。


2.根据权利要求1所述的设备，其特征在于，所述多个平面定义深度范围，并且所述输入图像具有跨越所述多个平面的所述深度范围的景深。


3.根据权利要求1或2所述的设备，其特征在于：(i)指示所述图像的深度信息的所述图是视差图，并且所述多个平面中的每个平面是处于相应视差值的平面；或者(ii)指示所述图像的深度信息的所述图是深度图，并且所述多个平面中的每个平面是处于相应深度处的平面。


4.根据上述权利要求中任一项所述的设备，其特征在于，所述函数在定义函数值范围的下界与上界之间平滑变化，当正在评估所述函数的图像区域在所述平面的所述指定范围内时，所述函数具有在其范围的前半部分内的值；当正在评估所述函数的图像区域不在所述平面的所述指定范围内时，所述函数具有在其范围的后半部分内的值。


5.根据权利要求3或4所述的设备，其特征在于，评估所述可微函数以评估是否满足的条件，其中，D(x)是在所述输入图像的块x处图像区域的所述视差图或深度图的值，d′是所述平面的所述视差或深度，a是孔径的大小，当满足所述条件时，确定图像区域在所述平面的所述指定范围内；当不满足所述条件时，确定所述图像区域不在所述平面的所述指定范围内。


6.根据上述权利要求中任一项所述的方法，其特征在于，所述深度掩码为所述输入图像的一个或多个像素的每个块指定值。


7.根据上述权利要求中任一项所述的方法，其特征在于，所述模糊核是半径为所述孔径大小，以及所述平面与焦平面之间的深度或视差差值的函数的径向核。


8.根据上述权利要求中任一项所述的方法，其特征在于，所述生成的掩码图像仅包含所述输入图像中确定在所述平面的所述指定范围内的那些区域。


9.一种训练图像处理模型的方法，其特征在于，所述方法包括：
接收多个图像元组，每个图像元组包括表示公共场景的一对图像和所述场景的重聚焦的训练图像；
对于每个图像元组：
(i)使用所述图像处理模型处理所述一对图像，以估计指示所述场景的深度信息的图；
(ii)对于与所述图像内相应深度关联的多个平面中的每个...

【专利技术属性】
技术研发人员：本杰明·布萨姆，马蒂厄·奥格，史蒂文·乔治·麦克唐纳，格雷戈里·斯拉堡，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44