针对图像效果的分割制造技术

提供了用于进行前景图像分割的系统、方法和计算机可读介质。在一些示例中，一种方法可以包括：获得目标的第一图像和目标的第二图像，第一图像具有第一视场(FOV)，并且第二图像具有第二FOV；基于第一图像来确定第一分割图，该第一分割图识别第一图像中的第一估计前景区域；基于第二图像来确定第二分割图，该第二分割图识别第二图像中的第二估计前景区域；基于第一分割图和第二分割图来生成第三分割图；以及使用第二分割图和第三分割图生成细化分割掩模，该细化分割掩模将目标的至少一部分识别为第一图像和/或第二图像的前景区域。别为第一图像和/或第二图像的前景区域。别为第一图像和/或第二图像的前景区域。

【技术实现步骤摘要】
【国外来华专利技术】针对图像效果的分割


[0001]本公开总体上涉及图像处理，并且更具体地涉及针对图像效果的分割。

技术介绍

[0002]数码相机产品的增加的多功能性已经允许数码相机被集成到各种各样的设备中，并且已经将其用途扩展到不同的应用。例如，电话、无人机、汽车、计算机、电视和今天的许多其他设备经常配备有相机设备。相机设备允许用户从配备有相机设备的任何系统捕获图像和/或视频。图像和/或视频可以被捕获以用于娱乐使用、专业摄影、监视和自动化以及其他应用。此外，相机设备越来越多地配备有用于修改图像或在图像上创建艺术效果的特定功能。例如，许多相机设备配备有用于在捕获的图像上生成不同效果的图像处理能力。
[0003]许多图像处理技术依赖于图像分割算法来实现，该图像分割算法将图像划分成多个片段，这些片段可以被分析或处理以产生特定的图像效果。图像分割的一些示例实际应用包括但不限于色度键合成、特征提取、识别任务(例如，对象识别、面部识别等)、图像风格化、机器视觉、医学成像和景深(或“散景”)效果等。然而，相机设备和图像分割技术通常产生糟糕且不一致的结果，并且在许多情况下只适用于特定类型的图像。

技术实现思路

[0004]本文公开了用于准确的图像分割和图像效果的系统、方法和计算机可读介质。根据至少一个示例，提供了一种用于前景预测的方法。一种示例方法可以包括：获得目标的第一图像和目标的第二图像，第一图像具有第一视场(FOV)，并且第二图像具有不同于第一FOV的第二FOV；基于第一图像来确定第一分割图，该第一分割图包括与第一图像中的第一估计前景区域相关联的前景预测值；基于第二图像来确定第二分割图，该第二分割图包括与第二图像中的第二估计前景区域相关联的前景预测值；基于第一分割图和第二分割图来生成第三分割图；以及使用第二分割图和第三分割图生成细化分割掩模，该细化分割掩模将目标的至少一部分识别为第一图像和/或第二图像的前景区域。
[0005]根据至少一些示例，提供了一种用于前景预测的装置。在一个示例中，示例装置可以包括存储器和一个或多个处理器，该一个或多个处理器被配置为：获得目标的第一图像和目标的第二图像，第一图像具有第一视场(FOV)，并且第二图像具有不同于第一FOV的第二FOV；基于第一图像来确定第一分割图，该第一分割图包括与第一图像中的第一估计前景区域相关联的前景预测值；基于第二图像来确定第二分割图，该第二分割图包括与第二图像中的第二估计前景区域相关联的前景预测值；基于第一分割图和第二分割图来生成第三分割图；以及使用第二分割图和第三分割图生成细化分割掩模，该细化分割掩模将目标的至少一部分识别为第一图像和/或第二图像的前景区域。
[0006]根据至少一些示例，另一示例装置可以包括用于进行以下操作的单元：获得目标的第一图像和目标的第二图像，第一图像具有第一视场(FOV)，并且第二图像具有不同于第一FOV的第二FOV；基于第一图像来确定第一分割图，该第一分割图包括与第一图像中的第
一估计前景区域相关联的前景预测值；基于第二图像来确定第二分割图，该第二分割图包括与第二图像中的第二估计前景区域相关联的前景预测值；基于第一分割图和第二分割图来生成第三分割图；以及使用第二分割图和第三分割图生成细化分割掩模，该细化分割掩模将目标的至少一部分识别为第一图像和/或第二图像的前景区域
[0007]根据至少一个示例，提供了一种用于前景预测的非暂时性计算机可读介质。示例非暂时性计算机可读介质可以存储指令，该指令在由一个或多个处理器执行时，使一个或多个处理器进行以下操作：获得目标的第一图像和目标的第二图像，第一图像具有第一视场(FOV)，并且第二图像具有不同于第一FOV的第二FOV；基于第一图像来确定第一分割图，该第一分割图包括与第一图像中的第一估计前景区域相关联的前景预测值；基于第二图像来确定第二分割图，该第二分割图包括与第二图像中的第二估计前景区域相关联的前景预测值；基于第一分割图和第二分割图来生成第三分割图；以及使用第二分割图和第三分割图生成细化分割掩模，该细化分割掩模将目标的至少一部分识别为第一图像和/或第二图像的前景区域
[0008]在一些方面，上述方法、装置和非暂时性计算机可读介质可以包括：基于细化分割掩膜来生成经编辑的图像。在一些示例中，经编辑的图像可以是基于第一图像或第二图像的。在一些情况下，经编辑的图像可以包括视觉效果、扩展现实效果、图像处理效果、模糊效果、图像识别效果、分割效果、计算机图形效果、色度键控效果和/或图像风格化效果。在说明性示例中，经编辑的图像可以包括模糊效果。
[0009]在一些情况下，生成经编辑的图像可以包括：基于细化分割掩模将模糊效果应用于位于前景区域外部的一个或多个图像区域，其中，模糊效果包括景深效果，其中，一个或多个图像区域至少部分地被模糊并且前景区域至少部分地被聚焦。
[0010]在一些示例中，生成细化分割掩模可以包括：通过融合第二分割图和第三分割图来生成融合分割图；以及基于融合分割图来生成细化分割掩膜。在一些情况下，融合第二分割图和第三分割图可以包括对第二分割图中的前景预测值和第三分割图中的前景预测值进行平均。在一些示例中，融合分割图可以包括平均前景预测值。
[0011]在一些情况下，生成融合分割图可以包括融合第二分割图和第三分割图，以及将中心优先图与第二分割图和第三分割图的融合的输出相乘。
[0012]在一些情况下，可以从第一相机接收第一图像，并且可以从第二相机接收第二图像。在一些示例中，第一相机可以响应于可见光，并且第二相机可以响应于红外光。在一些情况下，上述装置可以包括第一相机和第二相机。在其他情况下，可以从同一相机接收第一图像和第二图像。在一些示例中，上述装置可以包括同一相机。
[0013]在一些方面，上述方法、装置和非暂时性计算机可读介质可以包括：基于第三图像来确定第四分割图，该第四分割图包括与第三图像中的第三估计前景区域相关联的前景值。在一些情况下，可以从第三相机接收第三图像。例如，可以从第一相机接收第一图像，可以从第二相机接收第二图像，并且可以从第三相机接收第三图像。
[0014]在一些示例中，上述装置可以被配置为响应于对成像模式(例如，人像模式(portrait mode)、绿色屏蔽等)的用户选择来生成分割掩模。
[0015]在一些方面，上述方法、装置和非暂时性计算机可读介质可以包括：针对第一图像和/或第二图像中的超像素(superpixel)计算前景概率，以及基于前景概率来生成中心优
先图。在一些情况下，每个前景概率可以是基于相关联的超像素到图像中心的距离来计算的。
[0016]在一些示例中，生成第三分割图可以包括：将第一分割图裁剪为第二图像的大小；以及在裁剪第一分割图之后，根据第二图像的分辨率来对第一分割图进行上采样。
[0017]在一些情况下，确定第一分割图可以包括：从第一图像提取超像素；生成图像查询的集合，每个图像查询包括所提取的超像素，其中，每个图像查询具有由一个或多个区分像素属性标记的超像素的不同边本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于处理一个或多个图像的装置，包括：存储器；以及耦合到所述存储器的一个或多个处理器，所述一个或多个处理器被配置为：获得目标的第一图像和所述目标的第二图像，所述第一图像具有第一视场(FOV)，并且所述第二图像具有不同于所述第一FOV的第二FOV；基于所述第一图像来确定第一分割图，所述第一分割图包括与所述第一图像中的第一估计前景区域相关联的前景值；基于所述第二图像来确定第二分割图，所述第二分割图包括与所述第二图像中的第二估计前景区域相关联的前景值；基于所述第一分割图和所述第二分割图来生成第三分割图；以及使用所述第二分割图和所述第三分割图生成细化分割掩模，所述细化分割掩模将所述目标的至少一部分识别为所述第一图像和所述第二图像中的至少一个的前景区域。2.根据权利要求1所述的装置，其中，生成所述细化分割掩膜包括：通过融合所述第二分割图和所述第三分割图来生成融合分割图；以及基于所述融合分割图来生成所述细化分割掩膜。3.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：基于所述细化分割掩膜来生成经编辑的图像。4.根据权利要求3所述的装置，其中，所述经编辑的图像是基于所述第一图像或所述第二图像中的一个的。5.根据权利要求3所述的装置，其中，所述经编辑的图像包括以下各项中的至少一个：视觉效果、扩展现实效果、图像处理效果、模糊效果、图像识别效果、分割效果、计算机图形效果、色度键控效果和图像风格化效果。6.根据权利要求3所述的装置，其中，所述经编辑的图像包括模糊效果。7.根据权利要求1所述的装置，其中，生成所述第三分割图包括：将所述第一分割图裁剪为所述第二图像的大小；以及在裁剪所述第一分割图之后，根据所述第二图像的分辨率来对所述第一分割图进行上采样。8.根据权利要求1所述的装置，其中，所述第一分割图和所述第二分割图是使用经训练的神经网络生成的。9.根据权利要求8所述的装置，其中，所述经训练的神经网络包括深度神经网络。10.根据权利要求1所述的装置，其中，所述第一图像是从第一相机接收到的，并且所述第二图像是从第二相机接收到的。11.根据权利要求10所述的装置，还包括所述第一相机和所述第二相机。12.根据权利要求11所述的装置，其中，所述第一相机响应于可见光，并且所述第二相机响应于红外光。13.根据权利要求1所述的装置，其中，所述第一图像和所述第二图像是从第一相机接收到的。14.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：基于第三图像来确定第四分割图，所述第四分割图包括与所述第三图像中的第三估计
前景区域相关联的前景值。15.根据权利要求14所述的装置，其中，所述第一图像是从第一相机接收到的，所述第二图像是从第二相机接收到的，并且所述第三图像是从第三相机接收到的。16.根据权利要求1所述的装置，其中，所述一个或多个处理器被配置为：响应于对成像模式的用户选择来生成分割掩模。17.一种用于处理一个或多个图像的方法，包括：获得目标的第一图像和所述目标的第二图像，所述第一图像具有第一视场(FOV)，并且所述第二图像具有不同于所述第一FO...

【专利技术属性】
技术研发人员：CC，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：