用于分析的图像增广制造技术

提供了用于面部图像增广的系统和技术。一种示例方法可包括获得捕捉面部的第一图像。使用第一图像，该方法可使用预测模型来确定包括面部的三维(3D)结构的二维(2D)表示的UV面部位置映射图。该方法可基于该UV面部位置映射图来生成面部的3D模型。该方法可以通过将3D模型扩展为包括超出3D模型的边界的(诸)区域来生成面部的经扩展3D模型。(诸)区域可包括前额区域、围绕面部的至少一部分的区域和/或其他区域。该方法可基于经扩展3D模型来生成第二图像，该第二图像描绘了相对于面部在第一图像中的位置处于经旋转位置的面部。的位置处于经旋转位置的面部。的位置处于经旋转位置的面部。

【技术实现步骤摘要】
【国外来华专利技术】用于分析的图像增广


[0001]本公开一般涉及图像处理，尤其涉及用于分析的图像增广的技术和系统。
[0002]背景
[0003]许多设备和系统能够生成捕捉场景、对象、人和/或其他事物的图像(或帧)和/或视频数据(包括多个帧)。例如，相机或包括相机的计算设备(例如，包括一个或多个相机的移动设备(诸如移动电话或智能电话))可以捕捉场景、人和/或对象的图像。图像可以由此类设备和系统(例如，移动设备、IP相机等)捕捉和处理并输出以供使用(例如，显示在设备和/或其他设备上)。在一些情形中，图像可以被捕捉和进一步处理以用于某些应用，诸如举例而言计算机图形学、扩展现实(例如，增强现实、虚拟现实等)、图像识别(例如，面部识别、对象识别、场景识别等)、以及特征估计等。例如，图像可被处理以检测该图像中存在的任何对象或面部(例如，使用面部或对象识别等)，这可有助于各种应用。
[0004]简要概述
[0005]在一些示例中，描述了用于执行用于分析的图像增广的技术和系统。根据至少一个解说性示例，提供了一种面部图像增广的方法。在一些示例中，该方法可包括：获得捕捉用户的面部的第一图像；基于第一图像，使用预测模型来确定包括该面部的三维(3D)结构的二维(2D)表示的UV面部位置映射图；基于该UV面部位置映射图来生成该面部的3D模型；通过将该面部的3D模型扩展为包括超出该面部的3D模型的边界的一个或多个区域来生成该面部的经扩展3D模型，该一个或多个区域包括前额区域和/或围绕该面部的至少一部分的区域；以及基于该面部的经扩展3D模型来生成第二图像，该第二图像描绘了相对于该面部在第一图像中的位置处于经旋转位置的面部。
[0006]在另一示例中，提供了一种用于面部图像增广的装置。在一些方面，该装置可包括：具有存储在其上的计算机可读指令的存储器、以及一个或多个处理器，该一个或多个处理器被配置成：获得捕捉用户的面部的第一图像；基于第一图像，使用预测模型来确定包括该面部的三维(3D)结构的二维(2D)表示的UV面部位置映射图；基于该UV面部位置映射图来生成该面部的3D模型；通过将该面部的3D模型扩展为包括超出该面部的3D模型的边界的一个或多个区域来生成该面部的经扩展3D模型，该一个或多个区域包括前额区域和/或围绕该面部的至少一部分的区域；以及基于该面部的经扩展3D模型来生成第二图像，该第二图像描绘了相对于该面部在第一图像中的位置处于经旋转位置的面部。
[0007]在另一示例中，提供了一种用于面部图像增广的非瞬态计算机可读介质。在一些示例中，该非瞬态计算机可读介质可包括在由一个或多个处理器执行时使该一个或多个处理器进行以下操作的指令：获得捕捉用户的面部的第一图像；基于第一图像，使用预测模型来确定包括该面部的三维(3D)结构的二维(2D)表示的UV面部位置映射图；基于该UV面部位置映射图来生成该面部的3D模型；通过将该面部的3D模型扩展为包括超出该面部的3D模型的边界的一个或多个区域来生成该面部的经扩展3D模型，该一个或多个区域包括前额区域和/或围绕该面部的至少一部分的区域；以及基于该面部的经扩展3D模型来生成第二图像，该第二图像描绘了相对于该面部在第一图像中的位置处于经旋转位置的面部。
[0008]在另一示例中，提供了一种用于面部图像增广的设备。在一些方面，该设备可包括用于以下操作的装置：获得捕捉用户的面部的第一图像；基于第一图像，使用预测模型来确定包括该面部的三维(3D)结构的二维(2D)表示的UV面部位置映射图；基于该UV面部位置映射图来生成该面部的3D模型；通过将该面部的3D模型扩展为包括超出该面部的3D模型的边界的一个或多个区域来生成该面部的经扩展3D模型，该一个或多个区域包括前额区域和/或围绕该面部的至少一部分的区域；以及基于该面部的经扩展3D模型来生成第二图像，该第二图像描绘了相对于该面部在第一图像中的位置处于经旋转位置的面部。
[0009]在一些方面，上述方法、设备(装置)和计算机可读介质可包括：检测第一图像中的面部区域，该面部区域包括用户的面部；以及通过移除第一图像中除该面部区域之外的一个或多个其他部分来将第一图像裁剪为包括该面部区域，其中确定UV面部位置映射图基于经裁剪的第一图像。
[0010]在一些示例中，预测模型可包括卷积神经网络(CNN)，并且UV面部位置映射图可以记录面部在UV空间中的3D结构。
[0011]在一些示例中，UV面部位置映射图被投影到色彩图像空间上。在一些情形中，UV面部位置映射图中的颜色通道包括UV面部位置映射图中的各点的3D位置，并且3D位置包括面部的3D结构中的3D坐标。
[0012]在一些情形中，生成面部的3D模型可包括将UV面部位置映射图投影到3D空间。在一些示例中，3D模型可包括3D面部网格，该3D面部网格包括由边和面连接的顶点，并且该3D面部网格是通过向顶点指派3D坐标来生成的，3D坐标对应于面部的3D结构和UV面部位置映射图中的对应点。
[0013]在一些方面，上述方法、设备(装置)和计算机可读介质可包括：确定与前额区域和/或围绕该面部的至少一部分的区域相关联的深度信息，其中该深度信息包括前额区域的第一深度和/或围绕该面部的至少一部分的区域的第二深度，并且经扩展3D模型是基于该深度信息来生成的。
[0014]在一些示例中，确定深度信息可包括：估计面部区域上的第一群锚点、以及前额区域上的第二群锚点和围绕该面部的至少一部分的区域上的第三群锚点中的至少一者的深度。在一些情形中，锚点的深度是基于锚点在3D模型内的第一位置和锚点到面部上的第二位置的距离来估计的。
[0015]在一些情形中，第二群锚点和/或第三群锚点是基于第一群锚点的3D坐标来估计的。在一些情形中，生成经扩展3D模型可包括对第一群锚点以及第二群锚点和/或第三群锚点进行三角剖分。
[0016]在一些方面，上述方法、设备(装置)和计算机可读介质可包括通过以下操作来估计前额区域的第一深度：估计与前额区域相对应的前额形状；确定该前额形状内的一组不同的圆；以及基于该组不同的圆中的每个圆的相应半径来估计该前额区域的第一深度。
[0017]在一些方面，上述方法、设备(装置)和计算机可读介质可包括基于面部的3D模型和描述头部的3D形状的3D形变头部模型来估计前额区域的第一深度。
[0018]在一些示例中，围绕面部的至少一部分的区域可包括第一图像的背景区域、头发区域、颈部区域和/或耳部区域。
[0019]在一些情形中，生成第二图像可包括：将第一图像映射到经扩展3D模型；以及在将
第一图像映射到经扩展3D模型时旋转面部，该面部被旋转为处于经旋转位置。
[0020]在一些方面，该装置(设备)可以是相机(例如，IP相机)、移动设备(例如，移动电话或所谓的“智能电话”或其他移动设备)、可穿戴设备、经扩展现实设备(例如，虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)、个人计算机、膝上型计算机、服务器计算机或其他设备，或者可以是其一部分。在一些方面，该本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种装置，包括：存储器；以及耦合至所述存储器的一个或多个处理器，所述一个或多个处理器被配置成：获得捕捉用户的面部的第一图像；基于所述第一图像，使用预测模型来确定包括所述面部的三维(3D)结构的二维(2D)表示的UV面部位置映射图；基于所述UV面部位置映射图来生成所述面部的3D模型；通过将所述面部的所述3D模型扩展为包括超出所述面部的所述3D模型的边界的一个或多个区域来生成所述面部的经扩展3D模型，所述一个或多个区域包括前额区域和围绕所述面部的至少一部分的区域中的至少一者；以及基于所述面部的所述经扩展3D模型来生成第二图像，所述第二图像描绘了相对于所述面部在所述第一图像中的位置处于经旋转位置的所述面部。2.如权利要求1所述的装置，所述一个或多个处理器被配置成：检测所述第一图像中的面部区域，所述面部区域包括所述用户的所述面部；通过移除所述第一图像中除所述面部区域之外的一个或多个其他部分来将所述第一图像裁剪为包括所述面部区域；并且其中确定所述UV面部位置映射图基于经裁剪的第一图像。3.如权利要求1所述的装置，其中所述预测模型包括卷积神经网络(CNN)，并且其中所述UV面部位置映射图记录所述面部在UV空间中的所述3D结构。4.如权利要求1所述的装置，其中所述UV面部位置映射图被投影到色彩图像空间上，其中所述UV面部位置映射图中的颜色通道包括所述UV面部位置映射图中的点的3D位置，并且其中所述3D位置包括所述面部的所述3D结构中的3D坐标。5.如权利要求1所述的装置，其中生成所述面部的所述3D模型包括将所述UV面部位置映射图投影到3D空间。6.如权利要求5所述的装置，其中所述3D模型包括3D面部网格，所述3D面部网格包括由边和面连接的顶点，并且其中所述3D面部网格是通过向所述顶点指派3D坐标来生成的，所述3D坐标对应于所述面部的所述3D结构和所述UV面部位置映射图中的对应点。7.如权利要求1所述的装置，所述一个或多个处理器被配置成：确定与所述前额区域和围绕所述面部的至少一部分的所述区域相关联的深度信息，其中所述深度信息包括所述前额区域的第一深度和围绕所述面部的至少一部分的所述区域的第二深度中的至少一者，并且其中所述经扩展3D模型是基于所述深度信息来生成的。8.如权利要求7所述的装置，其中确定所述深度信息包括：估计面部区域上的第一群锚点、以及所述前额区域上的第二群锚点和围绕所述面部的至少一部分的所述区域上的第三群锚点中的至少一者的深度，其中锚点的深度是基于所述锚点在所述3D模型内的第一位置和所述锚点到所述面部上的第二位置的距离来估计的。9.如权利要求8所述的装置，其中所述第二群锚点和所述第三群锚点中的至少一者是基于所述第一群锚点的3D坐标来估计的，并且其中生成所述经扩展3D模型包括对所述第一群锚点以及所述第二群锚点和所述第三群锚点中的至少一者进行三角剖分。10.如权利要求8所述的装置，所述一个或多个处理器被配置成通过以下操作来估计所
述前额区域的所述第一深度：估计与所述前额区域相对应的前额形状；确定所述前额形状内的一组不同圆；以及基于所述组不同圆中的每个圆的相应半径来估计所述前额区域的所述第一深度。11.如权利要求8所述的装置，所述一个或多个处理器被配置成基于所述面部的所述3D模型和描述头部的3D形状的3D形变头部模型来估计所述前额区域的所述第一深度。12.如权利要求1所述的装置，其中围绕所述面部的至少一部分的所述区域包括所述第一图像的背景区域、头发区域、颈部区域和耳部区域中的至少一者。13.如权利要求1所述的装置，其中生成所述第二图像包括：将所述第一图像映射到所述经扩展3D模型；以及在将所述第一图像映射到所述经扩展3D模型时旋转所述面部，所述面部按所述经旋转位置旋转。14.如权利要求1所述的装置，其中所述装置包括移动设备。15.如权利要求1所述的装置，其中所述装置包括相机设备。16.一种方法，包括：获得捕捉用户的面部的第一图像；基于所述第一图像，使用预测模型来确定包括所述面部的三维(3D)结构的二维(2D)表示的UV面部位置映射图；基于所述UV面部位置映射图来生成所述面部的3D模型；通过...

【专利技术属性】
技术研发人员：刘鹏，L，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：