图像处理方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种图像处理方法、装置、电子设备和存储介质，涉及人工智能技术领域，具体为增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景。实现方案为：获得目标图像，目标图像中包括目标对象，目标对象具有相应的三维模型，三维模型具有相应的顶点集，顶点集中的每一个顶点位于三维模型的表面并且具有相应的纹理贴图坐标；基于目标图像，获得纹理贴图，纹理贴图指示目标对象在目标图像中所在的对象区域中的每一个像素位置对应的纹理贴图坐标；基于纹理贴图和顶点集中的每一个顶点的纹理贴图坐标，获得目标图像中目标对象的多个轮廓点，多个轮廓点对应于顶点集中的多个顶点。廓点对应于顶点集中的多个顶点。廓点对应于顶点集中的多个顶点。

【技术实现步骤摘要】
图像处理方法、装置、电子设备和存储介质


[0001]本公开涉及人工智能
，具体为增强现实、虚拟现实、计算机视觉、深度学习等
，可应用于元宇宙、虚拟数字人等场景，具体涉及一种图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]基于人工智能的图像处理技术，通过对图像进行处理，以美化图像中的对象，使图像中的对象达到预设的颜色或形状，使得图像更清晰、美观，从而可以提升用户体验。
[0004]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0005]本公开提供了一种图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
[0006]根据本公开的一方面，提供了一种图像处理方法，包括：获得目标图像，所述目标图像中包括目标对象，所述目标对象具有相应的三维模型，所述三维模型具有相应的顶点集，所述顶点集中的每一个顶点位于所述三维模型的表面并且具有相应的纹理贴图坐标；基于所述目标图像，获得纹理贴图，所述纹理贴图指示所述目标对象在所述目标图像中所在的对象区域中的每一个像素位置对应的纹理贴图坐标；以及基于所述纹理贴图和所述顶点集中的每一个顶点的纹理贴图坐标，获得所述目标图像中所述目标对象的多个轮廓点，所述多个轮廓点对应于所述顶点集中的多个顶点。
[0007]根据本公开的另一方面，提供了一种图像处理装置，包括：目标图像获取单元，被配置用于获得目标图像，所述目标图像中包括目标对象，所述目标对象具有相应的三维模型，所述三维模型具有相应的顶点集，所述顶点集中的每一个顶点位于所述三维模型的表面并且具有相应的纹理贴图坐标；纹理贴图获取单元，被配置用于基于所述目标图像，获得纹理贴图，所述纹理贴图指示所述目标对象在所述目标图像中所在的对象区域中的每一个像素位置对应的纹理贴图坐标；以及轮廓点获取单元，被配置用于基于所述纹理贴图和所述顶点集中的每一个顶点的纹理贴图坐标，获得所述目标图像中所述目标对象的多个轮廓点，所述多个轮廓点对应于所述顶点集中的多个顶点。
[0008]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所
述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开的实施例所述的方法。
[0009]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开的实施例所述的方法。
[0010]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据本公开的实施例所述的方法。
[0011]根据本公开的一个或多个实施例，可以避免传统轮廓关键点检测方法中需要标注轮廓关键点带来的数据采集和标注成本，另外将轮廓关键点检测问题转换为纹理贴图坐标（IUV）图预测问题，使得图像处理任务的本质是鲁棒性更高的分割和回归任务，使得所获得的轮廓点更准确。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0014]图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；图2示出了根据本公开的实施例的图像处理方法的流程图；图3示出了根据本公开的实施例的图像处理方法中的三维模型的示意图；图4示出了根据本公开的实施例的图像处理方法中基于纹理贴图和顶点集中的每一个顶点的纹理贴图坐标获得目标图像中目标对象的多个轮廓点的过程的流程图；图5示出了根据本公开的实施例的图像处理方法中基于多个目标顶点获得多个轮廓点的过程的流程图；图6示出了根据本公开的实施例的图像处理方法中基于多个轮廓线中的每一个轮廓线对应的多个第一目标顶点获得多个轮廓点的过程的流程图；图7示出了根据本公开的实施例的图像处理方法中基于多个轮廓线中的每一个轮廓线对应的多个第一目标顶点获得多个轮廓点的过程的流程图；图8示出了根据本公开的实施例的图像处理方法中基于多个轮廓线中的每一个轮廓线对应的多个第一目标像素位置和该多个第一目标像素位置的多个坐标获得多个轮廓点的过程的流程图；图9示出了根据本公开的实施例的图像处理方法中基于多个轮廓线中的每一个轮廓线对应的多个第一目标像素位置和该多个第一目标像素位置的多个坐标获得多个轮廓点的过程的流程图；图10示出了根据本公开的实施例的图像处理方法的过程的示意图；图11示出了根据本公开的实施例的图像处理装置的结构框图；图12示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
[0015]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0016]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个要素与另一要素区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0017]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0018]下面将结合附图详细描述本公开的实施例。
[0019]图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1，该系统100包括一个或多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获得目标图像，所述目标图像中包括目标对象，所述目标对象具有相应的三维模型，所述三维模型具有相应的顶点集，所述顶点集中的每一个顶点位于所述三维模型的表面并且具有相应的纹理贴图坐标；基于所述目标图像，获得纹理贴图，所述纹理贴图指示所述目标对象在所述目标图像中所在的对象区域中的每一个像素位置对应的纹理贴图坐标； 以及基于所述纹理贴图和所述顶点集中的每一个顶点的纹理贴图坐标，获得所述目标图像中所述目标对象的多个轮廓点，所述多个轮廓点对应于所述顶点集中的多个顶点。2.根据权利要求 1 所述的方法，其中，所述基于所述纹理贴图和所述顶点集中的每一个顶点的纹理贴图坐标，获得所述目标图像中所述目标对象的多个轮廓点包括：获得所述顶点集中在所述对象区域中具有相应像素位置的多个目标顶点，所述多个目标顶点中的每一个目标顶点的纹理贴图坐标与相应像素位置的纹理贴图坐标之间的距离不大于预设值；以及基于所述多个目标顶点，获得所述多个轮廓点。3. 根据权利要求 2所述的方法，其中，所述三维模型包括与所述三维模型上的多个关键点相应的多个轮廓线，所述多个轮廓线中的每一个轮廓线围绕所述三维模型表面设置以覆盖所述顶点集中位于同一水平面或垂面上的多个顶点，所述多个关键点中的每一个关键点用于确定对所述三维模型执行变形，以达到预设效果，所述基于所述多个目标顶点，获得所述多个轮廓点包括：针对所述多个轮廓线中的每一个轮廓线，获得所述多个目标顶点中位于该轮廓线上的多个第一目标顶点；以及基于所述多个轮廓线中的每一个轮廓线对应的多个第一目标顶点，获得所述多个轮廓点。4. 根据权利要求 3所述的方法，其中，所述基于所述多个轮廓线中的每一个轮廓线对应的多个第一目标顶点，获得所述多个轮廓点包括：针对所述多个轮廓线中的每一个轮廓线对应的多个第一目标顶点，获得该多个第一目标顶点中每一个第一目标顶点在所述三维模型上的位置坐标；基于该多个第一目标顶点对应的多个坐标，获得该多个第一目标顶点中的第一目标顶点对，所述第一目标顶点对中的两个第一目标顶点之间的距离大于该多个第一目标顶点中区别于所述第一目标顶点对的任一第一目标顶点对的两个第一目标顶点之间的距离；以及基于所述多个轮廓线中的每一个轮廓线对应的第一目标顶点对中的每一个第一目标顶点在所述对象区域中的相应目标像素位置，获得所述多个轮廓点。5. 根据权利要求3所述的方法，其中，所述基于所述多个轮廓线中的每一个轮廓线对应的多个第一目标顶点，获得所述多个轮廓点包括：针对所述多个轮廓线中的每一个轮廓线，获得所述对象区域中与该轮廓线上的多个第一目标顶点对应的多个第一目标像素位置和该多个第一目标像素位置中的每一个第一目标像素位置在所述目标图像中的坐标；以及基于所述多个轮廓线中的每一个轮廓线对应的多个第一目标像素位置的多个坐标，获得所述多个轮廓点。
6. 根据权利要求 5所述的方法，其中，所述基于所述多个轮廓线中的每一个轮廓线对应的多个第一目标像素位置和该多个第一目标像素位置的多个坐标，获得所述多个轮廓点包括：针对所述多个轮廓线中的每一个轮廓线对应的多个第一目标像素位置，基于该多个第一目标像素位置的多个坐标，获得该多个第一目标像素位置对应的第一目标像素位置对，所述第一目标像素位置对中的两个第一目标像素位置之间的距离大于该多个第一目标像素位置中区别于该第一目标像素位置对的任一第一目标像素位置对中的两个第一目标像素位置之间的距离；以及基于所述多个轮廓线中的每一个轮廓线对应的第一目标像素位置对，获得所述多个轮廓点。7. 根据权利要求 5所述的方法，其中，所述基于所述多个轮廓线中的每一个轮廓线对应的多个第一目标像素位置和该多个第一目标像素位置的多个坐标，获得所述多个轮廓点包括：针对所述多个轮廓线中的每一个轮廓线对应的多个第一目标像素位置，基于该多个第一目标像素位置的多个坐标，获得该多个第一目标像素位置对应的中心位置；获得该多个第一目标像素位置中与该中心位置之间的距离最大的第二目标像素位置；获得该多个第一目标像素位置中位于该中心位置的第一侧并且与该中心位置之间的距离最大的第三目标像素位置，所述第一侧与所述第二目标像素位置所在的一侧相对，以及基于所述多个轮廓线中的每一个轮廓线对应的第二目标像素位置和第三像素位置，获得所述多个轮廓点。8. 根据权利要求 1
‑
7任一项所述的方法，还包括：基于所述多个轮廓点，对所述目标图像的目标对象进行美化处理。9. 根据权利要求 1所述的方法，其中，所述目标对象为人体，所述三维模型为具有蒙皮的多人线性模型。10.一种图像处理装置，包括：目标图像获取单元，被配置用于获得目标图像，所述目标图像中包括目标对象，所述目标对象具有相应的三维模型，所述三维模型具有相应的顶点集，所述顶点集中的每一个顶点位于所述三维模型的表面并且具有相应的纹理贴图坐标；纹理贴图获取单元，被配置用于基于所述目标图像，获得纹理贴图，所述纹理贴图指示所述目标对象在所述目标图像中所在的对象区域中的每一个像素位置对应的...

【专利技术属性】
技术研发人员：杨少雄，范茂伟，梁烁，胡晓文，赵晨，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：