手部图像生成方法、装置以及设备制造方法及图纸

本公开提供了一种手部图像生成方法、装置以及设备，涉及人工智能领域，具体涉及图像处理、深度学习和计算机视觉技术领域，可以应用于元宇宙、数字人等场景。该方法包括：获取目标手部三维关键点和参考手部图像；基于目标手部三维关键点，生成目标手部姿势特征；基于参考手部图像，生成第一完整手部纹理图；基于目标手部姿势特征和第一完整手部纹理图，生成目标手部图像。该实施方式可以生成多样化和高真实度的手部图像。度的手部图像。度的手部图像。

【技术实现步骤摘要】
手部图像生成方法、装置以及设备


[0001]本公开涉及人工智能领域，具体涉及图像处理、深度学习和计算机视觉
，可以应用于元宇宙、数字人等场景。

技术介绍

[0002]随着元宇宙时代的到来，人类社会进入虚拟化高速发展阶段，虚拟化发展离不开虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)技术，而三维手势交互是VR、AR技术中至关重要的交互方式。
[0003]目前，三维手势交互的核心技术是基于深度学习算法检测手部关节点，由于深度学习算法的本质是对数据集进行充分训练，因此，支撑精确且实时的三维手势交互技术的基础是：提供大量的、高质量的和不同应用场景的手部数据集。相关技术中的手部数据增广方法主要分为两类：一类是通过图像退化函数以及刚性变换的方式对手部数据进行增广；另一类是利用现有手部三维模型合成手部数据。

技术实现思路

[0004]本公开实施例提出了一种手部图像生成方法、装置、设备、存储介质以及程序产品。
[0005]第一方面，本公开实施例提出了一种手部图像生成方法，包括：获取目标手部三维关键点和参考手部图像；基于目标手部三维关键点，生成目标手部姿势特征；基于参考手部图像，生成第一完整手部纹理图；基于目标手部姿势特征和第一完整手部纹理图，生成目标手部图像。
[0006]第二方面，本公开实施例提出了一种手部图像生成装置，包括：获取模块，被配置成获取目标手部三维关键点和参考手部图像；第一生成模块，被配置成基于目标手部三维关键点，生成目标手部姿势特征；第二生成模块，被配置成基于参考手部图像，生成第一完整手部纹理图；基于目标手部姿势特征和第一完整手部纹理图，生成目标手部图像。
[0007]第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。
[0008]第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。
[0009]第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面中任一实现方式描述的方法。
[0010]本公开实施例提供的手部图像生成方法，通过改变参考手部图像提供不同的手部纹理，通过改变目标手部三维关键点提供不同的手部姿势，可以生成多样化和高真实度的目标手部图像，提升已有手部图像的丰富程度，进而提升手势估计的精度。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开的手部图像生成方法的一个实施例的流程图；
[0014]图2是根据本公开的手部图像生成方法的又一个实施例的流程图；
[0015]图3是手部图像生成网络的结构图；
[0016]图4是自适应对齐模块的结构图；
[0017]图5是根据本公开的手部图像生成方法的另一个实施例的流程图；
[0018]图6是循环生成式训练的示意图；
[0019]图7是根据本公开的手部图像生成装置的一个实施例的结构示意图；
[0020]图8是用来实现本公开实施例的手部图像生成方法的电子设备的框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0023]图1示出了根据本公开的手部图像生成方法的一个实施例的流程100。该手部图像生成方法包括以下步骤：
[0024]步骤101，获取目标手部三维关键点和参考手部图像。
[0025]在本实施例中，手部图像生成方法的执行主体可以获取目标手部三维关键点和参考手部图像。
[0026]其中，目标手部三维关键点可以是目标手部的各个关键点的三维坐标，用于控制生成的目标手部图像中的手部姿势。通过设置不同的目标手部三维关键点，可以生成不同手部姿势的目标手部图像，从而扩充手部图像的多样性。参考手部图像可以是任意手部姿势的手部图像，提供手部纹理，用于指导目标手部图像的生成。由于目标手部图像参考这个参考手部图像的手部纹理，因此为了提高生成的目标手部图像的真实度，可以对真实手部进行图像采集，得到参考手部图像。
[0027]步骤102，基于目标手部三维关键点，生成目标手部姿势特征。
[0028]在本实施例中，上述执行主体可以基于目标手部三维关键点，生成目标手部姿势特征。
[0029]由于目标手部三维关键点可以控制生成的目标手部图像中的手部姿势，因此对目标手部三维关键点进行特征提取，可以得到目标手部姿势特征。其中，目标手部姿势特征可
以是目标手部图像中的手部姿势的特征。
[0030]步骤103，基于参考手部图像，生成第一完整手部纹理图。
[0031]在本实施例中，上述执行主体可以基于参考手部图像，生成第一完整手部纹理图。
[0032]由于在参考手部图像中可以看见部分参考手部，因此可以从中提取到参考手部的可见部分的纹理，基于可见部分的纹理进行纹理补全，可以得到完整的参考手部的纹理，即，第一完整手部纹理图。第一完整手部纹理图可以以图像的形式展示参考手部的三维纹理，能够清楚地展现手背手掌纹理的细节，从而能够更好地指导任意姿势的手部增广图像的生成。
[0033]步骤104，基于目标手部姿势特征和第一完整手部纹理图，生成目标手部图像。
[0034]在本实施例中，上述执行主体可以基于目标手部姿势特征和第一完整手部纹理图，生成目标手部图像。
[0035]通常，基于目标手部姿势特征可以确定目标手部的姿势，基于第一完整手部纹理图可以确定目标手部的纹理，进而能够生成目标手部图像。例如，对第一完整手部纹理图进行特征提取，得到第一完整手部纹理图特征；将目标手部姿势特征与第一完整手部纹理图特征进行融合，得到融合特征；基于融合特征，生成目标手部图像。其中，融合特征既包含纹理又包含姿势，因此，基于融合特征生成的目标手部图像，既具有目标手部三维关键点提供的手部姿势，又具有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手部图像生成方法，包括：获取目标手部三维关键点和参考手部图像；基于所述目标手部三维关键点，生成目标手部姿势特征；基于所述参考手部图像，生成第一完整手部纹理图；基于所述目标手部姿势特征和所述第一完整手部纹理图，生成目标手部图像。2.根据权利要求1所述的方法，其中，所述基于所述目标手部姿势特征和所述第一完整手部纹理图，生成目标手部图像，包括：对所述第一完整手部纹理图进行特征提取，得到第一完整手部纹理图特征；将所述目标手部姿势特征与所述第一完整手部纹理图特征进行融合，得到融合特征；基于所述融合特征，生成所述目标手部图像。3.根据权利要求2所述的方法，其中，所述基于所述目标手部三维关键点，生成目标手部姿势，包括：将所述目标手部三维关键点输入至姿势提取网络，得到所述目标手部姿势特征。4.根据权利要求3所述的方法，其中，所述基于所述参考手部图像，生成第一完整手部纹理图，包括：将所述参考手部图像输入至纹理图提取网络，得到参考手部纹理图；将所述参考手部纹理图输入至纹理补全网络，得到所述第一完整手部纹理图。5.根据权利要求4所述的方法，其中，所述对所述第一完整手部纹理图进行特征提取，得到第一完整手部纹理图特征，包括：将所述第一完整手部纹理图输入至特征提取网络，得到所述第一完整手部纹理图特征。6.根据权利要求5所述的方法，其中，所述基于所述融合特征，生成目标手部图像，包括：将所述融合特征输入至解码网络，得到所述目标手部图像。7.根据权利要求2所述的方法，其中，所述将所述目标手部姿势特征与所述第一完整手部纹理图特征进行融合，得到融合特征，包括：基于所述目标手部姿势特征与所述第一完整手部纹理图特征，计算形变矩阵；利用所述形变矩阵对所述第一完整手部纹理图特征进行形变，得到变形特征；将所述变形特征与所述目标手部姿势特征进行结合，得到所述融合特征。8.根据权利要求4所述的方法，其中，所述方法还包括：将所述目标手部图像输入至所述纹理提取网络，得到目标手部纹理图；将所述目标手部纹理图输入至所述纹理补全网络，得到第二完整手部纹理图；基于所述第一完整手部纹理图和所述第二完整手部纹理图，计算损失；基于所述损失，优化所述纹理提取网络和所述纹理补全网络。9.根据权利要求1
‑
8中任一项所述的方法，其中，所述方法还包括：利用所述目标手部三维关键点对所述目标手部图像进行标注，得到标注目标手部图像。10.根据权利要求9所述的方法，其中，所述方法还包括：将所述标注目标手部图像加入训练样本集，其中，所述训练样本集中的训练样本是标
注有手部三维关键点的手部图像；利用所述训练样本集进行模型训练，得到手部三维关键点检测模型。11.一种手部图像生成装置，包括：获取模块，被配置成获取目标手部三维关键点和参考手部图像；第一生成模块，被配置成基于所述目标手部三维关键点，生成目标手部姿势特征；第二生成模块，被配置成基于所述参考手部图像，生成第一完整手部纹理图；第三生成模块，被配置成基于所述目标手部姿势特征和所述第一完整手部纹理图，生成目标手部图像。12.根据...

【专利技术属性】
技术研发人员：张雨蒙，叶晓青，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：