人体手部图像的生成方法技术

本申请一个或多个实施例提供一种人体手部图像的生成方法

【技术实现步骤摘要】
人体手部图像的生成方法、装置、设备和存储介质


[0001]本申请一个或多个实施例涉及计算机应用
，尤其涉及一种人体手部图像的生成方法
、
装置
、
设备和存储介质
。

技术介绍

[0002]现如今，
AI(Artificial Intelligence
，人工智能
)
作画越来越流行
。AI
作画可以根据用户输入的描述文本输出相应的图像
。
例如，对外提供
AI
作画功能的应用程序可以面向用户输出用户界面，使用户可以通过该用户界面输入描述文本，假设该描述文本为“一个人拿着一个杯子”，则该应用程序可以通过该用户界面输出包含一个人体和一个杯子的图像，并且在该图像中，这个人体的胳膊和手部所处的姿态是拿着这个杯子
。
[0003]然而，目前的
AI
作画中经常会出现输出图像包含的人体手部不合理的问题，从而导致输出图像对于用户而言是不可用的，影响用户在使用
AI
作画时的体验
。
人体手部不合理的问题通常包括：人体手部多手指或少手指
(
即单手手指的数量不为
5)
，或者人体手部所处的姿态不符合常理
(
例如：手指向手背弯折的角度达到
90
度
、
两根手指张开的夹角达到
180
度等
)
，等等
。
因此，对于<br/>AI
作画而言，如何降低输出图像包含的人体手部不合理的概率，也就成为了备受关注的问题
。

技术实现思路

[0004]本申请一个或多个实施例提供技术方案如下：
[0005]本申请提供一种人体手部图像的生成方法，所述方法包括：
[0006]获取与人体手部样本对应的二维手部图像，并将所述二维手部图像输入三维重建模型，以使所述三维重建模型基于所述二维手部图像重建出三维手部图形；
[0007]将所述三维手部图形投影至预设的二维平面，以将所述三维手部图形转化为二维图像；
[0008]获取用于生成人体手部图像的噪声图像，并将所述二维图像和所述噪声图像输入生成模型，以使所述生成模型基于所述噪声图像，生成与所述二维图像匹配的人体手部图像
。
[0009]本申请还提供一种人体手部图像的生成装置，所述装置包括：
[0010]重建模块，获取与人体手部样本对应的二维手部图像，并将所述二维手部图像输入三维重建模型，以使所述三维重建模型基于所述二维手部图像重建出三维手部图形；
[0011]投影模块，将所述三维手部图形投影至预设的二维平面，以将所述三维手部图形转化为二维图像；
[0012]生成模块，获取用于生成人体手部图像的噪声图像，并将所述二维图像和所述噪声图像输入生成模型，以使所述生成模型基于所述噪声图像，生成与所述二维图像匹配的人体手部图像
。
[0013]本申请还提供一种电子设备，包括：
[0014]处理器；
[0015]用于存储处理器可执行指令的存储器；
[0016]其中，所述处理器通过运行所述可执行指令以实现如上述任一项所述方法的步骤
。
[0017]本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述任一项所述方法的步骤
。
[0018]在上述技术方案中，可以先获取与人体手部样本对应的二维手部图像，再由三维重建模型基于二维手部图像，重建出的三维手部图形，然后可以通过三维手部图形投影至二维平面，将三维手部图形转化为二维图像，最后可以由生成模型将由三维手部图形转化得到的二维图像作为额外的控制条件，基于噪声图像，生成与所述二维图像匹配的人体手部图像
。
[0019]采用上述方式，通过大量不同的人体手部样本，可以得到数据量大且具有多样性的三维手部图形，从而可以将由这些三维手部图形转化得到的二维图像作为先验信息，通过该先验信息引导生成与这些二维图像匹配的人体手部图像；在这些人体手部样本的形状
、
所处的姿态等均合理的情况下，就可以保证所生成的人体手部图像中的人体手部是合理的，从而可以保证所生成的人体手部图像对于用户而言是可用的，提升用户体验
。
并且，所生成的人体手部图像的数据量大且具有多样性
。
附图说明
[0020]下面将对示例性实施例的描述中所需要使用的附图进行说明，其中：
[0021]图1是本申请一示例性实施例示出的一种人体手部图像的生成系统的架构示意图；
[0022]图2是本申请一示例性实施例示出的一种人体手部图像的生成方法的流程图；
[0023]图3是本申请一示例性实施例示出的一种基于神经网络构建的参数化模型的架构示意图；
[0024]图4是本申请一示例性实施例示出的一种基于
Control Net
构建的扩散模型的架构示意图；
[0025]图5是本申请一示例性实施例示出的一种设备的结构示意图；
[0026]图6是本申请一示例性实施例示出的一种人体手部图像的生成装置的框图
。
具体实施方式
[0027]这里将详细地对示例性实施例进行说明，其示例表示在附图中
。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或者相似的要素
。
以下示例性实施例中所描述的实施方式并不代表与本申请一个或多个实施例相一致的所有实施方式
。
相反，它们仅是与本申请一个或多个实施例的一些方面相一致的例子
。
[0028]需要说明的是，在其他实施例中并不一定按照本申请示出和描述的顺序来执行相应方法的步骤
。
在一些其他实施例中，其方法所包括的步骤可以比本申请所描述的更多或者更少
。
此外，本申请中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本申请中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述
。
[0029]在实际的应用中，面向用户的应用程序通常由前台客户端和后台服务端进行配合来实现
。
其中，前台客户端可以面向用户输出用户界面，供用户在该用户界面中执行点击
、
长按
、
输入文本
、
绘制图像
、
插入文件等交互操作，并将基于各种交互操作生成的数据发送给后台服务端，而后台服务端则可以基于前台客户端发送的这些数据进行相应的计算，以实现该应用程序对外提供的功能
。
[0030]对于对外提供
AI
作画功能的应用程序而言，这类应用程序需要根据用户输入的描述文本输出相应的图像
。
如果用户在前台客户端输出的用户界面中，输入的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种人体手部图像的生成方法，所述方法包括：获取与人体手部样本对应的二维手部图像，并将所述二维手部图像输入三维重建模型，以使所述三维重建模型基于所述二维手部图像重建出三维手部图形；将所述三维手部图形投影至预设的二维平面，以将所述三维手部图形转化为二维图像；获取用于生成人体手部图像的噪声图像，并将所述二维图像和所述噪声图像输入生成模型，以使所述生成模型基于所述噪声图像，生成与所述二维图像匹配的人体手部图像
。2.
根据权利要求1所述的方法，所述三维重建模型包括基于神经网络构建的参数化模型；所述将所述二维手部图像输入三维重建模型，以使所述三维重建模型基于所述二维手部图像重建出三维手部图形，包括：将所述二维手部图像输入所述基于神经网络构建的参数化模型，以使所述基于神经网络构建的参数化模型将所述二维手部图像转化为三维手部参数，并基于所述三维手部参数生成三维手部图形
。3.
根据权利要求2所述的方法，所述参数化模型包括
MANO
模型
。4.
根据权利要求1所述的方法，所述生成模型包括基于
Control Net
构建的扩散模型
。5.
根据权利要求4所述的方法，所述扩散模型包括
Stable Diffusion
模型
。6.
根据权利要求4所述的方法，所述
Control Net
支持的输入通道的数量，基于由所述三维手部图形转化得到的二维图像的数量进行了扩展；所述将所述二维图像和所述噪声图像输入生成模型，以使所述生成模型基于所述噪声图像，生成与所述二维图像匹配的人体手部图像，包括：针对由所述三维手部图形转化得到的二维图像进行拼接处理；将拼接后的所述二维图像和所述噪声图像输入所述基于
Control Net
构建的扩散模型，以使所述基于
Control Net
构建的扩散模型基于所述噪声图像，生成与所述二维图像匹配的人体手部图像
。7.
根据权利要求1所述的方法，所述三维手部图形包含预设的若干人体手部关键点；所述二维图像包括...

【专利技术属性】
技术研发人员：陈豪，
申请(专利权)人：蚂蚁区块链科技上海有限公司，
类型：发明
国别省市：