图像生成方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种图像生成方法、装置、电子设备及可读存储介质，属于人工智能技术领域。该方法包括：确定原始图像和N个驱动图像，并获取原始图像中主体的第一姿态位置信息和N个驱动图像中主体的N个第二姿态位置信息，N为正整法数；以第i个第二姿态位置信息为参考，对第一姿态位置信息执行位置扭曲处理，得到第i个扭曲姿态位置信息，i∈[1，N]；基于第i个扭曲姿态位置信息，对原始图像执行姿态迁移处理，得到原始图像对应的第i个姿态迁移图像。得到原始图像对应的第i个姿态迁移图像。得到原始图像对应的第i个姿态迁移图像。

【技术实现步骤摘要】
图像生成方法、装置、电子设备及可读存储介质


[0001]本申请属于人工智能
，具体涉及一种图像生成方法、装置、电子设备及可读存储介质。

技术介绍

[0002]当前在聊天社交软件中，越来越多的用户喜欢用表情包来表达情绪，表情包相比于文字的表现能力更加突出，而表情包中又可以区分为静态表情和动态表情，动态表情包的表达能力更胜一筹。
[0003]目前，表情包的制作主要分为以下三种：方式1，通过录制或截取一段视频，并添加一些文字后转成图形交换格式(Graphics Interchange Format，GIF)格式，从而得到动态表情包；方式2，设计师绘制一套静态表情包图片，然后以GIF格式将一套静态表情包串起来，从而构成动态表情包。
[0004]然而，按照上述方法，上述方式1可能需要反复多次录制或截取视频，才能得到满意的表情包素材上述方式2专业程度高且难度大。如此相关技术中制作表情包存在制作过程复杂且难度较大的问题。

技术实现思路

[0005]本申请实施例的目的是提供一种图像生成方法、装置、电子设备及可读存储介质，能够解决制作表情包存在制作过程复杂且难度较大的问题。
[0006]第一方面，本申请实施例提供了一种图像生成方法，该方法包括：确定原始图像和N个驱动图像，并获取原始图像中主体的第一姿态位置信息和N个驱动图像中主体的N个第二姿态位置信息，N为正整数；以第i个第二姿态位置信息为参考，对第一姿态位置信息执行位置扭曲处理，得到第i个扭曲姿态位置信息，i∈[1，N]；基于第i个扭曲姿态位置信息，对原始图像执行姿态迁移处理，得到原始图像对应的第i个姿态迁移图像。
[0007]第二方面，本申请实施例提供了一种图像生成装置，所述装置包括：所述装置包括：确定模块、获取模块和处理模块。所述确定模块，用于确定原始图像和N个驱动图像；所述获取模块，用于获取所述确定模块确定的所述原始图像中主体的第一姿态位置信息和所述N个驱动图像中主体的N个第二姿态位置信息，N为正整数；所述处理模块，用于以所述获取模块获取的第i个所述第二姿态位置信息为参考，对所述获取模块获取的所述第一姿态位置信息执行位置扭曲处理，得到第i个扭曲姿态位置信息，i∈[1，N]；所述处理模块，还用于基于所述第i个扭曲姿态位置信息，对所述原始图像执行姿态迁移处理，得到所述原始图像对应的第i个姿态迁移图像。
[0008]第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0009]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程
序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0010]第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
[0011]第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
[0012]在本申请实施例中，可以确定原始图像和N个驱动图像，并获取原始图像中主体的第一姿态位置信息和N个驱动图像中主体的N个第二姿态位置信息，N为正整数；以第i个第二姿态位置信息为参考，对第一姿态位置信息执行位置扭曲处理，得到第i个扭曲姿态位置信息，i∈[1，N]；基于第i个扭曲姿态位置信息，对原始图像执行姿态迁移处理，得到原始图像对应的第i个姿态迁移图像。通过该方案，由于可以基于驱动图像中主体的第二姿态位置信息指导原始图像进行姿态扭曲，因此可以使得姿态迁移图像中主体的姿态与驱动图像中主体的姿态较为相似，即通过原始图像和驱动图像即可自动生成姿态迁移图像，因此可以简化表情包的制作过程，降低表情包制作难度。
附图说明
[0013]图1是本申请实施例提供的图像生成方法的流程示意图之一；
[0014]图2(a)是本申请实施例提供的图像生成方法对应的界面示意图之一；
[0015]图2(b)是本申请实施例提供的图像生成方法对应的界面示意图之二；
[0016]图3(a)是本申请实施例提供的图像生成方法对应的界面示意图之三；
[0017]图3(b)是本申请实施例提供的图像生成方法对应的界面示意图之四三；
[0018]图4是本申请实施例提供的图像生成方法对应的关键点检测示意图；
[0019]图5是本申请实施例提供的图像生成方法中关键点局部重组示意图；
[0020]图6是本申请实施例提供的关键点扭曲模型的结构示意图；
[0021]图7是本申请实施例提供的姿态迁移模型的网络结构示意图；
[0022]图8是本申请实施例提供的表情包自动生成方法对应的算法框架示意图；
[0023]图9是本申请实施例提供的图像生成方法的流程示意图之二；
[0024]图10是本申请实施例提供的图像生成装置的结构示意图；
[0025]图11是本申请实施例提供的电子设备的结构示意图之一；
[0026]图12是本申请实施例提供的电子设备的结构示意图之二。
具体实施方式
[0027]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
[0028]本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可
以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0029]下面对本申请实施例中涉及的名词或术语进行解释。
[0030]Embedding：一种嵌入式的低维向量，一般用于指导某种特性的生成。
[0031]Reshape：将指定矩阵变换成特定维数矩阵一种方法，且矩阵中元素个数不变。
[0032]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像生成方法、装置、电子设备及可读存储介质进行详细地说明。
[0033]本申请实施例提供的图像生成方法、装置、电子设备及可读存储介质可以应用于自定义表情包的场景中。
[0034]本申请实施例提供的图像生成方法的执行主体可以为图像生成装置，该图像生成装置可以为电子设备，或电子设备中的功能模块。以下以电子设备为例，对本申请实施例提供的技术方案进行说明。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，所述方法包括：确定原始图像和N个驱动图像，并获取所述原始图像中主体的第一姿态位置信息和所述N个驱动图像中主体的N个第二姿态位置信息，N为正整数；以第i个所述第二姿态位置信息为参考，对所述第一姿态位置信息执行位置扭曲处理，得到第i个扭曲姿态位置信息，i∈[1，N]；基于所述第i个扭曲姿态位置信息，对所述原始图像执行姿态迁移处理，得到所述原始图像对应的第i个姿态迁移图像。2.根据权利要求1所述的方法，其特征在于，所述第一姿态位置信息包括M类原始位置信息，第i个所述第二姿态位置信息包括与所述M个原始位置信息一一对应的M类驱动位置信息，M为大于1的整数；所述以第i个所述第二姿态位置信息为参考，对所述第一姿态位置信息执行位置扭曲处理，得到第i个扭曲姿态位置信息，包括：将所述M类原始位置信息和所述M类驱动位置信息，输入关键点扭曲模型，基于所述关键点扭曲模型中的全局扭曲块，以所述M类驱动位置信息为参考，对所述M类原始位置信息执行位置扭曲处理，得到全局扭曲位置信息；基于所述关键点扭曲模型中的M个局部扭曲块，分别以所述M类驱动位置信息中一类所述驱动位置信息为参考，对所述M类原始位置信息中对应的原始位置信息执行位置扭曲处理，得到M个局部扭曲位置信息；基于所述全局扭曲位置信息和所述M个局部扭曲位置信息，得到第i个扭曲姿态位置信息；其中，所述关键点扭曲模型中的各扭曲块的参数用于表征：一类原始位置信息向相同类的驱动位置信息扭曲的扭曲特性。3.根据权利要求2所述的方法，其特征在于，所述基于所述全局扭曲位置信息和所述M个局部扭曲位置信息，得到所述第i个扭曲姿态位置信息，包括：按照所述全局扭曲位置信息和所述M个局部扭曲位置信息各自对应的权重，对所述全局扭曲位置信息和所述M个局部扭曲位置信息执行加权平均处理，得到第i个扭曲姿态位置信息。4.根据权利要求1所述的方法，其特征在于，所述基于所述第i个扭曲姿态位置信息，对所述原始图像执行姿态迁移处理，得到所述原始图像对应的第i个姿态迁移图像，包括：将所述原始图像和所述第i个扭曲姿态位置信息输入姿态迁移模型，获取所述原始图像的第一图像特征信息，所述第一图像特征信息是经过所述姿态迁移模型中的自编码器的所有特征提取层处理得到的；将所述第i个扭曲姿态位置信息与所述第一图像特征信息融合，得到第i个融合特征信息；基于所述第i个融合特征信息和所述自编码器的所有特征提取层提取得到的图像特征信息，生成并输出所述原始图像对应的第i个姿态迁移图像。5.根据权利要求1所述的方法，其特征在于，所述基于所述第i个扭曲姿态位置信息，对所述原始图像执行姿态迁移处理，得到所述原始图像对应的第i个姿态迁移图像，包括：将所述原始图像、第i个参考图像和所述第i个扭曲姿态位置信息输入姿态迁移模型，
获取所述原始图像的第一图像特征信息、所述第i个参考图像的第二图像特征信息；所述第一图像特征信息和所述第二图像特征信息是分别通过所述姿态迁移模型中结构相同的两个自编码器的所有特征提取层处理得到的；将所述第一图像特征信息、所述第二图像特征信息及所述第i个扭曲姿态位置信息融合，得到第i个融合特征信息；基于所述第i个融合特征信息及两个所述自编码器的所有特征提取层提取到的图像特征信息，生成并输出所述原始图像对应的第i个姿态迁移图像；其中，i＝1，所述第i个参考图像的像素值为0；i＞1，所述第i个参考图像为所述原始图像对应的第i
‑
1个姿态迁移图像。6.根据权利要求5所述的方法，其特征在于，所述姿态迁移模型还包括解码器，所述两个自编码器的各特征提取层与所述解码器的对应特征层连接；所述基于所述第i个融合特征信息、两个所述自编码器的所有特征提取层提取到的图像特征信息，生成并输出所述原始图像对应的第i个姿态迁移图像，包括：通过所述解码器，将所述第i个融合特征信息及两个所述自编码器的所有特征提取层提取到的图像特征信息融合，生成并输出所述原始图像对应的第i个姿态迁移图像。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述基于所述第i个扭曲姿态位置信息，对所述原始图像执行姿态迁移处理，得到所述原始图像对应的第i个姿态迁移图像之后，所述方法还包括：对所述原始图像对应的N个姿态迁移图像执行视频化处理，得到目标视频。8.一种图像生成装置，其特...

【专利技术属性】
技术研发人员：吴飞，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：