用于生成图像的方法、装置、设备和存储介质制造方法及图纸

本公开涉及用于生成图像的方法、装置、设备和存储介质。在一种方法中，获取目标动作图像，目标动作图像包括由人物执行目标动作的图像。获取动作视频，动作视频包括由目标人物执行一组动作的一组图像。基于相似性规则，从一组图像中选择目标输入图像，目标输入图像包括由目标人物执行一组动作中的一个动作的图像，动作与目标动作之间的相似性满足预定条件。根据动作模型中包括的输入图像、输出图像中的动作和输出图像之间的关联关系，生成与目标输入图像和目标动作相关联的目标输出图像，目标输出图像包括由目标人物执行目标动作的图像。采用上述实现方式，可以以更为有效的方式确定目标人物执行各种动作的图像，使得目标人物的动作更为自然。

Methods, devices, devices and storage media for image generation

【技术实现步骤摘要】
用于生成图像的方法、装置、设备和存储介质
本公开内容的实现方式概括地涉及图像处理，并且更具体地，涉及用于确定由目标人物执行目标动作的图像的方法、装置、设备和计算机存储介质。
技术介绍
随着计算机技术的发展，目前已经出现了虚拟人物的技术。在虚拟人物技术中，可以使用虚拟人物来播放新闻、天气预报、以及教学等方面的内容。真实人物在执行不同的动作时，人体的各部分将处于不同的姿态，因而期望虚拟人物的动作能够逼真地模拟真实人物的动作。此时，如何以更为真实地方式确定虚拟人物执行不同动作的图像，成为一个技术难题。
技术实现思路
根据本公开内容的示例实现方式，提供了一种用于生成图像的方案。在本公开内容的第一方面中，提供了一种用于生成图像的方法。在该方法中，获取目标动作图像，目标动作图像包括由人物执行目标动作的图像。获取动作视频，动作视频包括由目标人物执行一组动作的一组图像。基于相似性规则，从一组图像中选择目标输入图像，目标输入图像包括由目标人物执行一组动作中的一个动作的图像，动作与目标动作之间的相似性满足预定条件。根据动作模型中包括的输入图像、输出图像中的动作和输出图像之间的关联关系，生成与目标输入图像和目标动作相关联的目标输出图像，目标输出图像包括由目标人物执行目标动作的图像。在本公开内容的第二方面中，提供了用于生成图像的装置，包括：图像获取模块，配置用于获取目标动作图像，目标动作图像包括由人物执行目标动作的图像；视频模块，配置用于获取动作视频，动作视频包括由目标人物执行一组动作的一组图像；选择模块，配置用于基于相似性规则，从一组图像中选择目标输入图像，目标输入图像包括由目标人物执行一组动作中的一个动作的图像，动作与目标动作之间的相似性满足预定条件；生成模块，配置用于根据动作模型中包括的输入图像、输出图像中的动作和输出图像之间的关联关系，生成与目标输入图像和目标动作相关联的目标输出图像，目标输出图像包括由目标人物执行目标动作的图像。在本公开内容的第三方面中，提供了一种设备。该设备包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开内容的第一方面的方法。在本公开内容的第四方面中，提供了一种其上存储有计算机程序的计算机可读介质，该程序在被处理器执行时实现根据本公开内容的第一方面的方法。应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开内容的实现方式的关键或重要特征，亦非用于限制本公开内容的范围。本公开内容的其他特征将通过以下的描述变得容易理解。附图说明结合附图并参考以下详细说明，本公开内容的各实现方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：图1示意性示出了基于真实人物的图像来生成虚拟人物的图像的示意图；图2示意性示出了根据本公开内容的示例性实现方式的用于生成图像的技术方案的框图；图3示意性示出了根据本公开内容的示例性实现方式的动作模型的输入和输出的框图；图4示意性示出了根据本公开内容的示例性实现方式的用于训练动作模型的过程的框图；图5示意性示出了根据本公开内容的示例性实现方式的用于训练动作模型的方法的流程图；图6示意性示出了根据本公开内容的示例性实现方式的用于获取动作模型的训练样本的过程的示意图；图7示意性示出了根据本公开内容的示例性实现方式的用于确定两个图像中的动作的相似性的框图；图8示意性示出了根据本公开内容的示例性实现方式的用于基于两个图像中的骨骼来确定动作之间的相似性的框图；图9示意性示出了根据本公开内容的示例性实现方式的用于生成图像的方法的流程图；图10示意性示出了根据本公开内容的示例性实现方式的用于生成图像的过程的框图；图11示意性示出了根据本公开内容的示例性实现方式的用于生成图像的装置的框图；以及图12示出了能够实施本公开内容的多个实现方式的计算设备的框图。具体实施方式下面将参照附图更详细地描述本公开内容的实现方式。虽然附图中显示了本公开内容的某些实现方式，然而应当理解的是，本公开内容可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实现方式，相反提供这些实现方式是为了更加透彻和完整地理解本公开内容。应当理解的是，本公开内容的附图及实现方式仅用于示例性作用，并非用于限制本公开内容的保护范围。在本公开内容的实现方式的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实现方式”或“该实现方式”应当理解为“至少一个实现方式”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。随着图像处理技术的发展，目前已经出现了虚拟人物。例如，对于某些并不需要主播与观众做出更多交流的播报类节目，已经可以利用虚拟主播来代替真实人物。此外，还可以基于虚拟人物来生成电影、电视剧等中的特效画面，或者还可以基于虚拟人物来生成动画产品。将会理解，在此的虚拟人物是指通过计算出来而生成的人物，而并非真实人物。虚拟人物可以具有真实人物的外貌和衣着，或者虚拟人物还可以具有动画人物的外貌和衣着。图1示意性示出了基于真实人物的输入图像和目标动作图像来生成虚拟人物的图像的示意图100。如图1所示，可以获取包括目标动作的目标动作图像110和包括目标人物的图像120，基于已经建立的动作模型，可以生成由目标人物执行目标动作的图像130。目前已经提出了基于神经网络技术来生成动作模型的技术方案。在一个技术方案中，可以基于单一图像来生成动作模型。将包括目标人物的图像输入该模型，可以输出由目标人物执行动作模型中的目标动作的图像。在此技术方案中，用于训练的信息不足，当输入图像中的动作与模型中的动作差异较大时，生成的图像中的动作并不逼真。在另一技术方案中，可以基于目标人物的视频来生成动作模型。然而，该动作模型仅适用于特定的目标人物而并不适用于目标人物以外的其他人物，需要针对每个目标人物生成相应的动作模型，训练成本高。为了至少部分地解决上述技术方案中的不足，根据本公开的示例性实现，提供了一种用于生成图像的技术方案。根据本公开的示例性实现方式，提出了动作相似性的概念。在该技术方案中，可以获取包括由目标人物执行一组动作的一组图像和包括目标动作的图像，并从一组图像中选择包括与目标动作最为相似的动作的图像，进而基于选择的图像来生成最终输出图像。具体地，提出的技术方案包括：生成动作模型和使用动作模型来确定由目标人物执行目标动作的图像两个阶段。根据本公开的示例性实现方式，在生成动作模型中，可以考虑各个训练图像中的动作的相似性，进而使得生成的动作模型能够准确描述输入图像与最终输出图像之间的关联关系。在使用动作模型中，通过选择包括与目标动作最为相似的动作的图像作为输入，获得的由目标人物执行目标动作的图像将会更为逼真。利用本公开的示例性实现方式，一方面避免了生成动作模型时信息不足的情况，另一方面生成的动作模型可以用于不同的人物和不同的动作。在下文中，将参见图2概括描述本公开的示例性实现的使用动作模型阶段的过程。图2示意性示出了根据本公开内容的示例性实现方式的用于生成图像的技术方案的框图200。首先，可以获取目标动作图本文档来自技高网...

【技术保护点】
1.一种用于生成图像的方法，包括：获取目标动作图像，所述目标动作图像包括由人物执行目标动作的图像；获取动作视频，所述动作视频包括由目标人物执行一组动作的一组图像；基于相似性规则，从所述一组图像中选择目标输入图像，所述目标输入图像包括由所述目标人物执行所述一组动作中的一个动作的图像，所述动作与所述目标动作之间的相似性满足预定条件；根据动作模型中包括的输入图像、输出图像中的动作和输出图像之间的关联关系，生成与所述目标输入图像和目标动作相关联的目标输出图像，所述目标输出图像包括由所述目标人物执行所述目标动作的图像。

【技术特征摘要】
1.一种用于生成图像的方法，包括：获取目标动作图像，所述目标动作图像包括由人物执行目标动作的图像；获取动作视频，所述动作视频包括由目标人物执行一组动作的一组图像；基于相似性规则，从所述一组图像中选择目标输入图像，所述目标输入图像包括由所述目标人物执行所述一组动作中的一个动作的图像，所述动作与所述目标动作之间的相似性满足预定条件；根据动作模型中包括的输入图像、输出图像中的动作和输出图像之间的关联关系，生成与所述目标输入图像和目标动作相关联的目标输出图像，所述目标输出图像包括由所述目标人物执行所述目标动作的图像。2.根据权利要求1所述的方法，其中基于所述相似性规则，从所述一组图像中选择所述目标输入图像包括：针对所述一组图像中的第一图像，确定所述第一图像中包括的第一动作与所述目标动作之间的第一相似性；针对所述一组图像中的第二图像，确定所述第二图像中包括的第二动作与所述目标动作之间的第二相似性；以及响应于所述第一相似性高于所述第二相似性，选择所述第一动作图像作为所述目标输入图像。3.根据权利要求2所述的方法，其中确定所述第一相似性包括：基于所述第一图像确定所述目标人物的骨骼的第一长度；基于所述目标动作图像确定所述人物的骨骼的长度；以及基于所述第一长度和所述长度的长度差确定所述第一相似性。4.根据权利要求3所述的方法，其中基于所述第一图像确定所述目标人物的骨骼的所述第一长度包括：确定所述第一图像中的所述目标人物的第一组人体关键点；按照预定顺序连接所述第一组人体关键点；以及基于连接的所述第一组人体关键点确定所述目标人物的所述骨骼的所述第一长度。5.根据权利要求3所述的方法，其中基于连接的所述第一组人体关键点确定所述目标人物的所述骨骼的所述第一长度包括：确定所述目标人物的多个骨骼的平均长度；以及基于所述平均长度更新所述第一长度。6.根据权利要求2所述的方法，其中确定所述第一相似性包括：基于所述第一图像确定所述目标人物的骨骼的第一朝向；基于所述目标动作图像确定所述人物的骨骼的朝向；以及基于所述第一朝向和所述朝向之间的角度差，确定所述第一相似性。7.根据权利要求1所述的方法，进一步包括获取所述动作模型，包括：获取至少一个训练视频；从所述至少一个训练视频中的训练视频中，提取用于训练所述动作模型的样本输入图像和样本输出图像；以及基于所述样本输入图像和所述样本输出图像来训练所述动作模型，以使得训练后的所述动作模型基于所述样本输入图像和所述样本输出图像而输出由所述样本输入图像中的人物执行所述样本输出图像中的动作的图像。8.根据权利要求7所述的方法，其中提取用于训练所述动作模型的所述样本输入图像和所述样本输出图像包括：将所述训练视频划分为第一部分和第二部分，从所述第一部分中选择所述样本输入图像；基于所述相似性规则，从所述第二部分中选择所述样本输出图像，所述样本输入图像中的动作与所述样本输出图像中的动作之间的相似性满足所述预定条件。9.根据权利要求1所述的方法，进一步包括：获取另一目标动作图像，所述另一目标动作图像包括由所述人物执行另一目标动作的图像；基于所述相似性规则，从所述一组图像中选择另一目标输入图像；根据所述动作模型，获取与所述另一目标输入图像相关联的另一目标输出图像，所述另一目标输出图像包括由所述目标人物执行所述另一目标动作的另一图像。10.根据权利要求9所述的方法，进一步包括：获取包括多个目标动作的目标动作视频；从所述目标动作视频中获取所述目标动作图像和所述另一目标动作图像；以及基于所述图像和所述另一图像，生成由所述目标人物执行一系列动作的视频。11.一种用于生成图像的装置，包括：图像获取模块，配置用于获取目标动作图像，所述目标动作图像包括由人物执行目标动作的图像；视频模块，配置用于获取动作视频，所述动作视频包括由目标人物执行一组动作的一组图像；选择模块，配置用于基于相似性规则，从所述一组图像中选择目标输入图像，所述目标输入图像包括由所述目标人物执行所述一组动作中的一个动作的图像，所述动作与所述目标动作之间的相似性满足预定条件；生成模块，配置用于根据动作模型中包括的输...

【专利技术属性】
技术研发人员：龙翔，高原，李鑫，刘霄，张赫男，文石磊，丁二锐，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11