人体姿态生成方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种人体姿态生成方法、装置、电子设备、存储介质及计算机程序产品，涉及深度学习等领域。具体实现方案为：基于包含目标人物的N个视角下分别对应的当前帧图像，生成当前时刻下所述目标人物所对应的初始虚拟三维人体姿态；其中，N为大于等于2的整数；获取所述当前时刻下所述目标人物与实际地面之间的实际交互状态；基于所述实际交互状态对所述当前时刻下虚拟环境中所述初始虚拟三维人体姿态进行调整得到目标虚拟三维人体姿态，展示所述当前时刻下在所述虚拟环境中的所述目标虚拟三维人体姿态。虚拟三维人体姿态。虚拟三维人体姿态。

【技术实现步骤摘要】
人体姿态生成方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
本公开尤其涉及深度学习领域。

技术介绍

[0002]人体姿态生成即从单个的图片或视频中生成人体姿态的虚拟三维姿态，通常虚拟三维姿态根据二维图像来构建。但是，目前基于人物实时构建起对应的虚拟三维姿态，可能会出现与虚拟环境交互不符合物理动力学的情况，因此，如何使得人物的虚拟三维姿态与虚拟环境的交互更加符合实际情况，就成为需要解决的问题。

技术实现思路

[0003]本公开提供了一种人体姿态生成方法、装置、电子设备、存储介质及计算机程序产品。
[0004]根据本公开的一方面，提供了一种人体姿态生成方法，包括：
[0005]基于包含目标人物的N个视角下分别对应的当前帧图像，生成当前时刻下所述目标人物所对应的初始虚拟三维人体姿态；其中，N为大于等于2的整数；
[0006]获取所述当前时刻下所述目标人物与实际地面之间的实际交互状态；
[0007]基于所述实际交互状态对所述当前时刻下虚拟环境中所述初始虚拟三维人体姿态进行调整得到目标虚拟三维人体姿态，展示所述当前时刻下在所述虚拟环境中的所述目标虚拟三维人体姿态。
[0008]根据本公开的另一方面，提供了一种人体姿态生成装置，包括：
[0009]初始姿态构建模块，用于基于包含目标人物的N个视角下分别对应的当前帧图像，生成当前时刻下所述目标人物所对应的初始虚拟三维人体姿态；其中，N为大于等于2的整数；
[0010]状态获取模块，用于获取所述当前时刻下所述目标人物与实际地面之间的实际交互状态；
[0011]姿态调整模块，用于基于所述实际交互状态对所述当前时刻下虚拟环境中所述初始虚拟三维人体姿态进行调整得到目标虚拟三维人体姿态，展示所述当前时刻下在所述虚拟环境中的所述目标虚拟三维人体姿态。
[0012]根据本公开的另一方面，提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与所述至少一个处理器通信连接的存储器；其中，
[0015]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述方法。
[0016]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
[0017]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机
程序被处理器执行时实现本公开任一实施例中的方法。
[0018]采用本公开，可以实时的根据目标人物的N个视角的图像，来确定所述目标人物对应的初始虚拟三维人体姿态，再结合所述当前时刻下所述目标人物与实际地面之间的实际交互状态，来对所述初始虚拟三维人体姿态进行约束，使得最终得到的在虚拟环境中的目标虚拟三维人体姿态与虚拟地面之间的虚拟交互状态更加合理，从而使得实时显示的在虚拟环境中的目标虚拟三维人体姿态的效果更加真实。
[0019]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0021]图1是根据本公开第一实施例的人体姿态生成方法流程示意图；
[0022]图2是根据本公开第二实施例的人体姿态生成方法流程示意图；
[0023]图3是根据本公开第三实施例的人体姿态生成方法流程示意图；
[0024]图4是根据本公开实施例的立体视觉处理方法示意图；
[0025]图5A是根据本公开实施例的目标人物的关节点的示意图；
[0026]图5B是根据本公开实施例的一种初始虚拟三维人体姿态的示意图；
[0027]图6是根据本公开第四实施例的人体姿态生成装置组成结构示意图；
[0028]图7是用来实现本公开实施例的人体姿态生成方法的电子设备的框图。
具体实施方式
[0029]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0030]图1是根据本申请第一实施例的人体姿态生成方法的流程示意图。该方法可以包括：
[0031]S101：基于包含目标人物的N个视角下分别对应的当前帧图像，生成当前时刻下所述目标人物所对应的初始虚拟三维人体姿态；其中，N为大于等于2的整数；
[0032]S102：获取所述当前时刻下所述目标人物与实际地面之间的实际交互状态；
[0033]S103：基于所述实际交互状态对所述当前时刻下所述虚拟环境中所述初始虚拟三维人体姿态进行调整得到目标虚拟三维人体姿态，展示所述当前时刻下在所述虚拟环境中的所述目标虚拟三维人体姿态。
[0034]本实施例可以应用于电子设备，比如，可以是智能手机、平板电脑、个人电脑等设备。
[0035]所述N个视角下分别对应的当前帧图像的获取方式可以包括：从N个摄像头获取每一个摄像头采集的包含目标人物的当前帧图像，作为所述当前时刻下包含目标人物的N个视角下分别对应的当前帧图像。也就是说，同一次可以获取包含目标人物的N个视角下的N个当前帧图像。
[0036]其中，所述N个摄像头中，不同摄像头相对于目标人物的拍摄角度是不同的，本实施例中将其称为在N个视角下的N个摄像头；相应的，从所述N个视角下的N个摄像头分别获取包含目标人物的当前帧图像，就可以得到所述当前时刻的包含目标人物的N个视角下分别对应的当前帧图像。
[0037]基于所述包含目标人物的N个视角下分别对应的当前帧图像，生成当前时刻下所述目标人物所对应的初始虚拟三维人体姿态，可以指的是：
[0038]先基于所述包含目标人物的N个视角下分别对应的当前帧图像确定所述目标人物的关节点在世界坐标系下的三维位置信息；基于所述目标人物的所述关节点在所述世界坐标系下的三维位置信息，以及预设的约束条件生成当前时刻下所述目标人物所对应的初始虚拟三维人体姿态。
[0039]在得到所述初始虚拟三维人体姿态之后，需要对所述当前时刻下初始虚拟三维人体姿态与所述虚拟环境中的虚拟地面的虚拟交互状态进行检测或调整。本实施例提供的方案中，基于当前时刻下所述目标人物与实际地面之间的实际交互状态来对所述当前时刻下初始虚拟三维人体姿态与所述虚拟环境中的虚拟地面的虚拟交互状态进行检测或调整。比如，可以获取当前时刻下所述目标人物与实际地面之间的实际交互状态，以及获取所述当前时刻下在虚拟环境中所述初始虚拟三维人体姿态与虚拟地面之间的虚拟交互状态；进而在所述实际交互状态与所述虚拟交互状态不同的情况下，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人体姿态生成方法，包括：基于包含目标人物的N个视角下分别对应的当前帧图像，生成当前时刻下所述目标人物所对应的初始虚拟三维人体姿态；其中，N为大于等于2的整数；获取所述当前时刻下所述目标人物与实际地面之间的实际交互状态；基于所述实际交互状态对所述当前时刻下虚拟环境中所述初始虚拟三维人体姿态进行调整得到目标虚拟三维人体姿态，展示所述当前时刻下在所述虚拟环境中的所述目标虚拟三维人体姿态。2.根据权利要求1所述的方法，其中，所述获取所述当前时刻下所述目标人物与实际地面之间的实际交互状态，包括：从所述包含目标人物的所述N个视角下分别对应的当前帧图像的第i个视角的当前帧图像中，获取所述当前时刻下所述目标人物的关节点的二维信息；其中，i为大于等于1且小于等于N个整数；将所述当前时刻下所述目标人物的关节点的二维信息输入至目标网络，得到所述目标网络输出的所述当前时刻下所述目标人物与实际地面之间的所述实际交互状态。3.根据权利要求1所述的方法，其中，所述方法还包括：基于包含目标人物的N个视角下分别对应的M个历史帧图像，确定所述目标人物与所述实际地面的所述实际交互状态为接触的情况下所述目标人物的目标部位在世界坐标系下的高度值；其中，M为大于等于2的整数；基于所述目标人物的目标部位在世界坐标系下的高度值，确定所述目标人物的目标部位在所述世界坐标系下的高度阈值。4.根据权利要求3所述的方法，其中，所述获取所述当前时刻下所述目标人物与实际地面之间的实际交互状态，包括：基于所述包含目标人物的N个视角下分别对应的当前帧图像，确定所述目标人物的所述目标部位在所述世界坐标系下的当前高度值；基于所述目标部位在所述世界坐标系下的当前高度值、以及所述目标人物的目标部位在所述世界坐标系下的所述高度阈值，确定所述当前时刻下所述目标人物与实际地面之间的所述实际交互状态。5.根据权利要求1所述的方法，其中，所述方法还包括：获取所述当前时刻下在所述虚拟环境中所述初始虚拟三维人体姿态与虚拟地面之间的虚拟交互状态；在所述实际交互状态与所述虚拟交互状态不同的情况下，确定对所述当前时刻下所述虚拟环境中所述初始虚拟三维人体姿态进行调整。6.根据权利要求1
‑
5任一项所述的方法，其中，所述基于包含目标人物的N个视角下分别对应的当前帧图像，生成当前时刻下所述目标人物所对应的初始虚拟三维人体姿态，包括：基于包含目标人物的N个视角下分别对应的当前帧图像，确定所述当前时刻下所述目标人物的关节点在世界坐标系下的三维位置信息；基于所述当前时刻下所述目标人物的关节点在世界坐标系下的三维位置信息以及约束条件，确定所述目标人物的关节点的相关参数，基于所述目标人物的关节点的相关参数
生成当前时刻下所述目标人物所对应的初始虚拟三维人体姿态。7.一种人体姿态生成装置，包括：初始姿态构建模块，用于基于包含目标人物的N个视角下分别对应的当前帧图像，生成当前时刻下所述目标人物所对应的初始虚拟三维人体姿态；其中，N为大于等于2的整数；状态获取模块，用于获取所述当前时刻下所述目...

【专利技术属性】
技术研发人员：郭紫垣，赵亚飞，陈超，张世昌，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：