一种人体姿态估计方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及体感游戏技术领域，提供人体姿态估计方法、装置、电子设备及存储介质，其方法包括：获取人体位置，对所述人体位置初始化，所述人体位置包括人体关键点；检测移动过程中所述人体关键点对应的人体关键点图像，通过多层深度可分离卷积网络对所述人体关键点图像进行多层深度可分离卷积，提取语义信息，得到人体语义特征图；将所述人体语义特征图进行多层重新排列组合与多层所述深度可分离卷积，提取位置信息；基于所述位置信息与所述语义信息对目标人体姿态进行估计，并根据所述目标人体姿态控制虚拟对象。本发明专利技术能够节约成本，降低人体姿态估计过程中的计算量。

【技术实现步骤摘要】
一种人体姿态估计方法、装置、电子设备及存储介质
本专利技术涉及体感游戏
，尤其涉及一种人体姿态估计方法、装置、电子设备及存储介质。
技术介绍
目前，在大城市的快节奏下，上班族难以挤出时间安排健身，且健身房年卡开销大，成本高。基于此背景，体感类的健身游戏越来越受到年轻人的青睐。体感游戏感知用户的动作在现有的技术中主要有两类：1、手持手柄传感器感知玩家的姿态变化；2、3D/双目等特殊摄像头捕捉玩家的姿态变化。上述两类在硬件成本上较高。此外，在深度学习领域中常见的人体估计姿态模型主要由语义提取模块以及位置信息获取模块构成，在语义提取过程中常常与位置信息无关，但图像经过语义信息提取后其位置信息发生变化，因此需要其保持原有的大小。现有的做法是使用多层反卷积操作，该方式会增加计算量，引起模型预测时间增加。可见，现有技术中，在体感游戏进行人体姿态估计方面，存在硬件成本高、计算量大的问题。
技术实现思路
本专利技术实施例提供一种人体姿态估计方法，能够降低提高游戏在人体姿态估计上的硬件成本，降低计算量。第一方面，本专利技术实施例提供一种人体姿态估计方法，包括：获取人体位置，对所述人体位置初始化，所述人体位置包括人体关键点；检测移动过程中所述人体关键点对应的人体关键点图像，通过多层深度可分离卷积网络对所述人体关键点图像进行多层深度可分离卷积，提取语义信息，并得到人体语义特征图；将所述人体语义特征图进行多层重新排列组合与多层所述深度可分离卷积，提取位置信息；基于所述位置信息与所述语义信息对目标人体姿态进行估计，并根据所述目标人体姿态控制虚拟对象。第二方面，本专利技术实施例提供一种人体姿态估计装置，包括：初始化模块，用于获取人体位置，对所述人体位置初始化，所述人体位置包括人体关键点；语义提取模块，用于检测移动过程中所述人体关键点对应的人体关键点图像，通过多层深度可分离卷积网络对所述人体关键点图像进行多层深度可分离卷积，提取语义信息，并得到人体语义特征图；位置提取模块，用于将所述人体语义特征图进行多层重新排列组合与多层所述深度可分离卷积，提取位置信息；控制模块，用于基于所述位置信息与所述语义信息对目标人体姿态进行估计，并根据所述目标人体姿态控制虚拟对象。第三方面，本专利技术实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术实施例提供的人体姿态估计方法中的步骤。第四方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现专利技术实施例提供的人体姿态估计方法中的步骤。在本专利技术实施例中，获取人体位置，对所述人体位置初始化，所述人体位置包括人体关键点；检测移动过程中所述人体关键点对应的人体关键点图像，通过多层深度可分离卷积网络对所述人体关键点图像进行多层深度可分离卷积，提取语义信息，并得到人体语义特征图；将所述人体语义特征图进行多层重新排列组合与多层所述深度可分离卷积，提取位置信息；基于所述位置信息与所述语义信息对目标人体姿态进行估计，并根据所述目标人体姿态控制虚拟对象。本专利技术实施例主要是基于2D摄像头执行的人体姿态估计，相对需配置手柄传感器、3D/双目摄像头等硬件而言，成本低；且在获取到语义信息后对人体语义特征图进行还原获取位置信息的过程中，结合了深度可分离卷积网络以及重新排列组合进行处理，深度可分离卷积网络的计算复杂度远低于多层反卷积的计算复杂度，且对人体语义特征图进行重新排列组合只涉及重组问题，并不增加计算量，结合深度可分离卷积网络以及重新排列组合处理后所需计算次数远低于多层反卷积的计算次数，从而降低计算量。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1a为本专利技术实施例提供的一种人体姿态估计方法的流程图；图1b为本专利技术实施例提供人体位置初始化的结构示意图；图2a为本专利技术实施例提供的另一种人体姿态估计方法的流程图；图2b为本专利技术实施例提供的另一种人体姿态估计方法的流程图；图3a为本专利技术实施例提供的另一种人体姿态估计方法的流程图；图3b为本专利技术实施例提供的一种深度可分离卷积计算的结构示意图；图4为本专利技术实施例提供的一种人体姿态估计装置的结构示意图；图5为本专利技术实施例提供的另一种人体姿态估计装置的结构示意图；图6为本专利技术实施例提供的另一种人体姿态估计装置的结构示意图；图7为本专利技术实施例提供的另一种人体姿态估计装置的结构示意图；图8为本专利技术实施例提供的另一种人体姿态估计装置的结构示意图；图9为本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参见图1a，图1a是本专利技术实施例提供的一种人体姿态估计方法的流程图，如图1a所示，包括以下步骤：S101、获取人体位置，对人体位置初始化，人体位置包括人体关键点。在本专利技术实施例中，人体姿态估计方法运行于其上的电子设备可以通过有线连接方式或者无线连接方式获取用户所在的人体位置等信息。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMA×(WorldwideInteroperabilityforMicrowaveAccess)连接、Zigbee(低功耗局域网协议，又称紫峰协议)连接、UWB(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。本专利技术实施例提供的人体姿态估计方法可以运用在各种体感游戏机中。当用户开启体感游戏机后，通过2D摄像头可以获取用户的人体位置并进行初始化，通过采集人体位置的人体关键点，进行人体语义特征图提取与计算，根据最终计算得到的结果实现对用户的人体姿态估计，进而控制用户在虚拟界面中的动作。上述的2D摄像头可以是在两个维度(x，y)上成像的摄像头。具体的，参考图1b所示，当用户开启体感游戏机后，在体感游戏机的屏幕上会出现一个人体轮廓图像，用户需要站在指定位置完成人体位置初始化，这样可以定位用户的人体位置。初始化人体位置后，可以基于人体位置定位人体关键点，人体关键点可以有17个具体的关键点，包括：鼻子、左眼、右眼、左耳、右耳、左手腕、右手腕、左肘、右肘、左肩膀、右肩膀、左胯、右胯、左膝盖、右膝盖、左脚踝以及右本文档来自技高网...

【技术保护点】
1.一种人体姿态估计方法，其特征在于，包括以下步骤：/n获取人体位置，对所述人体位置初始化，所述人体位置包括人体关键点；/n检测移动过程中所述人体关键点对应的人体关键点图像，通过多层深度可分离卷积网络对所述人体关键点图像进行多层深度可分离卷积，提取语义信息，并得到人体语义特征图；/n将所述人体语义特征图进行多层重新排列组合与多层所述深度可分离卷积，提取位置信息；/n基于所述位置信息与所述语义信息对目标人体姿态进行估计，并根据所述目标人体姿态控制虚拟对象。/n

【技术特征摘要】
1.一种人体姿态估计方法，其特征在于，包括以下步骤：
获取人体位置，对所述人体位置初始化，所述人体位置包括人体关键点；
检测移动过程中所述人体关键点对应的人体关键点图像，通过多层深度可分离卷积网络对所述人体关键点图像进行多层深度可分离卷积，提取语义信息，并得到人体语义特征图；
将所述人体语义特征图进行多层重新排列组合与多层所述深度可分离卷积，提取位置信息；
基于所述位置信息与所述语义信息对目标人体姿态进行估计，并根据所述目标人体姿态控制虚拟对象。


2.如权利要求1所述的方法，其特征在于，所述检测移动过程中所述人体关键点对应的人体关键点图像，通过多层深度可分离卷积网络对所述人体关键点图像进行多层深度可分离卷积，提取语义信息，并得到人体语义特征图的步骤包括：
基于预设跟踪算法对移动过程中所述人体关键点图像进行跟踪，获取移动过程中的所述人体关键点图像；
通过所述多层深度可分离卷积网络对所述人体关键点图像进行所述多层深度可分离卷积，从每次的深度可分离卷积中提取所述语义信息；
基于所述多层深度可分离卷积后，提取所述人体语义特征图。


3.如权利要求1所述的方法，其特征在于，所述将所述人体语义特征图进行多层重新排列组合与多层深度可分离卷积，提取位置信息的步骤包括：
对所述人体语义特征图进行所述重新排列组合，得到重组人体语义特征图；
将所述重组人体语义特征图进行所述深度可分离卷积，并基于所述人体语义特征图以及所述人体位置初始化后原图的大小有序的多层执行所述重新排列组合以及所述深度可分离卷积，以得到目标重组特征图；
根据预设比率变换将所述目标重组特征图进行转换，提取所述位置信息。


4.如权利要求3所述的方法，其特征在于，所述将所述重组人体语义特征图进行所述深度可分离卷积的步骤包括：
设置所述多层深度可分离卷积网络的卷积参数，所述多层深度可分离卷积网络包括特征图分组卷积以及卷积核卷积；
基于所述特征图分组卷积的分组卷积参数对所述重组人体语义特征图进行所述特征图分组卷积；
完成所述特征图分组卷积后，基于所述卷积核卷积的卷积核参数对所述重组人体语义...

【专利技术属性】
技术研发人员：冯展鹏，吴天舒，胡文泽，王孝宇，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：广东;44