一种人体关键点检测方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种人体关键点检测方法及装置、电子设备和存储介质，其中，所述方法包括：响应于检测到图像中包含人体，将所述图像中用于标识人体关键点位置的二维坐标数据提取出来，得到2D位姿数据；将所述2D位姿数据和对应所述人体关键点位置的深度数据进行人体关键点特征融合，得到用于标识人体关键点位置的3D位姿数据。采用本公开，能对于人体处于运动状态时实现精确的人体关键点检测。

【技术实现步骤摘要】
一种人体关键点检测方法及装置、电子设备和存储介质
本公开涉及人体检测
，尤其涉及一种人体关键点检测方法及装置、电子设备和存储介质。
技术介绍
相关技术中，人体关键点检测技术是基于深度学习算法所开发的应用。在计算机算力不断提升、数据集不断扩大的背景下，深度学习算法作为机器学习的一个重要分支，被应用到了各个行业中。可对于诸如体感游戏、人体动态监控等应用场景中，对于人体处于运动状态时如何实现精确的人体关键点检测，目前未存在有效的解决方案。
技术实现思路
本公开提出了一种人体关键点检测技术方案。根据本公开的一方面，提供了一种人体关键点检测方法，所述方法包括：响应于检测到图像中包含人体，将所述图像中用于标识人体关键点位置的二维坐标数据提取出来，得到2D位姿数据；将所述2D位姿数据和对应所述人体关键点位置的深度数据进行人体关键点特征融合，得到用于标识人体关键点位置的3D位姿数据。采用本公开，将图像中用于标识人体关键点位置的二维坐标数据提取出来，可以得到2D位姿数据。将2D位姿数据和对应所述人体关键点位置的深度数据进行人体关键点特征融合，得到的3D位姿数据为用于标识人体关键点位置的三维坐标数据，通过标识人体关键点位置的三维坐标数据能对于人体处于运动状态时实现精确的人体关键点检测。可能的实现方式中，所述方法还包括：所述将所述2D位姿数据和对应所述人体关键点位置的深度数据进行人体关键点特征融合之前，将RGB图像数据流中每帧图像与对应同一图像的深度数据进行数据对齐的预处理，得到RGBD图像数据流。采用本公开，将RGB数据和深度数据对齐，得到RGBD数据，可以实现对数据的预处理，之后分别对该RGB数据和RGBD数据进行相应的图像处理。可能的实现方式中，所述检测到图像中包含人体，包括：对于当前帧图像，经所述第一图像处理后得到多个图像特征；根据人体识别网络判断出所述多个图像特征为人体关键点特征的情况下，检测到所述当前帧图像中包含人体，直至对所有帧图像完成检测。采用本公开，根据人体识别网络判断出所述多个图像特征为人体关键点特征的情况下，可以检测到所述当前帧图像中包含人体。可能的实现方式中，所述方法还包括：所述将所述2D位姿数据和对应所述人体关键点位置的深度数据进行人体关键点特征融合之前，对于当前帧图像，经所述第二图像处理后得到多个深度数据，直至对所有帧图像完成图像处理。采用本公开，对于当前帧图像，经所述第二图像处理后得到多个深度数据，直至对所有帧图像完成图像处理，然后将多个深度数据与2D位姿数据相结合，以实现人体关键点的特征融合。可能的实现方式中，所述方法还包括：获取第一人体运动状态；将所述第一人体运动状态对应的人体关键点位置变化通过第一3D位姿数据进行描述；根据所述第一3D位姿数据生成第一控制指令，将所述第一控制指令发送给接收侧设备，以在所述接收侧设备的显示屏上展示对应所述第一人体运动状态的动作模拟操作。采用本公开，将所述第一人体运动状态对应的人体关键点位置变化通过第一3D位姿数据进行描述，通过发送第一控制指令给接收侧设备，实现了在接收侧设备的显示屏上展示对应第一人体运动状态的动作模拟操作。可能的实现方式中，所述方法还包括：获取第二人体运动状态；将所述第二人体运动状态对应的人体关键点位置变化通过第二3D位姿数据进行描述；将所述第二3D位姿数据与预配置的位姿数据进行比对，比对结果不一致的情况下生成第二控制指令；根据所述第二控制指令发出提示信息，以根据所述提示信息调整所述第二人体运动状态至符合目标状态。采用本公开，将所述第二人体运动状态对应的人体关键点位置变化通过第二3D位姿数据进行描述，通过第二控制指令发出提示信息，实现了根据提示信息调整第二人体运动状态至符合目标状态。可能的实现方式中，所述方法还包括：获取第三人体运动状态；将所述第三人体运动状态对应的人体关键点位置变化通过第三3D位姿数据进行描述；将所述第三3D位姿数据发送给接收侧设备，以在所述接收侧设备的显示屏上展示由虚拟形象采样所述第三3D位姿数据执行的操作。采用本公开，将所述第三人体运动状态对应的人体关键点位置变化通过第三3D位姿数据进行描述，将所述第三3D位姿数据发送给接收侧设备，实现了在述接收侧设备的显示屏上展示由虚拟形象采样所述第三3D位姿数据执行的操作。可能的实现方式中，所述人体识别网络的训练过程包括：将预先标注好的人体关键点特征作为训练样本数据，将所述训练样本数据输入待训练的人体识别网络进行训练，直至输出结果满足网络训练条件，训练后得到所述人体识别网络。采用本公开，将预先标注好的人体关键点特征作为训练样本数据，将所述训练样本数据输入待训练的人体识别网络进行训练，可以将训练后得到人体识别网络用于人体关键点检测，且确保检测的高效和准确性。根据本公开的一方面，提供了一种人体关键点检测装置，所述装置包括：检测模块，用于响应于检测到图像中包含人体，将所述图像中用于标识人体关键点位置的二维坐标数据提取出来，得到2D位姿数据；融合模块，用于将所述2D位姿数据和对应所述人体关键点位置的深度数据进行人体关键点特征融合，得到用于标识人体关键点位置的3D位姿数据。可能的实现方式中，所述装置还包括：预处理模块，用于：将RGB图像数据流中每帧图像与对应同一图像的深度数据进行数据对齐的预处理，得到RGBD图像数据流。可能的实现方式中，所述检测模块，进一步用于：对于当前帧图像，经所述第一图像处理后得到多个图像特征；根据人体识别网络判断出所述多个图像特征为人体关键点特征的情况下，检测到所述当前帧图像中包含人体，直至对所有帧图像完成检测。可能的实现方式中，所述装置还包括：图像处理模块，用于：对于当前帧图像，经所述第二图像处理后得到多个深度数据，直至对所有帧图像完成图像处理。可能的实现方式中，所述装置还包括：第一姿态获取模块，用于获取第一人体运动状态；第一数据描述模块，用于将所述第一人体运动状态对应的人体关键点位置变化通过第一3D位姿数据进行描述；第一指令发送模块，用于根据所述第一3D位姿数据生成第一控制指令，将所述第一控制指令发送给接收侧设备，以在所述接收侧设备的显示屏上展示对应所述第一人体运动状态的动作模拟操作。可能的实现方式中，所述装置还包括：第二姿态获取模块，用于获取第二人体运动状态；第二数据描述模块，用于将所述第二人体运动状态对应的人体关键点位置变化通过第二3D位姿数据进行描述；数据比对模块，用于将所述第二3D位姿数据与预配置的位姿数据进行比对，比对结果不一致的情况下生成第二控制指令；提示信息发送模块，用于根据所述第二控制指令发出提示信息，以根据所述提示信息调整所述第二人体运动状态至符合目标状态。可能的实现方式中，所述装置还包括：第三姿态获取模块，用于获取第三人体运动状态；第三数据描述模块，用于将所述第三人体运动状态对应的人体关键点位置变化通过第三3D位姿数据进行描述；第二指令发送模块，用于将所述第三3D位姿数据发送给接收侧设备，以在所述接收侧设备的显示屏上展示由虚拟形象采样所述第三3D位姿数据执行的操作。可能的实现方式中，所述装置还包括：网络训练模块，用于：在所述人体识别网络的训练过程中，将预先标注好的人体关键点特征作为训练样本数据，将所述训练样本数据输入待训练的人体识本文档来自技高网...

【技术保护点】
1.一种人体关键点检测方法，其特征在于，所述方法包括：响应于检测到图像中包含人体，将所述图像中用于标识人体关键点位置的二维坐标数据提取出来，得到2D位姿数据；将所述2D位姿数据和对应所述人体关键点位置的深度数据进行人体关键点特征融合，得到用于标识人体关键点位置的3D位姿数据。

【技术特征摘要】
1.一种人体关键点检测方法，其特征在于，所述方法包括：响应于检测到图像中包含人体，将所述图像中用于标识人体关键点位置的二维坐标数据提取出来，得到2D位姿数据；将所述2D位姿数据和对应所述人体关键点位置的深度数据进行人体关键点特征融合，得到用于标识人体关键点位置的3D位姿数据。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述将所述2D位姿数据和对应所述人体关键点位置的深度数据进行人体关键点特征融合之前，将RGB图像数据流中每帧图像与对应同一图像的深度数据进行数据对齐的预处理，得到RGBD图像数据流。3.根据权利要求1或2所述的方法，其特征在于，所述检测到图像中包含人体，包括：对于当前帧图像，经所述第一图像处理后得到多个图像特征；根据人体识别网络判断出所述多个图像特征为人体关键点特征的情况下，检测到所述当前帧图像中包含人体，直至对所有帧图像完成检测。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：所述将所述2D位姿数据和对应所述人体关键点位置的深度数据进行人体关键点特征融合之前，对于当前帧图像，经所述第二图像处理后得到多个深度数据，直至对所有帧图像完成图像处理。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：获取第一人体运动状态；将所述第一人体运动状态对应的人体关键点位置变化通过第一3D位姿数据进行描述；根据所述第一3D位姿数据生成第一控制指令，将所述第一控制指令发送给接收侧设备，以在所述接收侧设备的显示屏...

【专利技术属性】
技术研发人员：刘文韬，郭玉京，王勇望，钱晨，李佳桦，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东,44