【技术实现步骤摘要】
本说明书涉及姿态控制领域，更具体地说，本申请涉及一种基于摄像头的人体姿态估计与控制方法及相关设备。
技术介绍
1、目前人体姿态估计应用大多停留在视频方面，通过输入视频经过神经网络处理，输出人体骨骼点坐标，再用骨骼点坐标驱动三维模型或者机器人。由于用于姿态估计的神经网络往往过于庞大，使得实际应用中速度较慢，在实时检测中难以保证高帧率和稳定性，对设备算力要求极高。因此大部分姿态估计只应用在后处理中，极少使用实时检测与实时驱动。
技术实现思路
1、在
技术实现思路
部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本申请的
技术实现思路
部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
2、第一方面，本申请提出一种基于摄像头的人体姿态估计与控制方法，上述方法包括：
3、获取摄像头对应的目标图片，其中，上述目标图片中包括目标人物；
4、根据上述目标图片识别目标人物的人体骨骼点坐标信息；
5、基于上述人体骨骼点坐标信息控制被控对象的执行动作，其中，上述被控对象包括虚拟人物和目标机器人。
6、在一种实施方式中，上述摄像头为具有kinect传感器的摄像头，上述方法还包括：
7、基于上述摄像头获取rgb图像和深度图像；
8、根据上述rgb图像和上述深度图像进行特征融合以获取人体骨骼坐标信息。
9、在一种实施方式中，
10、对上述深度图像进行预处理操作，其中，上述预处理操作包括去除噪声操作、填充空洞操作和平滑深度信息操作；
11、将进行预处理操作后的深度图像进行三维点云转换以获取点云信息；
12、基于上述rgb图像信息和轻量姿态估计模型获取第一骨骼坐标信息；
13、基于上述点云信息和上述轻量姿态估计模型获取第二骨骼坐标信息；
14、基于上述第一骨骼坐标信息和上述第二骨骼坐标信息进行特征融合操作以获取人体骨骼坐标信息。
15、在一种实施方式中，上述轻量姿态估计模型包括blazepose模型和simple yetbaseline模型。
16、在一种实施方式中，上述基于上述第一骨骼坐标信息和上述第二骨骼坐标信息进行特征融合操作以获取人体骨骼坐标信息，包括：
17、对上述第一骨骼坐标信息和上述第二骨骼坐标信息进行权重融合操作以获取人体骨骼坐标信息。
18、在一种实施方式中，上述第一骨骼坐标信息的权重系数是基于上述rgb图像的颜色深度信息确定的，上述第二骨骼坐标信息的权重系数是基于和深度分布信息确定的。
19、第二方面，本申请还提出一种基于摄像头的人体姿态估计与控制装置，包括：
20、获取单元，用于获取摄像头对应的目标图片，其中，上述目标图片中包括目标人物；
21、识别单元，用于根据上述目标图片识别目标人物的人体骨骼点坐标信息；
22、控制单元，用于基于上述人体骨骼点坐标信息控制被控对象的执行动作，其中，上述被控对象包括虚拟人物和目标机器人。
23、第三方面，一种电子设备，包括：存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器用于执行存储器中存储的计算机程序时实现如上述的第一方面任一项的基于摄像头的人体姿态估计与控制方法的步骤。
24、第四方面，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现第一方面上述任一项的基于摄像头的人体姿态估计与控制方法。
25、综上，本申请实施例的基于摄像头的人体姿态估计与控制方法包括：获取摄像头对应的目标图片，其中，上述目标图片中包括目标人物；根据上述目标图片识别目标人物的人体骨骼点坐标信息；基于上述人体骨骼点坐标信息控制被控对象的执行动作，其中，上述被控对象包括虚拟人物和目标机器人。本申请实施例提出的基于摄像头的人体姿态估计与控制方法，基于摄像头获取静态图像，可以更容易实现实时性，能够克服相关技术中需要处理视频流，可能会受到较大的处理延迟的缺陷。本申请提出的方法只需要分析单个静态图像，相对于处理视频流，计算要求更低，因此更具计算效率。有助于在资源受限的设备上实现姿态估计和控制。本申请使用摄像头，相对于需要使用复杂的多目摄像头设置(如rgb-d相机或多相机系统)的方案，减少了对设备要求的依赖。本申请提出的方法可以更容易适应不同应用场景，因为它不需要实时处理视频流，也可以在更广泛的设备上使用。
26、本申请提出的基于摄像头的人体姿态估计与控制方法，本申请的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本申请的研究和实践而为本领域的技术人员所理解。
本文档来自技高网...【技术保护点】
1.一种基于摄像头的人体姿态估计与控制方法，其特征在于，包括：
2.根据权利要求1所述的基于摄像头的人体姿态估计与控制方法，其特征在于，所述摄像头为具有Kinect传感器的摄像头，所述方法还包括：
3.根据权利要求2所述的基于摄像头的人体姿态估计与控制方法，其特征在于，所述根据所述RGB图像和所述深度图像进行特征融合以获取人体骨骼坐标信息，包括
4.根据权利要求1所述的基于摄像头的人体姿态估计与控制方法，其特征在于，所述轻量姿态估计模型包括Blazepose模型和Simple yet baseline模型。
5.根据权利要求1所述的基于摄像头的人体姿态估计与控制方法，其特征在于，所述基于所述第一骨骼坐标信息和所述第二骨骼坐标信息进行特征融合操作以获取人体骨骼坐标信息，包括：
6.根据权利要求5所述的基于摄像头的人体姿态估计与控制方法，其特征在于，所述第一骨骼坐标信息的权重系数是基于所述RGB图像的颜色深度信息确定的，所述第二骨骼坐标信息的权重系数是基于和深度分布信息确定的。
7.一种基于摄像头的人体姿态估计与
8.一种电子设备，包括：存储器和处理器，其特征在于，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-6中任一项所述的基于摄像头的人体姿态估计与控制方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的基于摄像头的人体姿态估计与控制方法的步骤。
...【技术特征摘要】
1.一种基于摄像头的人体姿态估计与控制方法，其特征在于，包括：
2.根据权利要求1所述的基于摄像头的人体姿态估计与控制方法，其特征在于，所述摄像头为具有kinect传感器的摄像头，所述方法还包括：
3.根据权利要求2所述的基于摄像头的人体姿态估计与控制方法，其特征在于，所述根据所述rgb图像和所述深度图像进行特征融合以获取人体骨骼坐标信息，包括
4.根据权利要求1所述的基于摄像头的人体姿态估计与控制方法，其特征在于，所述轻量姿态估计模型包括blazepose模型和simple yet baseline模型。
5.根据权利要求1所述的基于摄像头的人体姿态估计与控制方法，其特征在于，所述基于所述第一骨骼坐标信息和所述第二骨骼坐标信息进行特征融...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。