【技术实现步骤摘要】
本申请涉及人机交互，提供一种基于人体骨骼点的舞蹈动作评估方法及游戏设备。
技术介绍
1、人工智能(artificial intelligence，ai)的快速发展，为人们带来的方便、快捷的生活方式，如人脸支付、自动驾驶、医疗检测等等，这意味着解放双手已成为人机交互的一种趋势。
2、传统游戏主要是靠人的操作触发相关事件，比如网游、手游等。近年来，随着人工智能技术的发展，出现了一些体感游戏，这些游戏主要以虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)的形式呈现，如滑雪、过山车、射击以及跳舞机等vr游戏。
3、目前，体感游戏主要是通过大量的传感器捕捉人体或头部的动作，从而模拟出人体或头部的位姿，并基于模拟出的位姿进行人机交互。然而，佩戴传感器会造成用户行动不便，进而降低了用户的游戏体验。
技术实现思路
1、本申请实施例提供了一种基于人体骨骼点的舞蹈动作评估方法及游戏设备，用以提高人体位姿的估计精度。
2、一方面，本申请实施例提供一种人体骨骼点的舞蹈动作评估方法，包括：
3、获取预先处理的目标舞蹈视频并播放，所述目标舞蹈视频的每一视频帧包含：相应视频帧中舞蹈动作关联的各骨骼点的3d参考坐标；
4、在所述目标舞蹈视频播放过程中，获取相机连续采集的目标用户的人体图像，并提取每一张人体图像中所述各骨骼点的2d坐标；
5、确定当前人体图像是否为首张人体图像，若是，则根据所
6、根据所述各骨骼点当前的3d坐标，以及，所述当前人体图像对应的当前视频帧中舞蹈动作关联的各骨骼点的3d参考坐标，获得所述当前视频帧的舞蹈动作与所述目标用户的舞蹈动作间的目标相似度；
7、根据各视频帧对应的目标相似度，获得所述目标用户的舞蹈动作评估结果。
8、另一方面，本申请实施例提供一种游戏设备，包括处理器、存储器和显示屏，所述显示屏、所述存储器和所述处理器通过总线连接；
9、所述存储器包括数据存储单元和程序存储单元，所述数据存储单元存储有目标舞蹈视频的每一视频帧中舞蹈动作关联的各骨骼点的3d参考坐标，以及相机采集的人体图像，所述程序存储单元存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：
10、通过所述显示屏播放所述目标舞蹈视频，并在目标舞蹈视频的播放过程中，获取相机连续采集的目标用户的人体图像，并提取每一张人体图像中所述各骨骼点的2d坐标；
11、确定当前人体图像是否为首张人体图像，若是，则根据所述各骨骼点当前的2d坐标获得所述各骨骼点当前的3d坐标，否则，根据所述各骨骼点当前的2d坐标和前n次的2d坐标，获得所述各骨骼点当前的3d坐标，n≥1；
12、获取所述数据存储单元存储的所述当前人体图像对应的视频帧中舞蹈动作关联的各骨骼点的3d坐标，结合所述当前人体图像中各骨骼点的3d坐标，获得所述视频帧中的舞蹈动作与所述目标用户的舞蹈动作间的目标相似度；
13、根据各视频帧对应的目标相似度，获得所述目标用户的舞蹈动作评估结果。
14、可选的，所述处理器根据所述各骨骼点当前的2d坐标获得所述各骨骼点当前的3d坐标，具体操作为：
15、对所述各骨骼点当前的2d坐标进行多维卷积，获得相应骨骼点的空间特征，其中，所述多维卷积共享输入数据；
16、根据所述各骨骼点各自的空间特征，获得相应骨骼点当前的3d坐标。
17、可选的，所述处理器根据所述各骨骼点各自的空间特征，获得相应骨骼点当前的3d坐标，具体操作为：
18、根据所述各骨骼点中根节点的空间特征，预测根节点当前的3d坐标；
19、根据所述各骨骼点中其余骨骼点的空间特征以及所述根节点的空间特征，分别预测相应骨骼点与所述根节点间的相对位置关系；
20、根据各位置关系以及所述根节点当前的3d坐标，获得其余骨骼点当前的3d坐标。
21、可选的，所述处理器根据所述各骨骼点当前的2d坐标和前n次的2d坐标，获得所述各骨骼点当前的3d坐标，具体操作为：
22、对所述各骨骼点当前的2d坐标和前n次的2d坐标进行多维卷积，获得相邻帧间同一骨骼点的时序特征和空间特征，其中，所述多维卷积共享输入数据；
23、根据所述各骨骼点各自的时序特征和空间特征，获得相应骨骼点当前的3d坐标。
24、可选的，所述处理器根据所述各骨骼点各自的时序特征和空间特征，获得相应骨骼点当前的3d坐标，具体操作为：
25、根据所述各骨骼点中根节点的时序特征和空间特征，预测根节点当前的3d坐标；
26、根据所述各骨骼点中其余骨骼点的时序特征和空间特征，以及所述根据节点的时序特征和空间特征，分别预测相应骨骼点与所述根节点间的相对位置关系；
27、根据各位置关系以及所述根节点当前的3d坐标，获得其余骨骼点当前的3d坐标。
28、可选的，所述处理器根据所述各骨骼点当前的3d坐标，以及，所述当前人体图像对应的当前视频帧中舞蹈动作关联的各骨骼点的3d参考坐标，获得所述当前视频帧的舞蹈动作与所述目标用户的舞蹈动作间的目标相似度，具体操作为：
29、针对所述各骨骼点中的每个骨骼点，根据所述骨骼点当前的3d坐标，以及，所述当前视频帧中舞蹈动作关联的所述骨骼点的3d参考坐标，获得所述骨骼点的子相似度；
30、按照所述各骨骼点各自的预设权重，对各子相似度进行加权，获得所述目标用户的舞蹈动作与所述当前视频帧中的舞蹈动作间的目标相似度；其中，每个骨骼点的预设权重是根据所述骨骼点对所述目标用户的舞蹈动作的表达程度大小设置的。
31、可选的，所述处理器提取每一张人体图像中所述各骨骼点的2d坐标，具体操作为：
32、获取播放所述目标舞蹈视频的游戏设备的设备类型；
33、当所述设备类型为固定端时，采用hrnet算法提取每一张人体图像中所述各骨骼点的2d坐标；
34、当所述设备类型为移动端时，采用mediapipe算法提取每一张人体图像中所述各骨骼点的2d坐标。
35、可选的，所述处理器通过以下方式提取所述目标舞蹈视频中当前视频帧中舞蹈动作关联的各骨骼点的3d参考坐标：
36、提取当前视频帧中舞蹈动作关联的各骨骼点的2d坐标；
37、当所述当前视频帧为所述目标舞蹈视频的首帧时，根据所述各骨骼点各自在所述当前视频帧中的2d坐标，获得相应的骨骼点的3d参考坐标；
38、当所述当前视频帧为所述目标舞蹈视频的末帧时，根据所述各骨骼点各自在所述当前视频帧、以及所述当前视频帧的前p帧中的2d坐标，获得相应的骨骼点的3d参考坐标；...
【技术保护点】
1.一种基于人体骨骼点的舞蹈动作评估方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述根据所述各骨骼点当前的2D坐标获得所述各骨骼点当前的3D坐标，包括：
3.如权利要求2所述的方法，其特征在于，所述根据所述各骨骼点各自的空间特征，获得相应骨骼点当前的3D坐标，包括：
4.如权利要求1所述的方法，其特征在于，所述根据所述各骨骼点当前的2D坐标和前N次的2D坐标，获得所述各骨骼点当前的3D坐标，包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述各骨骼点各自的时序特征和空间特征，获得相应骨骼点当前的3D坐标，包括：
6.如权利要求1所述的方法，其特征在于，所述根据所述各骨骼点当前的3D坐标，以及，所述当前人体图像对应的当前视频帧中舞蹈动作关联的各骨骼点的3D参考坐标，获得所述当前视频帧的舞蹈动作与所述目标用户的舞蹈动作间的目标相似度，包括：
7.如权利要求1-6中任一项所述的方法，其特征在于，所述提取每一张人体图像中所述各骨骼点的2D坐标，包括：
8.如权利要求1-6中任
9.一种游戏设备，其特征在于，包括处理器、存储器和显示屏，所述显示屏、所述存储器和所述处理器通过总线连接；
10.如权利要求9所述的游戏设备，其特征在于，所述目标舞蹈视频中当前视频帧中舞蹈动作关联的各骨骼点的3D参考坐标是通过以下方式提取的：
...【技术特征摘要】
1.一种基于人体骨骼点的舞蹈动作评估方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述根据所述各骨骼点当前的2d坐标获得所述各骨骼点当前的3d坐标，包括：
3.如权利要求2所述的方法，其特征在于，所述根据所述各骨骼点各自的空间特征，获得相应骨骼点当前的3d坐标，包括：
4.如权利要求1所述的方法，其特征在于，所述根据所述各骨骼点当前的2d坐标和前n次的2d坐标，获得所述各骨骼点当前的3d坐标，包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述各骨骼点各自的时序特征和空间特征，获得相应骨骼点当前的3d坐标，包括：
6.如权利要求1所述的方法，其特征在于，所述根据所述各骨骼点当前的3d坐标，以及，...
【专利技术属性】
技术研发人员：梁大才，
申请(专利权)人：聚好看科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。