基于抓握动作的体感游戏方法技术

本发明专利技术公开基于抓握动作的体感游戏方法，涉及体感游戏领域。该基于抓握动作的体感游戏方法包括最佳视角的检测方法、抓握动作的识别、抓握动作应用体感游戏的方法和体感游戏卡路里计算方法。该基于抓握动作的体感游戏方法不需要体感游戏装备，可以不限场景进行体感游戏。可以实时提示用户在最佳视角开启游戏。能够很精细地识别手势关节点，准确率高达95.7％，复杂背景依然有效，实时检测抓握动作和伸开手掌的动作，让用户更有沉浸感。根据玩家的得分情况、体重和运动剧烈程度精确计算卡路里消耗。路里消耗。

【技术实现步骤摘要】
基于抓握动作的体感游戏方法


[0001]本专利技术涉及体感游戏
，具体为基于抓握动作的体感游戏方法。

技术介绍

[0002]体感游戏是一种通过玩家的肢体动作变化来操作和感受的新型电子游戏。相比于传统的依靠鼠标键盘、游戏手柄等设备作为交互媒介的电子游戏系统而言，体感游戏通过识别玩家“肢体动作”作为交互方式。传统电子游戏要求玩家长期坐于游戏设备前，不利于身心健康，而在体感游戏中，玩家通过做健身动作向游戏发出全部指令，身体与游戏一起舞动没有任何束缚，这极大地丰富了玩家的游戏沉浸感，给予了玩家极佳的体感体验，并且在游戏娱乐的同时也能锻炼身体。
[0003]目前，体感游戏有以下实现方式：1、微软的XBOX360通过采用kinect3D摄像机采集玩家的肢体骨骼信息来识别玩家肢体动作，其识别准确率高但设备昂贵；2、通过佩戴或手持的传感器来采集玩家的肢体信息，从而识别玩家肢体动作，该实现要求玩家佩戴或手持传感器，这可能会造成玩家的不适，影响玩家体验。
[0004]传统体感游戏方法存在以下不足：
[0005]1、需要游戏玩家穿戴相应的游戏设备，导致游戏玩家在游戏过程中人体拘束较大，不能更好的体验体感游戏。体感游戏设备昂贵很难满足大众娱乐健身结合的体感游戏应用需求。
[0006]2、kinect3D摄像机不同的视角的肢体骨骼信息不同，并没有给出实时提示视角的判断，造成玩家在游戏交互中反应不够灵敏和精确，却不能很快帮助玩家调整视角。
[0007]3、对于目前大多数基于骨骼信息的体感游戏由于不能很好地识别手部关节点，基于深度学习的方式进行手势识别，对复杂背景识别准确率比较低。不能够很精细很实时地做体感游戏抓握动作交互。
[0008]4、大部分基于骨骼信息的体感游戏只记录了玩家的得分，并未记录玩这项游戏带来的卡路里消耗量，有的体感游戏只是粗略的根据时间给出预估的卡路里消耗，并未根据体重和运动剧烈程度精确计算卡路里消耗。
[0009]针对现有技术的不足，本专利技术提供了基于抓握动作的体感游戏方法，以解决上述问题。

技术实现思路

[0010](一)解决的技术问题
[0011]针对现有技术的不足，本专利技术提供了基于抓握动作的体感游戏方法，解决了现有技术需要游戏玩家穿戴相应的游戏设备，导致游戏玩家才游戏过程中人体拘束较大，不能更好的体验体感游戏，游戏交互中反应不够灵敏和精确，不能很好地识别手部关节点，未记录玩这项游戏带来的卡路里消耗量的问题。
[0012](二)技术方案
[0013]为实现以上目的，本专利技术通过以下技术方案予以实现：基于抓握动作的体感游戏方法，所述方法包括如下步骤：
[0014]步骤S1：基于BlazePose轻量级卷积神经网络对图像进行人体姿态估计，得到图像中用户在进行健身时的33个关节点位置坐标信息，人体姿态估计模型速度在安卓设备上可以实时进行检测，运行速度达25fps+；
[0015]步骤S2：根据手部、脚部和头部的关节点的位置信息判断玩家的身体姿态，如果玩家的左手的x轴坐标值大于左边框框边界x轴坐标值，表示左手在框框内；
[0016]右手的x轴坐标值小于右边框框边界x轴坐标值，表示右手在框框内；
[0017]玩家的脚部的y轴坐标值小于下边框的y轴坐标值，表示脚部在框框内；
[0018]玩家的头部Y轴坐标值大于上边框的y轴坐标值，表示头部在框框内；
[0019]步骤S3：玩家在合适的视角后，将调用MediaPipeHands进行手部关节点检测，根据小指、无名指、中指和食指的y轴相对位置，判断玩家的伸开手掌动作或抓握动作；
[0020]步骤S4：将抓握动作转换为游戏指令，如果手部中心位置即序号为9的手指关节点坐标值(x,y)，以中心位置坐标为中心点，扩展为长是2
×
y，宽是2
×
x的矩形框，计算该矩形框和待抓握的游戏元素的面积交并比IoU；
[0021]如果IoU>0.5则表示手部触碰到了水果；
[0022]如果手部触碰到了水果，并且手部处于抓握动作状态就加分，否则就不加分；
[0023]步骤S5：体感游戏结束后，根据玩家的得分情况、体重和运动剧烈程度精确计算卡路里消耗；
[0024]其中游戏关卡越难，运动剧烈程度越大。
[0025]优选的，步骤S1所述人体姿态估计具体包括：将图像输入到BlazePose轻量级卷积神经网络结构中，得到图像坐标系下各个关节点坐标信息，每个关节点信息表示为(x,y,z,v)；其中x和y表示为在图像坐标系下关节点归一化的坐标位置；z表示以胯部中点深度为原点的关节点深度；v表示关节点可见的可能性值。
[0026]优选的，步骤S3所述基于MediaPipeHands的手部关节点检测包括：将图像输入到MediaPipeHands网络结构中，得到被检测/跟踪的手的集合，其中每只手被表示为21个手部地标的列表，每个地标由x、y和z组成；
[0027]x和y分别由图像的宽度和高度归一化为[0.0,1.0]，Z表示地标深度，以手腕深度为原点，值越小，地标离相机越近，z的大小与x的大小大致相同；
[0028]每只手由label(标签)和score(分数)组成，label是“Left”或“Right”值的字符串，score是预测左右手的估计概率。
[0029]优选的，步骤S3所述根据小指、无名指、中指和食指的y轴相对位置，判断玩家的伸开手掌动作或抓握动作，判断过程包括：
[0030]将图片通过步骤S3得到手部相应的关节点位置信息，根据小指、无名指、中指和食指的y轴相对位置，判断玩家是伸开手掌或抓握动作；
[0031]若两个手指关节点Y轴之间距离为R[i],R[i]＝Y[i]‑
Y[i
‑
2]，Y[i]表示序号为i的手指关节点的Y轴坐标值，如果R[i]>0，则R[i]＝1,i＝[8,12,16,20],R[8]×
R[12]×
R[16]×
R[20]＝1则表示抓握动作，否则是手掌伸开的动作。
[0032]优选的，步骤S4所述将抓握动作转换为游戏指令的方法中提出了一种基于计算该
矩形框和待抓握的游戏元素的面积交并比IoU判断是否接触水果，通过抓握动作检测判断玩家是否抓水果。
[0033]优选的，步骤S5所述体感游戏结束后，根据玩家的抓握得分情况、体重和运动剧烈程度精确计算卡路里消耗；
[0034]热量(kcal)＝体重(kg)
×
运动时间(小时)
×
指数K
×
抓中个数
÷
目标个数，简单关卡指数K＝1.375，一般关卡指数K＝1.55，困难关卡K＝1.725。
[0035]本专利技术公开了基于抓握动作的体感游戏方法，其具备的有益效果如下：
[0036]该基于抓握动作的体感游戏方法，相比传统的体感游戏方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于抓握动作的体感游戏方法，其特征在于：所述方法包括如下步骤：步骤S1：基于BlazePose轻量级卷积神经网络对图像进行人体姿态估计，得到图像中用户在进行健身时的33个关节点位置坐标信息，人体姿态估计模型速度在安卓设备上可以实时进行检测，运行速度达25fps+；步骤S2：根据手部、脚部和头部的关节点的位置信息判断玩家的身体姿态，如果玩家的左手的x轴坐标值大于左边框框边界x轴坐标值，表示左手在框框内；右手的x轴坐标值小于右边框框边界x轴坐标值，表示右手在框框内；玩家的脚部的y轴坐标值小于下边框的y轴坐标值，表示脚部在框框内；玩家的头部Y轴坐标值大于上边框的y轴坐标值，表示头部在框框内；步骤S3：玩家在合适的视角后，将调用MediaPipeHands进行手部关节点检测，根据小指、无名指、中指和食指的y轴相对位置，判断玩家的伸开手掌动作或抓握动作；步骤S4：将抓握动作转换为游戏指令，如果手部中心位置即序号为9的手指关节点坐标值(x,y)，以中心位置坐标为中心点，扩展为长是2
×
y，宽是2
×
x的矩形框，计算该矩形框和待抓握的游戏元素的面积交并比IoU；如果IoU>0.5则表示手部触碰到了水果；如果手部触碰到了水果，并且手部处于抓握动作状态就加分，否则就不加分；步骤S5：体感游戏结束后，根据玩家的得分情况、体重和运动剧烈程度精确计算卡路里消耗；其中游戏关卡越难，运动剧烈程度越大。2.根据权利要求1所述的基于抓握动作的体感游戏方法，其特征在于：步骤S1所述人体姿态估计具体包括：将图像输入到BlazePose轻量级卷积神经网络结构中，得到图像坐标系下各个关节点坐标信息，每个关节点信息表示为(x,y,z,v)；其中x和y表示为在图像坐标系下关节点归一化的坐标位置；z表示以胯部中点深度为原点的关节点深度；v表示关节点可见的可能性值。3.根据权利要求1所述的基于抓握动作的体感游戏方法，其特征在于：步骤S3所述基于MediaPipeHands的手部关节点检测包括：将图像输入到MediaPipeHa...

【专利技术属性】
技术研发人员：刘林娜，宋涛，李昕杰，
申请(专利权)人：深圳市智乾坤科技有限公司，
类型：发明
国别省市：