一种身体交互行为识别方法及VR系统技术方案

本发明专利技术公开了一种身体交互行为识别方法及VR系统，方法包括将交互深度图像分割为多个身体部位识别区；利用像素深度特征计算各身体部位的第一静态特征及节点空间坐标；利用节点空间坐标获取对应身体部位的第二静态特征；利用身体部位模型进行初步识别判断并将第一静态特征与第二静态特征进行融合，去除误识别像素点，获取对应身体部位的第三静态特征；利用动态权重对第一动态行为特征进行优化，获取第二动态行为特征；利用随机森林分类器对第二动态行为特征进行识别判断。通过将第一静态特征与第二静态特征进行融合校验，去除在身体部位范围之外的错误识别点，并利用动态权重对动态行为的错误评分进行纠正，进一步提高了识别精度。度。度。

【技术实现步骤摘要】
一种身体交互行为识别方法及VR系统


[0001]本专利技术涉及虚拟交互
，特别涉及一种身体交互行为识别方法及VR系统。

技术介绍

[0002]交互性是指用户进入虚拟环境后，通过多种传感器与多维化信息的环境发生交互作用，体验者可以利用传感设备通过自己的动作控制改变感受的内容，虚拟环境中做出的相应响应，亦与真实的一样。虚拟现实是用计算机生成的一种特殊交互环境，不仅可以再现真实存在的环境，也可以生成想象中实际不存在的甚至根本不可能实现的环境。
[0003]在VR环境中，通过身体姿势交互最符合交流习惯，相比携带传感器的穿戴式产品更能让人感到舒适。身体动作在VR交互中扮演着重要的角色，能携带特定的语义，传递副语言线索，如态度、情绪等信息。
[0004]身体识别跟踪是机器视觉中的热点问题，其后续应用包括动作识别、人机交互与视觉理解。现有的识别方法是在人体关节点表面贴上具有荧光性质的标记点，使用红外光对这些标记点进行跟踪，进而获取人体运动状态。还有的识别方法是，在人体穿戴设备上设置位置传感器，可穿戴设备与VR主机通过数据线连接，通过数据线将各个部位的位置数据传输到VR主机。这两种方法对于人体关节点定位精确，但是它具有设备价格昂贵和搭建准备复杂的缺点，在人体表面贴标记点或者设置传感器的约束也大大限制了这一方法的适用环境，也降低了用户体验。

技术实现思路

[0005]现有技术中，通过穿戴设备进行标记或者设置传感器则限制了适用环境，而单纯通过图像特征进行交互识别的方案，识别精度低，误判率高。
>[0006]针对上述问题，提出一种身体交互行为识别方法及VR系统，通过对用户交互行为的深度图像进行身体部位分割，利用不同部位的像素深度差异值及深度数据表征身体部位的第一静态特征，有利于提供分类精度，通过利用深度图像的深度特征获取身体部位的节点空间坐标获取各部位的第二静态特征，并与第一静态特征进行融合，去除在身体部位范围之外的错误识别点，并利用动态权重对动态行为的错误评分进行纠正，进一步提高了识别精度。
[0007]一种身体交互行为识别方法，采用随机森林分类器进行分类识别，包括步骤：获取人体实时交互深度图像，并将所述交互深度图像分割为多个身体部位识别区；获取所述部位识别区的交互深度图像像素深度特征，并利用所述像素深度特征计算各身体部位的第一静态特征及节点空间坐标；利用节点空间坐标获取对应身体部位的第二静态特征；利用身体部位模型进行初步识别判断并将所述第一静态特征与第二静态特征进行融合，去除误识别像素点，获取对应身体部位的第三静态特征；
利用所述第三静态特征获取一段时间内的身体的第一动态行为特征，并利用动态权重对所述第一动态行为特征进行优化，获取第二动态行为特征；利用所述随机森林分类器对所述第二动态行为特征进行识别判断。
[0008]结合本专利技术所述的身体交互行为识别方法，第一种可能的实施方式中，所述步骤：获取所述部位识别区的交互深度图像像素深度特征，并利用所述像素深度特征计算各身体部位的第一静态特征及节点空间坐标，包括步骤：获取身体部位实时交互深度图像的像素的深度距离信息及不同部位的像素深度差异值；将所述深度距离信息、像素深度差异值进行融合，获取像素深度特征；利用所述像素深度特征获取身体部位的第一静态特征。
[0009]结合本专利技术第一种可能的实施方式，第二种可能的实施方式中，所述步骤：获取身体部位实时交互深度图像的像素的深度距离信息及不同部位的像素深度差异值，包括步骤：获取实时交互深度图像每个像素的偏移深度值；利用所述偏移深度值获取所述像素深度差异值。
[0010]结合本专利技术第一种可能的实施方式，第三种可能的实施方式中，所述步骤：利用节点空间坐标获取对应身体部位的第二静态特征，包括步骤：利用节点空间坐标获取对应身体部位的空间位置；对身体部位尺寸进行归一化处理，获取身体部位连接特征。
[0011]结合本专利技术第三种可能的实施方式，第四种可能的实施方式中，所述步骤：利用节点空间坐标获取对应身体部位的第二静态特征，还包括步骤：获取相连接身体部位的相对空间位置；利用所述连接身体部位的相对空间位置，采用四元数算法获取身体部位的姿态特征。
[0012]结合本专利技术第四种可能的实施方式，第五种可能的实施方式中，所述步骤：利用节点空间坐标获取对应身体部位的第二静态特征，还包括步骤：对所述连接特征及身体姿态特征进行融合，获取第二静态特征。
[0013]结合本专利技术第一种可能的实施方式，第六种可能的实施方式中，所述步骤：利用所述第三静态特征获取一段时间内的身体的第一动态行为特征，并利用动态权重对所述第一动态行为特征进行优化，获取第二动态行为特征，包括步骤：利用所述第三静态特征获取第一动态行为特征：(1)其中，分别为t时刻、t+1时刻的静态三维特征，分别为t+1时刻、t时刻第m个身体部位的第三静态特征；设动态权重为，则设计动态行为特征的错误评分函数为：
（2）则最优分类的值F*为：（3）其中，w为超平面参数，K为视频序列的帧数，j为训练类别。
[0014]第二方面，一种VR系统，采用第一方面所述的身体交互行为识别方法，包括：处理主机；所述处理主机包括：图像获取单元；处理单元；所述图像获取单元用于获取用户深度图像，所述处理单元用于对所述深度图像识别处理，以获取用户交互行为。
[0015]实施本专利技术所述的身体交互行为识别方法，通过对用户交互行为的深度图像进行身体部位分割，利用不同部位的像素深度差异值及深度数据表征身体部位的第一静态特征，有利于提供分类精度，通过利用深度图像的深度特征获取身体部位的节点空间坐标获取各部位的第二静态特征，并与第一静态特征进行融合，去除在身体部位范围之外的错误识别点，并利用动态权重对动态行为的错误评分进行纠正，进一步提高了识别精度。
附图说明
[0016]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为本专利技术身体交互行为识别第一示意图；图2为本专利技术身体交互行为识别第二示意图；图3为本专利技术身体交互行为识别第三示意图；图4为本专利技术身体交互行为识别方法步骤第一示意图；图5为本专利技术身体交互行为识别方法步骤第二示意图；图6为本专利技术身体交互行为识别方法步骤第三示意图；图7为本专利技术身体交互行为识别方法步骤第四示意图；图8为本专利技术身体交互行为识别方法步骤第五示意图；图9为本专利技术身体交互行为识别方法步骤第六示意图；
具体实施方式
[0018]下面将结合专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实
施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本专利技术保护的范围。
[0019]现有技术中，通过穿戴设备本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种身体交互行为识别方法，采用随机森林分类器进行分类识别，其特征在于，包括步骤：获取人体实时交互深度图像，并将所述交互深度图像分割为多个身体部位识别区；获取所述部位识别区的交互深度图像像素深度特征，并利用所述像素深度特征计算各身体部位的第一静态特征及节点空间坐标；利用节点空间坐标获取对应身体部位的第二静态特征；利用身体部位模型进行初步识别判断并将所述第一静态特征与第二静态特征进行融合，去除误识别像素点，获取对应身体部位的第三静态特征；利用所述第三静态特征获取一段时间内的身体的第一动态行为特征，并利用动态权重对所述第一动态行为特征进行优化，获取第二动态行为特征；利用所述随机森林分类器对所述第二动态行为特征进行识别判断。2.根据权利要求1所述的身体交互行为识别方法，其特征在于，所述步骤：获取所述部位识别区的交互深度图像像素深度特征，并利用所述像素深度特征计算各身体部位的第一静态特征及节点空间坐标，包括步骤：获取身体部位实时交互深度图像的像素的深度距离信息及不同部位的像素深度差异值；将所述深度距离信息、像素深度差异值进行融合，获取像素深度特征；利用所述像素深度特征获取身体部位的第一静态特征。3.根据权利要求2所述的身体交互行为识别方法，其特征在于，所述步骤：获取身体部位实时交互深度图像的像素的深度距离信息及不同部位的像素深度差异值，包括步骤：获取实时交互深度图像每个像素的偏移深度值；利用所述偏移深度值获取所述像素深度差异值。4.根据权利要求2所述的身体交互行为识别方法，其特征在于，所述步骤：利用节点空间坐标获取对应身体...

【专利技术属性】
技术研发人员：阮仕叠，
申请(专利权)人：深圳未来立体教育科技有限公司，
类型：发明
国别省市：