一种基于Kinect的手势识别虚拟拆装方法技术

本发明专利技术公开了一种基于Kinect的手势识别虚拟拆装方法，包括：使用Kinect摄像头采集手势数据；对构建的预测模型进行预训练，得到每个手势的完成度和置信度；将当前手势数据输入预训练完成的预测模型中，得到当前手势的置信度和完成度，并判断动作的类型；将当前手势数据中的人体骨骼数据，转换为骨骼坐标系中的目标向量；将目标向量射线作为交互射线进行射线的碰撞检测，得到发生射线碰撞后射线的长度；将骨骼坐标转换为虚拟空间下的坐标，根据动作的类型和射线的长度，实现与虚拟物体同步交互。本发明专利技术在虚拟现实环境中模拟用手拆装，实现了控制虚拟拖动、旋转等交互，能够有效提升虚拟拆装过程中的交互感受，对机械制造实训过程的效率有较大提升。程的效率有较大提升。程的效率有较大提升。

【技术实现步骤摘要】
一种基于Kinect的手势识别虚拟拆装方法


[0001]本专利技术涉及人机交互领域，尤其涉及一种基于Kinect的手势识别虚拟拆装方法。

技术介绍

[0002]虚拟拆装技术常用于机械制造领域的实训过程，具有安全、经济、高效的优点。
[0003]而现存的虚拟拆装系统存在着两个问题：
①
只利用2D显示器和交互工具实现，学员训练效果并不好；
②
对于拆装课程来说，用手进行拆装才最贴近实际，但是现有的拆装系统大多利用其他交互工具作为媒介，比如使用鼠标和键盘的输入方式。

技术实现思路

[0004]有鉴于此，为了使虚拟拆装更贴合实际，本专利技术提出一种基于Kinect的手势识别虚拟拆装方法，包括以下步骤：
[0005]S1、使用Kinect摄像头采集手势数据，包括图像RGB数据、图像深度数据和人体的骨骼数据，获得手势数据集；
[0006]S2、根据所述手势数据集构建预测模型，并对所述预测模型进行预训练，得到每个手势的完成度和置信度；
[0007]S3、使用Kinect摄像头捕捉当前手势数据，输入S2中预训练完成的预测模型中，得到当前捕捉手势的置信度和完成度，并判断动作的类型；
[0008]S4、建立骨骼坐标系，将S3中当前手势数据中的人体骨骼数据，转换为目标向量，并对目标向量进行优化；
[0009]S5、将目标向量射线作为unity中的交互射线进行射线的碰撞检测，得到目标物体的位姿信息和碰撞点的坐标，进一步得到发生射线碰撞后射线的长度；
[0010]S6、将骨骼坐标系转换为虚拟空间的全局坐标系，并根据S3中判断动作的类型和S5中得到目标物体的位姿信息和碰撞点的坐标以及射线的长度，实现与虚拟物体同步交互。
[0011]进一步地，步骤S2具体为：
[0012]S21、通过KinectSDK对S1中获得的手势数据集进行预训练；
[0013]S22、根据预训练后手势数据，使用随机森林算法构建预测模型，得到每一个手势的完成度和置信度；
[0014]S23、将构建的预测模型储存为.gbd格式文件，保存每一个手势的置信度和完成度，并生成其手势识别直方图。
[0015]进一步地，步骤S3具体为：
[0016]S31、将Kinect摄像头采集的当前手势数据输入步骤S23储存的预测模型中；
[0017]S32、计算出当前手势的置信度和完成度；
[0018]S33、将当前手势的置信度和完成度与步骤S2输出的完成度和置信度的进行阈值比较，判断动作的类型。
[0019]进一步地，步骤S4具体为：
[0020]S41、获取S3中当前手势数据中的人体骨骼数据，包括：肩部数据、手肘数据、手腕数据和手掌数据；
[0021]S42、建立骨骼坐标系，获取到的肘关节和腕关节坐标，分别为E和Q，求出向量；
[0022]S43、通过二次平均移动法优化目标向量。
[0023]进一步地，二次平均移动法的数学表达式为：
[0024][0025]其中，M是数据移动的窗口大小，t代表采样时间，每个采样周期为90秒，f
t
为保持同一种手势在采样时间t的肘腕向量，f
i
为求和公式下对f
t
的表达，i为求和公式下对t的表达。
[0026]进一步地，交互射线进行射线的碰撞检测的检测对象为虚拟物体的碰撞包围盒。
[0027]进一步地，步骤S6将骨骼坐标系转换为虚拟空间的全局坐标系过程为：
[0028]物体P在虚拟空间的全局坐标系O下的变换前位置为相对转动角度为变换后的位置为相对转动角度为腕关节Q在全局坐标系O下变换前的位置为相对转动角度为变换后的位置为相对转动角度为
[0029]坐标变换之前，接触点e在全局坐标下的位置为：
[0030][0031]其中，f为向量(0，0，1)，len为发生射线碰撞后射线的长度；
[0032]如果物体P没有发生旋转：
[0033][0034]其中，为接触点e到物体P的向量，()
‑1表示求逆；
[0035]物体P相对于Q的旋转为
[0036][0037]坐标变换之后，接触点e在全局坐标下的位置为
[0038][0039]变换之后物体P的旋转角度为
[0040][0041]变换之后物体P的位置为
[0042][0043]其中，为射线碰撞后腕关节到碰撞点的直线距离。
[0044]本专利技术提供的技术方案带来的有益效果是：
[0045]与现有的技术比较，本专利技术的手势识别交互方式在虚拟现实环境中能够模拟用手拆装，通过抓取算法实现了控制虚拟拖动、旋转等交互，与真实环境中的拆装模式差异较小，相比于现存的虚拟拆装系统使用鼠标和键盘的输入方式，本专利技术实现的方法能够有效提升虚拟拆装过程中的交互感受，对机械制造实训过程的效率有较大提升。
附图说明
[0046]图1是本专利技术实施例一种基于Kinect的手势识别虚拟拆装方法的流程图；
[0047]图2是本专利技术实施例Kinect采集的手势图像；
[0048]图3是本专利技术实施例将手势数据导入Kinect后自动生成的手势完成度定义图；
[0049]图4是本专利技术实施例手势动作区间图；
[0050]图5是本专利技术实施例手势识别的直方图；
[0051]图6是本专利技术实施例坐标转换示意图。
具体实施方式
[0052]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地描述。
[0053]参考图1，图1是本专利技术实施例一种基于Kinect的手势识别虚拟拆装方法的流程图，本专利技术实施例提供一种基于Kinect的手势识别虚拟拆装方法，包括以下步骤：
[0054]S1、使用Kinect摄像头采集手势数据，包括图像RGB数据、图像深度数据和人体的骨骼数据，获得手势数据集。
[0055]本实施例中，手势包括上下左右四个方向挥手和腕关节旋转。
[0056]S2、根据所述手势数据集构建预测模型，并对所述预测模型进行预训练，得到每个手势的完成度和置信度。
[0057]本实施例中，构建的预测模型是对各类型的手势设置一个预设，用于给后续的实时手势判断提供一个检测基准。每个手势的置信度和完成度通过对收集的手势数据进行片段的划分，表现出有效动作在整个片段中的占比，用于计算置信度；完成度通过有效动作的起始和结束时间计算。将所需的数据输入KinectSDK计算得出置信度和完成度。
[0058]S21、通过KinectSDK内置接口对S1中获得的手势数据集进行预训练；
[0059]S22、根据预训练后手势数据，使用随机森林算法构建预测模型，得到每一个手势的完成度和置信度；
[0060]S23、将构建的预测模型储存为.gbd格式文件，保存每一个手势的置信度和完成度，并生成其手势识别直方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Kinect的手势识别虚拟拆装方法，其特征在于，包括以下步骤：S1、使用Kinect摄像头采集手势数据，包括图像RGB数据、图像深度数据和人体的骨骼数据，获得手势数据集；S2、根据所述手势数据集构建预测模型，并对所述预测模型进行预训练，得到每个手势的完成度和置信度；S3、使用Kinect摄像头捕捉当前手势数据，输入S2中预训练完成的预测模型中，得到当前捕捉手势的置信度和完成度，并判断动作的类型；S4、建立骨骼坐标系，将S3中当前手势数据中的人体骨骼数据，转换为目标向量，并对目标向量进行优化；S5、将目标向量射线作为unity中的交互射线进行射线的碰撞检测，得到目标物体的位姿信息和碰撞点的坐标，进一步得到发生射线碰撞后射线的长度；S6、将骨骼坐标系转换为虚拟空间的全局坐标系，并根据S3中判断动作的类型和S5中得到目标物体的位姿信息和碰撞点的坐标以及射线的长度，实现与虚拟物体同步交互。2.根据权利要求1所述的一种基于Kinect的手势识别虚拟拆装方法，其特征在于，步骤S2具体为：S21、通过KinectSDK对S1中获得的手势数据集进行预训练；S22、根据预训练后手势数据，使用随机森林算法构建预测模型，得到每一个手势的完成度和置信度；S23、将构建的预测模型储存为.gbd格式文件，保存每一个手势的置信度和完成度，并生成其手势识别直方图。3.根据权利要求2所述的一种基于Kinect的手势识别虚拟拆装方法，其特征在于，步骤S3具体为：S31、将Kinect摄像头采集的当前手势数据输入步骤S23储存的预测模型中；S32、计算出当前手势的置信度和完成度；S33、将当前手势的置信度和完成度与步骤S2输出的完成度和置信度的进行阈值比较，判断动作的类型。4.根据权利要求3所述的一种基于...

【专利技术属性】
技术研发人员：陈昊，文国军，赵权，王玉丹，贺鑫，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：