一种用于三维交互场景的工具箱制造技术

本发明专利技术涉及一种用于三维交互场景的工具箱，其特征在于，包括以下步骤:a.制作用于三维场景交互的工具集，利用如OpenGL软件来生成用于三维场景交互的工具集；b.手势识别；c.实时重构手势三维结构，采用如粒子滤波(PF)这类目标跟踪算法基于输入手势图像序列重构三维手势模型序列，即重构3D手势结构，得到3D手势模型中包括每个手指关节的位置坐标、手掌重心位置坐标和手势运动所有基本信息；d.将3D手势模型转化为选定的虚拟工具。本发明专利技术提出了一种以摄像头作为交互输入设备，将用户手势化身为虚拟工具，从而得到与真实操作经验基本一致的交互工具和用户体验的有益效果。

A Toolbox for 3D Interactive Scene

The invention relates to a toolbox for three-dimensional interactive scene, which is characterized by the following steps: A. making a toolbox for three-dimensional scene interaction, using OpenGL software to generate a toolbox for three-dimensional scene interaction; B. gesture recognition; C. real-time reconstruction of three-dimensional gesture structure, using object tracking algorithms such as particle filter (PF) based on input gesture image sequence weight. Construct the sequence of three-dimensional gesture models, that is, reconstruct the structure of three-dimensional gesture, and get all the basic information of the three-dimensional gesture model, including the position coordinates of each finger joint, the position coordinates of the palm center of gravity and gesture movement; D. Transform the three-dimensional gesture model into a selected virtual tool. The invention provides a camera as an interactive input device, and the user gesture is transformed into a virtual tool, so that the interactive tool and the user experience are basically consistent with the real operation experience.

【技术实现步骤摘要】
一种用于三维交互场景的工具箱
本专利技术涉及计算机
，具体是指一种用于三维交互场景的工具箱。
技术介绍
在虚拟现实(VR)、虚拟装配、3D制造等交互应用场景中，目前所采用的交互典型方法有：(1)激光笔，用户手握激光笔与三维场景中的环境进行互动，该方法主要问题是操作不方便；(2)三维虚拟手，在场景中通过三维虚拟手与场景交互，该方法存在的主要问题是手势功能有限，无法完成部分特殊功能。
技术实现思路
本专利技术针对现有技术的不足，本专利技术提出一种用于三维交互场景的工具箱，使用手势就可以简单、方便地实现工具的功能，极大地延伸用户的认知手段和认知范围。本专利技术是通过如下技术方案实现的，提供一种用于三维交互场景的工具箱，其特征在于，包括以下步骤:a.制作用于三维场景交互的工具集，利用如OpenGL软件来生成用于三维场景交互的工具集；b.手势识别；c.实时重构手势三维结构，采用如粒子滤波(PF)这类目标跟踪算法基于输入手势图像序列重构三维手势模型序列，即重构3D手势结构，得到3D手势模型中包括每个手指关节的位置坐标、手掌重心位置坐标和手势运动所有基本信息；亦即，三维手势G＝(15个手势关节坐标位置JP，手掌重心位置坐标O，手掌所在平面的法线方向向量P1，手掌所在平面的前向方向向量P2)，简写为Xk＝(x1,x2,….,xM)。Xk表示时刻k的三维虚拟手势模型状态。一般情况下，M＝24。显然，通过G,可以计算出手势重心平移距离、手势旋转角度等基本信息；d.将3D手势模型转化为选定的虚拟工具(在3D场景中，用户可以看不见3D虚拟手势模型)把3D手势模型信息(包括部分位置或运动信息)以适当的方式映射到所选定的虚拟工具上，使得用户的手势“化身”为该工具，并可以获得真实的场景体验感，假设完成某虚拟工具的操纵功能需要S个控制参数si(i＝1,2,…,S)，可以基于日常生活经验或常识，采用手工方法在三维手势模型G中选择S个参数xji(i＝1,2,…,S，1≤ji≤M)，使得：si←xji(1)式子(1)表示把三维手势模型的某参数xji赋值给虚拟工具的某参数si。在本专利技术中，工具集包括夹具类、旋转工具类、刀具类、笔类、刷子类、虚拟相机类、针状类、方向盘类、器皿内类、枪类等在不同交互情境下完成交互任务所需要的虚拟交互工具或设备，且这些交互设备适合于以手势化身的形式与场景互动。本专利技术所述的虚拟工具是指现实生活中的任何实物或物体。手掌所在平面的前向方向向量P2是指人手前臂长度方向一致的方向。作为优选，所述的步骤b所述的手势识别的方法为一种基于纠错策略的CNN-SVM混合模型手势识别方法，所述方法首先对采集到的手势数据进行预处理，然后自动提取特征并进行预测分类得到分类结果，最后利用纠错策略对所述分类结果进行纠正。作为优选，所述的基于纠错策略的CNN-SVM混合模型手势识别方法包括以下步骤：b-1.对采集到的数据进行预处理得到训练样本和测试样本；b-2.获得CNN-SVM混合模型；b-3.将测试样本输入到步骤b-2中得到的CNN-SVM混合模型中进行训练，得到分类结果以及分类结果的概率估计以及混淆矩阵；b-4.基于步骤b-3中得到的概率估计以及混淆矩阵得到纠错策略，然后利用纠错策略对分类结果进行纠正。作为优选，所述步骤b-1中的操作包括以下分步骤：b-1-1.采集静态手势，分别获取手部的深度图像和彩色图像；b-1-2.对所述深度图像进行处理获得掩模图像；b-1-3.对彩色图像和掩模图像进行与运算得到粗糙的手势区域图像；b-1-4.利用贝叶斯肤色模型对所述粗糙的手势区域图像进行肤色分割得到分割后的图像，将分割后的图像分为两部分，一部分作为训练样本，另一部分作为测试样本。作为优选，所述步骤b-1-1中是采用Kinect采集静态手势。作为优选，所述的步骤b-2中是这样实现的：用SVM分类器代替CNN分类器的最后的输出层。作为优选，所述的步骤b-2中的操作包括以下分步骤：b-2-1.将所述训练样本输入到CNN分类器的输入层，经过CNN分类器的训练直到训练过程收敛或者达到最大的迭代次数，得到训练好的CNN模型；b-2-2.将所述训练样本输入到所述训练好的CNN模型中进行自动特征提取获得训练样本的特征向量；b-2-3.将所述训练样本的特征向量输入到SVM分类器中进行二次训练，训练完成后得到CNN-SVM混合模型。作为优选，所述步骤b-4中所述纠错策略是指：规定一个阈值，根据该阈值将错误的分类结果筛选出来，然后依据实验得出的统计数据，对最终的分类结果进行纠正。作为优选，所述步骤b-4中的操作包括：在N分类问题中，设Mi为对分类结果为i的所有测试样本进行纠错的一个阈值，对于Mi的描述如下：其中，Mi,j表示预测结果为i,但真实值为j的样本所计算出来的均值，Mi是一个j维向量；Si,j表示预测结果为i,但真实值为j的所有样本的数量，Si表示预测为i类的所有测试样本的数量，Pn(i)代表在所有预测为i类的所有测试样本中第n个测试样本的概率估计的最大值，Pn(j)代表次大值；i表示分类估计中最大值属于的类，j表示分类估计中次大值属于的类；当概率估计满足以下条件时，将概率估计的最大值对应的类修改为次大值所对应的类：其中wn(i)表示预测结果为i类的概率估计最大值与概率估计次大值的距离，即在数值上等于Pn(i)-Pn(j)，pij表示在混淆矩阵中分类结果为i但真实值为j的概率。作为优选，步骤c中重构三维手势结构的方法为：c-1.用深度学习算法进行手势识别g；c-2.对于识别出的手势g，用粒子滤波(PF)方法进行跟踪，得到虚拟手势的三维结构，具体方法如下：c-2-1.对于基本手势的每一帧，在行为模型附近产生N手势粒子c-2-2.估计手势状态：c-2-3.c-2-4.c-2-5.c-2-6.c-2-7.在(4)-(7)式中，Xk表示时刻k的手势状态；表示时刻k产生的第i个粒子；表示第k个粒子的权值；λ表示经验常数，取为0.01，Hm表示指三维手势模型粒子在图像平面上的投影与当前帧手势图像之间的误差，一般用它们之间的Hausdorff距离进行描述，三维手势模型粒子的精度。综上所述，本专利技术提出了一种以摄像头作为交互输入设备，将用户手势化身为虚拟工具，从而得到与真实操作经验基本一致的交互工具和用户体验。附图说明图1为本专利技术一种用于三维交互场景的工具箱的总体构思流程示意图。具体实施方式为能清楚说明本专利技术方案的技术特点，下面通过具体实施方式，对本方案进一步阐述。如图1中所示，一种用于三维交互场景的工具箱，包括以下步骤:a.制作用于三维场景交互的工具集，利用如OpenGL软件来生成用于三维场景交互的工具集；b.手势识别，在本实施例中所述的手势识别的方法为一种基于纠错策略的CNN-SVM混合模型手势识别方法，所述方法首先对采集到的手势数据进行预处理，然后自动提取特征并进行预测分类得到分类结果，最后利用纠错策略对所述分类结果进行纠正，所述的基于纠错策略的CNN-SVM混合模型手势识别方法包括以下步骤：b-1.对采集到的数据进行预处理得到训练样本和测试样本，所述步骤b-1中的操作包括以下分步骤：b-1-1.采集静态手势，分别获取手部的深度图像和彩色图像，在本实施例中，采用Kinect本文档来自技高网...

【技术保护点】
1.一种用于三维交互场景的工具箱，其特征在于，包括以下步骤:a.制作用于三维场景交互的工具集，利用如OpenGL软件来生成用于三维场景交互的工具集；b.手势识别；c.实时重构手势三维结构，得到3D手势模型中包括每个手指关节的位置坐标、手掌重心位置坐标和手势运动所有基本信息；d.将3D手势模型转化为选定的虚拟工具，假设完成某虚拟工具的操纵功能需要S个结构或控制参数si(i＝1,2,…,S)，可以基于日常生活经验或常识，在三维手势模型G中选择S个参数xji(i＝1,2,…,S，1≤ji≤M)，使得：si←xji  (1)式子(1)表示把三维手势模型的某参数xji赋值给虚拟工具的某结构或控制参数si。

【技术特征摘要】
1.一种用于三维交互场景的工具箱，其特征在于，包括以下步骤:a.制作用于三维场景交互的工具集，利用如OpenGL软件来生成用于三维场景交互的工具集；b.手势识别；c.实时重构手势三维结构，得到3D手势模型中包括每个手指关节的位置坐标、手掌重心位置坐标和手势运动所有基本信息；d.将3D手势模型转化为选定的虚拟工具，假设完成某虚拟工具的操纵功能需要S个结构或控制参数si(i＝1,2,…,S)，可以基于日常生活经验或常识，在三维手势模型G中选择S个参数xji(i＝1,2,…,S，1≤ji≤M)，使得：si←xji(1)式子(1)表示把三维手势模型的某参数xji赋值给虚拟工具的某结构或控制参数si。2.根据权利要求1所述的一种用于三维交互场景的工具箱，其特征在于，所述的步骤b所述的手势识别的方法为一种基于纠错策略的CNN-SVM混合模型手势识别方法，所述方法首先对采集到的手势数据进行预处理，然后自动提取特征并进行预测分类得到分类结果，最后利用纠错策略对所述分类结果进行纠正。3.根据权利要求2所述的一种用于三维交互场景的工具箱，其特征在于，所述的基于纠错策略的CNN-SVM混合模型手势识别方法包括以下步骤：b-1.对采集到的数据进行预处理得到训练样本和测试样本；b-2.获得CNN-SVM混合模型；b-3.将测试样本输入到步骤b-2中得到的CNN-SVM混合模型中进行训练，得到分类结果以及分类结果的概率估计以及混淆矩阵；b-4.基于步骤b-3中得到的概率估计以及混淆矩阵得到纠错策略，然后利用纠错策略对分类结果进行纠正。4.根据权利要求3所述的一种用于三维交互场景的工具箱，其特征在于，所述步骤b-1中的操作包括以下分步骤：b-1-1.采集静态手势，分别获取手部的深度图像和彩色图像；b-1-2.对所述深度图像进行处理获得掩模图像；b-1-3.对彩色图像和掩模图像进行与运算得到粗糙的手势区域图像；b-1-4.利用贝叶斯肤色模型对所述粗糙的手势区域图像进行肤色分割得到分割后的图像，将分割后的图像分为两部分，一部分作为训练样本，另一部分作为测试样本。5.根据权利要求4所述的一种用于三维交互场景的工具箱，其特征在于，所述步骤b-1-1中是采用Kinect采集静态手势。6.根据权利要求3所述的一种用于三维交互场景的工具箱，其特征在于，所述的步骤b-2中是这样实现的：用SVM分类器代替CNN分类器的最后的输出层。7.根据权利要求6所述的一种用于三...

【专利技术属性】
技术研发人员：冯仕昌，
申请(专利权)人：冯仕昌，
类型：发明
国别省市：山东,37