一种基于特征选择的各向同性三维手势识别方法技术

技术编号:17733601 阅读:43 留言:0更新日期:2018-04-18 11:12
本发明专利技术公开了一种基于特征选择的各向同性三维手势识别方法。现有三维手势识别算法没有考虑提取的手势相关特征对分类的贡献度,而冗余特征影响识别率。本发明专利技术对采集的手势三维坐标数据,提取24个特征输入随机森林模型中,按训练模型得到的各个特征重要性分数从大到小排列,在各个手势的k组排列好的24个特征中取各组前n个特征组合成组合特征,基于十折交叉验证方法和高斯朴素贝叶斯识别模型,得到24组组合特征下高斯朴素贝叶斯识别模型的识别率;根据各组组合特征下高斯朴素贝叶斯识别模型的识别率高低决定选取由前几个特征组合成的组合特征用于最终的识别模型。本发明专利技术不仅减少特征相关数据的采集量,简化模型计算,还能提高识别率。

An isotropic three-dimensional gesture recognition method based on feature selection

The invention discloses an isotropic three-dimensional gesture recognition method based on feature selection. The existing 3D gesture recognition algorithm does not take into account the contribution degree of the extracted gesture correlation features to the classification, and the redundancy feature affects the recognition rate. The gesture on the acquisition of the 3D coordinates of the invention, 24 features are extracted from the input random forest model, according to the importance of each feature fraction of the model is then arranged from large to small, first n features into combined features from 24 features arranged in Group K of each gesture in the ten fold cross validation Gauss method and Naive Bayesian recognition model based on 24 groups of combined feature recognition under Gauss Naive Bayesian recognition model based on recognition rate; Gauss Naive Bayesian recognition model group combination features under the rate decided to select from the first few feature combination feature group used to synthesize the final identification model. The invention not only reduces the collection of feature related data, simplifies the calculation of the model, but also improves the recognition rate.

【技术实现步骤摘要】
一种基于特征选择的各向同性三维手势识别方法
本专利技术属于手势识别领域,具体涉及一种基于特征选择的各向同性三维手势识别方法。
技术介绍
世界上存在很多聋哑人,手语是他们的主要沟通媒介。但是聋哑人与正常人之间的交流存在一定障碍,所以实现手语识别对于改善两者之间的交流现状具有重大意义。手语手势包含了手形、位置、运动等要素,其中,最直观的就是手形,它表现了做手势时手呈现的形状,手形不同,手势意义自然也就不同。因此,对手形进行识别成为了手势识别的关键。近年来,随着深度传感器的发展,三维手势识别成为可能。在手势识别过程中,特征提取起着至关重要的作用。特征用于手势的形状表示,虽然目前已有不少特征描述方法用于最终的手势识别算法,但大部分是基于从具有深度信息的图像分割出来的二维手势图像,所以这些特征描述方法受到手势方向的影响,且现有的三维手势识别算法都没有考虑到所有提取的手势相关特征对分类的贡献度大小,而冗余特征会影响识别率。若要提取大量的特征,对手势数据采集设备的要求也相应增加。因此,各向同性的手势特征描述方法和冗余特征剔除对手势识别具有重大意义。
技术实现思路
本专利技术的目的是针对现有三维手势识别存在的不足,提供一种基于特征选择的各向同性三维手势识别方法。该方法主要解决方向无关和冗余特征剔除的三维手势识别,且适用于不同手形大小的人群,解决了基于图像的手势识别受手势方向影响大的问题。该方法不仅可以减小计算复杂度,相较于现有方法,还能在更少的特征条件下达到更高的识别率。同时又降低了对数据采集设备的要求。本专利技术解决技术问题所采取的技术方案如下:本专利技术的具体步骤如下:步骤1、利用体感控制器的API采集中式手语中同一个人的6~20个手势的三维坐标数据,归入训练集中用于模型训练;其中,每个手势的三维坐标数据包含各手指指尖、各手指关节、掌心和腕关节的三维坐标。每个手势只采集掌心朝下的姿态,且每个手势掌心朝下的姿态采集k次得到k组三维坐标数据,k的取值为40~60。步骤2、对每个手势的三维坐标数据提取24个特征,该24个特征构成手势特征,具体如下:根据手势的形状特点定义五种属性和归属于这五种属性的24个特征。五种属性分别是各个手指指尖到掌心的距离、各个手指指尖到腕关节的距离、相邻手指指尖的距离、手指中间指骨与手指远端指骨的夹角以及手指近端指骨与手指中间指骨的夹角。由于不同手指的相同类型的特征归属于同一属性,所以五个属性共包含了24个特征,将所有提取的特征数据归一化到0~1之间。步骤3、对每个手势的24个特征进行重要性比较和选择,具体如下:3.1:将步骤2所得的每个手势的24个特征数据输入到随机森林模型中,通过训练模型最终得到各个特征的重要性分数。3.2:将每个手势的24个特征根据步骤3.1所得重要性分数按从大到小排列,在各个手势的k组排列好的24个特征中取各组前n个特征组合成组合特征,n依次取1,2,…,24,基于十折交叉验证方法和高斯朴素贝叶斯识别模型,依次得到24组组合特征下高斯朴素贝叶斯识别模型的识别率。十折交叉验证方法中,从用来验证模型的一份特征中任选的一个手势,在各次训练后的高斯朴素贝叶斯识别模型中的识别分类结果为:其中,表示取得最大值时,对应的yj值;yj值表示对应编号为j的手势类别;m表示每个手势的特征数量。P(yj)为编号j的手势出现的概率。为各个特征xi在手势类别yj下的概率的乘积。特征xi在手势类别yj下的概率分布P(xi|yj)满足高斯分布,计算如下:其中,μy为各手势类别yj的数学期望,σy为各手势类别yj的标准差。将选取的手势在各次训练后的高斯朴素贝叶斯识别模型中的识别分类结果,与选取的真实手势进行比较,若相同,则识别分类正确;否则,识别分类错误。所以,各次训练后的高斯朴素贝叶斯识别模型的预估识别率η计算如下:其中,C为识别分类正确的手势数目,M为总的进行识别分类的手势数目。步骤4、根据各组组合特征下高斯朴素贝叶斯识别模型的识别率高低来决定选取由前几个特征组合成的组合特征用于最终的识别模型。十折交叉验证方法中,组合特征被均匀地分成十等份,共训练和验证十次,在各次训练中,轮流将十等份中的九份用来做训练得到模型,而剩下的一份用来验证模型的预估识别率。这样就得到十个预估识别率,对这些预估识别率取平均值即是这一组组合特征下这个模型的识别率。本专利技术具有的有益效果:本专利技术能够对不同方向的手势进行识别,且在减少数据采集量的同时提高手势识别率,也减小了对数据采集设备的要求。附图说明图1为本专利技术的手势识别流程图。图2为本专利技术在不同大小训练集下不同方向手势识别率的变化趋势图。具体实施方式下面结合附图对本专利技术作进一步说明。如图1所示,一种基于特征选择的各向同性三维手势识别方法,包括数据采集、特征提取和特征选择,具体如下:步骤1、利用体感控制器(LeapMotion)的API采集中式手语中10个手势的三维坐标数据,归入训练集和测试集中;其中,每个手势的三维坐标数据包含各手指指尖、各手指关节、掌心和腕关节的三维坐标。训练集中,只采集一个人的手势,每个手势只采集掌心朝下的姿态,且每个手势掌心朝下的姿态采集五十次得到五十组三维坐标数据;测试集中采集多个人的手势,每个人的每个手势均采集了绕肘关节周向不同角度摆放的5个姿态,每个姿态采集一组三维坐标数据;训练集用于模型训练,测试集用于识别结果的测试。步骤2、对测试集中每个手势的三维坐标数据提取24个特征,该24个特征构成手势特征,具体如下:根据手势的形状特点定义五种属性和归属于这五种属性的24个特征。五种属性分别是各个手指指尖到掌心的距离、各个手指指尖到腕关节的距离、相邻手指指尖的距离、手指中间指骨与手指远端指骨的夹角(弯曲角度)以及手指近端指骨与手指中间指骨的夹角(弯曲角度)。由于不同手指的相同类型的特征归属于同一属性,所以五个属性共包含了24个特征,将所有提取的特征数据归一化到0~1之间,使模型适用于不同手形大小的人群。归一化时,距离特征均除以Dw(Dw为中指指尖到腕关节的距离),角度特征均除以π。步骤3、对每个手势的24个特征进行重要性比较和选择。由于提取的24个特征包含了不同手指的数据,而不同手指实际上对识别的贡献度有区别,因此引入随机森林模型来比较不同特征对分类的重要性,并结合十折交叉验证方法做最优化的特征选择,即选取对后续分类作用大的特征,具体如下:3.1:将步骤2所得的每个手势的24个特征数据输入到随机森林模型中,通过训练模型最终得到各个特征的重要性分数,即不同特征在最后手势识别分类中所起的决定作用大小。3.2:将每个手势的24个特征根据步骤3.1所得重要性分数按从大到小排列(由于每个手势掌心朝下的姿态采集五十次得到五十组三维坐标数据,所以训练集中每个手势就有五十组排列好的24个特征),在各个手势的五十组排列好的24个特征中取各组前n个特征组合成组合特征,n依次取1,2,…,24,基于十折交叉验证方法和高斯朴素贝叶斯识别模型(由于24个特征满足高斯分布,高斯朴素贝叶斯算法被用于最终的识别模型),依次得到24组组合特征下高斯朴素贝叶斯识别模型的识别率。十折交叉验证方法中,组合特征被均匀地分成十等份(每个手势有五十组排列好的24个特征,分成十等份后,每等份就包含有每个手势的本文档来自技高网...
一种基于特征选择的各向同性三维手势识别方法

【技术保护点】
一种基于特征选择的各向同性三维手势识别方法,其特征在于:具体步骤如下:步骤1、利用体感控制器的API采集中式手语中同一个人的6~20个手势的三维坐标数据,归入训练集中用于模型训练;其中,每个手势的三维坐标数据包含各手指指尖、各手指关节、掌心和腕关节的三维坐标;每个手势只采集掌心朝下的姿态,且每个手势掌心朝下的姿态采集k次得到k组三维坐标数据,k的取值为40~60;步骤2、对每个手势的三维坐标数据提取24个特征,该24个特征构成手势特征,具体如下:根据手势的形状特点定义五种属性和归属于这五种属性的24个特征;五种属性分别是各个手指指尖到掌心的距离、各个手指指尖到腕关节的距离、相邻手指指尖的距离、手指中间指骨与手指远端指骨的夹角以及手指近端指骨与手指中间指骨的夹角;由于不同手指的相同类型的特征归属于同一属性,所以五个属性共包含了24个特征,将所有提取的特征数据归一化到0~1之间;步骤3、对每个手势的24个特征进行重要性比较和选择,具体如下:3.1:将步骤2所得的每个手势的24个特征数据输入到随机森林模型中,通过训练模型最终得到各个特征的重要性分数;3.2:将每个手势的24个特征根据步骤3.1所得重要性分数按从大到小排列,在各个手势的k组排列好的24个特征中取各组前n个特征组合成组合特征,n依次取1,2,…,24,基于十折交叉验证方法和高斯朴素贝叶斯识别模型,依次得到24组组合特征下高斯朴素贝叶斯识别模型的识别率;十折交叉验证方法中,从用来验证模型的一份特征中任选的一个手势,在各次训练后的高斯朴素贝叶斯识别模型中的识别分类结果为:...

【技术特征摘要】
1.一种基于特征选择的各向同性三维手势识别方法,其特征在于:具体步骤如下:步骤1、利用体感控制器的API采集中式手语中同一个人的6~20个手势的三维坐标数据,归入训练集中用于模型训练;其中,每个手势的三维坐标数据包含各手指指尖、各手指关节、掌心和腕关节的三维坐标;每个手势只采集掌心朝下的姿态,且每个手势掌心朝下的姿态采集k次得到k组三维坐标数据,k的取值为40~60;步骤2、对每个手势的三维坐标数据提取24个特征,该24个特征构成手势特征,具体如下:根据手势的形状特点定义五种属性和归属于这五种属性的24个特征;五种属性分别是各个手指指尖到掌心的距离、各个手指指尖到腕关节的距离、相邻手指指尖的距离、手指中间指骨与手指远端指骨的夹角以及手指近端指骨与手指中间指骨的夹角;由于不同手指的相同类型的特征归属于同一属性,所以五个属性共包含了24个特征,将所有提取的特征数据归一化到0~1之间;步骤3、对每个手势的24个特征进行重要性比较和选择,具体如下:3.1:将步骤2所得的每个手势的24个特征数据输入到随机森林模型中,通过训练模型最终得到各个特征的重要性分数;3.2:将每个手势的24个特征根据步骤3.1所得重要性分数按从大到小排列,在各个手势的k组排列好的24个特征中取各组前n个特征组合成组合特征,n依次取1,2,…,24,基于十折交叉验证方法和高斯朴素贝叶斯识别模型,依次得到24组组合特征下高斯朴素贝叶斯识别模型的识别率;十折交叉验证方法中,从用来验证模型的一份特征中任选的一个手势,在各次训练后的高斯朴素贝叶斯识别模型中的识别分类结果...

【专利技术属性】
技术研发人员:章田张钰
申请(专利权)人:杭州电子科技大学
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1