一种基于随机投影多核学习的手势识别方法技术

技术编号:15747321 阅读:247 留言:0更新日期:2017-07-03 04:32
本发明专利技术公开了一种基于随机投影多核学习的手势识别方法,步骤包括:采集手势图像,并对图像进行预处理,预处理包括手势定位和手势分割;对预处理分割后的手势提取sift特征;采用k‑means算法训练学习字典,然后使用迭代字典更新算法更新字典;对手势图像进行空间金字塔划分,并对在每层空间金字塔中对手势图像的sift特征,根据训练得到的字典进行编码,得到特征向量,并对特征向量进行级联,接着使用随机投影进行对特征向量降维;对每层金字塔降维后的特征向量学习核矩阵,采用多核模型学习算法进行分类学习,得到最优核矩阵组合系数。本发明专利技术解决了目前传统的手势识别方法中存在的背景干扰、复杂度较高、耗时长和识别率低等问题。

Hand gesture recognition method based on stochastic projection and multi-core learning

The invention discloses a gesture recognition method, random projection based on multiple kernel learning method comprises the following steps: collecting the gesture image, and image preprocessing, preprocessing including gesture location and gesture segmentation; segmentation of the gesture feature extraction sift; using K means algorithm using iterative learning dictionary, dictionary update algorithm to update the dictionary; the space division of the Pyramid gesture images, and the SIFT characteristics of the gesture image in each layer of space in Pyramid, were trained according to the encoding dictionary to obtain feature vectors, and the cascade feature vector, then using random projection to reduce the dimensionality of the feature vector of each layer of Pyramid feature reduction; after learning the kernel matrix vector dimension, multi core model learning algorithm to classify, to obtain the optimal kernel matrix combination coefficient. The invention solves the problems of high background interference, high complexity, long time consuming and low recognition rate in the traditional gesture recognition method.

【技术实现步骤摘要】
一种基于随机投影多核学习的手势识别方法
本专利技术涉及模式识别
,尤其涉及一种基于随机投影多核学习的手势识别方法。
技术介绍
目前,随着科学技术的不断进步,人机交互得到迅速发展,人机交互成为研究者研究的热点之一。人机交互的目标是实现用户与机器之间的自然交流,为用户提供实时、直观的交互体验。由于人与人之间是通过语言、肢体与表情来传递信息,而手势具有自然、直观等特征,因此基于手势识别的人机交互受到了人们越来越多的关注,并在人机交互领域中发挥着越来越重要的作用。手势识别涉及多个学科,例如计算科学、机器学习、模式识别、图像与视频处理等。手势识别主要分为两种,一种是基于数据手套的手势识别,另外一种是基于视觉的手势识别。基于数据手套的识别最开始是由AT&T的Geimes使用数据手套来检测人手与其关节的空间信息,VirtualTechnologie公司的CyberGlove手套也得到广泛运用,检测手势运动速度、加速度等手势信息,识别率比较高,且实时性比较好。但是,这种交互方式需要佩戴手套等传感设备,识别的手势较少,同时缺乏手势的自然性。基于视觉的手势识别,无需穿戴设备,操作方便,用户只需进行手势的自然表达,从而进行人与机器的交流,实现了人机交互的直观表示。基于视觉的手势识别主要利用摄像头采集手势的图像视频数据,传输给计算机,通过使用计算机视觉技术进行图像处理,对其中的手势进行识别。但是目前基于视觉的手势识别面临着诸多难点,例如复杂背景、光照等因素的影响,因此设计出简单、实时、有效、方便的手势识别系统是研究者研究的热点问题,也是手势识别发展的必然趋势。手势识别过程主要包括:手势数据采集、手势分割、特征提取和手势识别等步骤。比较常用的特征有sift(Scale-invariantfeaturetransform)特征、傅里叶描述子、Hu矩和HOG(HistogramofOrientedGradient)特征等。采用单一的特征,往往存在局限性(参见文献“张汗灵,李红英,周敏.融合多特征和压缩感知的手势识别[J].湖南大学学报(自科版),2013,40(3):87-92.”和“翁汉良,战荫伟.基于视觉的多特征手势识别[J].计算机工程与科学,2012,34(2):123-127.”)。基于稀疏表示的手势识别算法(参见文献“张勤,赵健,孙道达,等.一种基于稀疏表示的手势识别算法[J].西北大学学报自然科学版,2013,43(6):881-884.”和“宁亚楠,李定主,韩燮,等.基于稀疏表示的手势识别方法[J].计算机工程与设计,2016(9):2548-2552.”)构建稀疏冗余字典,根据最小残差实现手势识别,相对速度慢,往往不能够达到实时性的效果,同时稀疏编码往往忽视局部信息。采用传统的支持向量机的方法进行识别,由于每个特征对于最终的识别结果产生的影响不同;如果采用单一的核矩阵进行识别,往往忽视了特征之间的区分性。同时使用核函数往往采用经验法,缺乏统一的标准,得到的结果往往不一致。
技术实现思路
为了克服现有技术存在的缺点与不足,本专利技术提供一种基于随机投影多核学习的手势识别方法,解决目前传统的手势识别方法中存在的背景干扰、复杂度较高、耗时长和识别率低等问题。为解决上述技术问题,本专利技术提供如下技术方案:一种基于随机投影多核学习的手势识别方法,包括如下步骤:S1、采集手势图像,并对图像进行预处理,预处理包括手势定位和手势分割;S2、对预处理分割后的手势提取sift特征;S3、采用k-means算法训练学习字典,然后使用迭代字典更新算法更新字典;S4、对手势图像进行空间金字塔划分,并对在每层空间金字塔中对手势图像的sift特征,根据训练得到的字典进行编码,得到特征向量,并对特征向量进行级联,接着使用随机投影进行对特征向量降维;S5、对每层金字塔降维后的特征向量学习核矩阵,学习核矩阵方法采用多核模型学习算法进行分类学习,得到最优核矩阵组合系数。进一步地,所述步骤S1中预处理,具体为:S11、采用Grayworld光线补偿算法,降低光照环境对于后续手势分割的影响;S12、采用HSV和Ycbcr混合空间模型方法进行肤色检测,进一步定位手势区域,在手势区域内提取手势的最小外接矩形;S13、在最小外接矩形中,采用形态学的膨胀与腐蚀操作,对手势进行分割处理以及平滑手势的边缘;最后在最小外接矩形内提取手势;进一步地,所述步骤S11中Grayworld光线补偿算法具体为:分别计算手势图像R、G、B颜色分量的平均值ravg、gavg、bavg,定义图像平均灰度值为grayavg=(ravg+gavg+bavg)/3,并定义R、G、B三个通道的增益系数ar、gr、br为:ar=grayavg/ravggr=grayavg/gavgbr=grayavg/bavg调整每个像素点c的R、G、B颜色分量为:c(R)=c(R)*arc(G)=c(G)*agc(B)=c(B)*ab最终将R、G、B颜色分量调整到可视范围内。进一步地,所述步骤S2,具体为:S21、对分割后的手势生成尺度空间,寻找空间尺度极值,并定位特征点;S22、利用特征点周围像素梯度m(x,y)和方向θ(x,y),为每一个特征点赋值方向,然后计算其sift特征:θ(x,y)=arctan((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))最后,得到的特征为X=[x1,...,xM]T∈RM×D,xi∈R1×D,M为特征点的个数,D为sift特征的维数。进一步地,所述步骤S3具体为:S31、采用k-means算法,生成得到字典B=[b1,b2,...,bN]∈RD×N,字典大小为D,视觉词汇个数为N;S32、使用迭代字典更新算法,使用局部约束线性编码准则,每次加载训练集中的部分特征描述符不断更新字典。进一步地,所述步骤S4具体为:S41、对手势图像进行空间金字塔划分,并在每层空间金字塔中对手势图像的特征,根据训练得到的字典进行编码,得到特征向量;S42、将得到的特征向量进行级联,并采用随机投影,使得每层特征向量与字典大小保持一致。进一步地,所述步骤S41具体为:对分割后的手势图像进行空间金字塔划分,按照手势图像两个坐标方向的2指数倍进行划分,分为L层,其中l=0,...L,第l=0层是将手势图像水平方向分为2l=20=1块,竖直方向分为2l=20=1块,最终第l=0层手势图像被划分为2l*2l=1块,其他层数以此类推;对每层的每块图像块进行局部约束线性编码,公式为:其中,ci是sift特征描述符xi的编码;⊙为逐元素相乘;表示分配的自由度与sift特征描述符的每个基向量的相似性成正比的局部适配器,其中dist(xi,B)=[dist(xi,b1),...,dist(xi,bM)]T,dist(xi,bj)表示xi与bj之间的欧式距离;参数σ控制局部适配器权重衰减的速度,同时从dist(xi,B)减去max(dist(xi,B)),将di标准化到范围(0,1]间;约束项1Tci=1确保局部约束线性编码的平移不变性。进一步地,所述步骤S5具体为:S51、采用非线性径向基核函数Kl(xi,xj)=exp(-γlf(xi,xj)),其中γl取所有训练数据本文档来自技高网
...
一种基于随机投影多核学习的手势识别方法

【技术保护点】
一种基于随机投影多核学习的手势识别方法,其特征在于,包括如下步骤:S1、采集手势图像,并对图像进行预处理,预处理包括手势定位和手势分割;S2、对预处理分割后的手势提取sift特征;S3、采用k‑means算法训练学习字典,然后使用迭代字典更新算法更新字典;S4、对手势图像进行空间金字塔划分,并对在每层空间金字塔中对手势图像的sift特征,根据训练得到的字典进行编码,得到特征向量,并对特征向量进行级联,接着使用随机投影进行对特征向量降维;S5、对每层金字塔降维后的特征向量学习核矩阵,学习核矩阵方法采用多核模型学习算法进行分类学习,得到最优核矩阵组合系数。

【技术特征摘要】
1.一种基于随机投影多核学习的手势识别方法,其特征在于,包括如下步骤:S1、采集手势图像,并对图像进行预处理,预处理包括手势定位和手势分割;S2、对预处理分割后的手势提取sift特征;S3、采用k-means算法训练学习字典,然后使用迭代字典更新算法更新字典;S4、对手势图像进行空间金字塔划分,并对在每层空间金字塔中对手势图像的sift特征,根据训练得到的字典进行编码,得到特征向量,并对特征向量进行级联,接着使用随机投影进行对特征向量降维;S5、对每层金字塔降维后的特征向量学习核矩阵,学习核矩阵方法采用多核模型学习算法进行分类学习,得到最优核矩阵组合系数。2.根据权利要求1所述的一种基于随机投影多核学习的手势识别方法,其特征在于,所述步骤S1中预处理,具体为:S11、采用Grayworld光线补偿算法,降低光照环境对于后续手势分割的影响;S12、采用HSV和Ycbcr混合空间模型方法进行肤色检测,进一步定位手势区域,在手势区域内提取手势的最小外接矩形;S13、在最小外接矩形中,采用形态学的膨胀与腐蚀操作,对手势进行分割处理以及平滑手势的边缘;最后在最小外接矩形内提取手势。3.根据权利要求2所述的一种基于随机投影多核学习的手势识别方法,其特征在于,所述步骤S11中Grayworld光线补偿算法具体为:分别计算手势图像R、G、B颜色分量的平均值ravg、gavg、bavg,定义图像平均灰度值为grayavg=(ravg+gavg+bavg)/3,并定义R、G、B三个通道的增益系数ar、gr、br为:ar=grayavg/ravggr=grayavg/gavgbr=grayavg/bavg调整每个像素点c的R、G、B颜色分量为:c(R)=c(R)*arc(G)=c(G)*agc(B)=c(B)*ab最终将R、G、B颜色分量调整到可视范围内。4.根据权利要求1所述的一种基于随机投影多核学习的手势识别方法,其特征在于,所述步骤S2,具体为:S21、对分割后的手势生成尺度空间,寻找空间尺度极值,并定位特征点;S22、利用特征点周围像素梯度m(x,y)和方向θ(x,y),为每一个特征点赋值方向,然后计算其sift特征:θ(x,y)=arctan((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))最后,得到的特征为X=[x1,...,xM]T∈RM×D,xi∈R1×D,M为特征点的个数,D为sift特征的维数。5.根据权利要求1所述的一种基于随机投影多核学习的手势识别方法,其特征在于,所述步骤S3具体为:S31、采用k-means算法,生成得到字典B=[b1,b2,...,bN]∈RD×N,字典大小为D,视觉词汇个数为N;S32、使用迭代字典更新算法,使用局...

【专利技术属性】
技术研发人员:王淼孙季丰余家林宋治国
申请(专利权)人:华南理工大学
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1