基于Pareto优化查询的手部姿态识别方法技术

本发明专利技术涉及一种基于Pareto优化查询的手部姿态识别方法，属于基于视频的数据处理技术领域。该方法利用Poser软件建立多视点下的手部图像库树形模型，提取手部图像特征后建立特征空间与手姿态空间的映射关系，然后采用与Poser相同视点布置摄像机拍摄目标手势，基于Pareto优化查询方法将手部姿态估计中的图像匹配问题转化为多视点优化查询，实现不同视点图像层的并行搜索以提高查询效率，最后在查询获得的Pareto最优点集中，依据欧式距离选取与圆心最近距离位置的解作为姿态识别结果。本发明专利技术采用多摄像机布置消除手部自遮挡造成的姿态识别歧义，基于Pareto优化查询方法提高识别的准确性和实时性。 1

Hand gesture recognition method based on Pareto optimization query

The invention relates to a hand gesture recognition method based on Pareto optimization query, belonging to the technical field of video based data processing. This method uses Poser software to establish the tree model of hand image library under multi view. After extracting the features of hand image, the mapping relationship between feature space and hand attitude space is established. Then the camera is arranged with the same view of Poser as the target gesture, and the image matching in the hand attitude estimation is based on the Pareto optimization query method. The problem is transformed into multi view optimization query, and the parallel search of different view image layers can be realized to improve the query efficiency. Finally, the most advantages of the Pareto are obtained in the query. The solution of the nearest distance of the center of the center is selected according to the Euclidean distance as the attitude recognition result. The invention uses multi camera arrangement to eliminate the ambiguity of attitude recognition caused by self occlusion, and improves the accuracy and real time recognition based on the Pareto optimization method. One

【技术实现步骤摘要】
基于Pareto优化查询的手部姿态识别方法
本专利技术涉及一种基于Pareto(帕累托)优化查询的手部姿态识别方法，属于基于视频的数据处理

技术介绍
基于视频的无标记手姿态识别方法可以分为两大类：基于模型(Model-Based)的方法和基于表观(Appearance-Based)的方法。基于模型的方法利用3D手模型投影得到预测手型图像，比较其与实时采集图像之间差异，修正相应姿态参数。该方法跟踪精度较高，但要在高维手姿态空间中完成各维参数的搜索耗时巨大，有的学者，参见“I.Oikonomidis,N.Kyriazis,A.Argyros.基于遮挡和物理约束下的全自由度手部交互跟踪.2011年计算机视觉国际会议.2011:2088-2095”采用圆柱体，有的学者，参见“C.Qian,X.Sun,Y.Wei,X.Tang,J.Sun.基于深度的手部实时鲁棒跟踪.2014年计算机视觉与模式识别国际会议.2014:1106-1113”采用球体近似手模型，降低姿态空间维数，但仍无法满足实时跟踪的要求。基于表观的方法通过预先给出的手势图像库，建立图像特征空间到姿态空间的映射，由图像特征直接估计姿态参数。相比较基于模型的方法，时间复杂度较低，易于达到实时性。但映射过程时间效率和准确率与手势图像库图像数量相关，特别为解决自遮挡问题，往往需要多视点下建立庞大的图像库以及高效的数据搜索算法的支持，即使通过索引机制加快图像检索效率，时间效率和准确率也是一对矛盾共同体。
技术实现思路
本专利技术提出了一种基于Pareto优化查询的手部姿态识别方法，将姿态识别中的逐层单目标图像匹配转化为多视点查询优化问题，实现不同视点层特征匹配的并行计算以降低时间消耗，并通过获得Pareto最优点集，抛弃不相似度较大的节点，有效降低数据点个数，提高识别效率。同时由于将不同视点层的相似度同时引入，不设定每层的筛选阈值，避免由于筛选阈值引起的误判，提高识别准确性。本专利技术为解决其技术问题采用如下技术方案：一种基于Pareto优化查询的手部姿态识别方法，包括如下步骤：(1)构建手势特征库：利用Poser软件控制手部模型姿态参数获得多视点摄像机下不同手势图像，依据视点关系建立手势图像库树形模型，采用计算机图像处理方法提取对应手部图像特征，在树形模型下建立手势特征空间与姿态参数空间的映射关系；(2)获得目标手势图像特征：采取与手势图像库相同视点布置摄像机拍摄目标手部图像，提取手部区域后采用步骤(1)中的图像处理技术提取目标手势不同视点下图像特征；(3)Pareto优化查询：将步骤(2)拍摄得到的目标手势各视点图像特征与树形模型中对应视点层各个图像特征进行比较，不同视点层图像可以并行计算与目标手势对应视点下的图像不相似度，与同一手势不同视点图像的不相似度构成了一个多维空间数据点，称为Pareto点，与不同手势的比较就构成了多维空间的Pareto点集，然后通过点集中的严格支配关系求解出Pareto最优点集；(4)手部姿态识别：在查询获得的Pareto最优点集中，根据欧式距离选取与圆心最近距离点，依据在树形模型下手势特征空间与姿态参数空间的映射关系获得最近距离点对应的手部姿态参数，实现手部姿态识别。步骤(3)中所述Pareto点集及Pareto最优点集的形成方法，包括如下步骤：步骤A：根据需要布置n个视点Ci，其中i＝1,2,3,...n，利用Poser软件获得手部模型在不同视点下的图像构成手势图像库树形模型，每个叶子节点和它的祖先节点是同一个手势在不同视点下拍摄的图像，每一层节点是同一视点下不同手势的图像；步骤B：按照模型库摄像机视点位置布置摄像机实拍目标手势，分别计算目标手势各视点下图像与模型库中对应视点层各节点的图像特征不相似度，各个视点层的不相似度可并行计算，即在计算Ci视点下目标手势图像与该视点层各图像的特征不相似度的同时，可同时计算Cj视点下目标手势图像与该视点层各图像的特征不相似度，其中i≠j；不同视点下的比较结果构建多维坐标系，每一维坐标分别代表目标手势与对应视点层各手势图像的特征不相似度，目标手势与图像库中手势si的的特征不相似度构成了点其中是与手势si在视点C1层的图像特征不相似度，是与手势si在视点C2层的图像特征不相似度，是与手势si在视点C3层的图像特征不相似度，是与手势si在视点Cn层的图像特征不相似度，点di的维数由视点数n决定；与手势库中所有手势的匹配情况构成了Pareto点集D＝(d1,d2,...,dm)，其中d1是目标手势与树形模型中手势s1在各视点下图像特征不相似度组成的多维数据点，d2是目标手势与手势s2在各视点下图像特征不相似度组成的多维数据点，dm是目标手势与手势sm在各视点下图像特征不相似度组成的多维数据点，m为手势库中手势个数；步骤C：在Pareto点集D＝(d1,d2,...,dm)中，如果点di和dj满足：其中p＝1,2...,n，且有称元素di严格地支配元素dj，记作其中是目标手势与树形模型中手势si在p视点下图像特征的不相似度，是目标手势与树形模型中手势sj在p视点下图像特征的不相似度，是目标手势与树形模型中手势si在q视点下图像特征的不相似度，是目标手势与树形模型中手势sj在q视点下图像特征的不相似度；如果d不被D中其余元素严格支配，则称d为一个Pareto最优点；D中所有的Pareto最优点构成了Pareto最优点集合，也称为Pareto最优点集。本专利技术的有益效果如下：本专利技术方法中操作者手上无需任何附加物，不会妨碍操作者的动作，操作者手部位置不受限制，可以方便进行操作，还可以直接获得温度、材质、纹理等感知。本专利技术布置多角度摄像机拍摄，通过建立多视点手势图像库树形模型，避免由于手势自遮挡产生的同一视点下不同手势具有相同观测图像而导致的误识别问题，同时本专利技术方法通过多层视点的并行计算有效解决多视点识别时的效率问题。附图说明图1为正交摄像头布置方案示例。图2为手势图像库树形模型及手势特征-姿态映射关系示意图。图3为图2中手势图像库查询后的Pareto点集映射。图4为Pareto最优点集示意图。具体实施方式本专利技术以正交二层视点为例，结合附图和实施案例对本专利技术的技术方案做进一步详细说明：利用Poser软件进行手势图像的采集。本专利技术以正交二层视点为例，采用如图1所示布置两个正交摄像机C1和C2，由Poser控制模型手的姿态拍摄模型手势在C1和C2视点下的图像以构建手势模型库；对各个视点下的手势图像提取特征。本专利技术中通过比较邻域对称点之间的差异捕捉梯度信息进行二值描述得到OG_LBP(梯度二值模式)特征：其中，gi和gi+P/2分别代表邻域内以中心点为对称的一组像素点的灰度值；P是环形邻域内半径为R的像素个数，坐标不是整数位置的采样点可通过双线性插值得到；OG_LBP特征以邻域对称点之间的差异描述梯度信息，采用v(·)阶跃响应函数，其中σ为人工设定的阈值：对手势图库里所有手势图像提取OG_LBP特征。采用树形结构，以不同树层代表不同视点，生成图2所示的手势特征图像库树形模型。其中表示手势特征树的节点对应的OG_LBP图像特征，Cp(p＝1,2,...,n)代表摄像机视点，mp(p＝1,2,...)为C本文档来自技高网...

【技术保护点】
1.一种基于Pareto优化查询的手部姿态识别方法，其特征在于，包括如下步骤：

【技术特征摘要】
1.一种基于Pareto优化查询的手部姿态识别方法，其特征在于，包括如下步骤：(1)构建手势特征库：利用Poser软件控制手部模型姿态参数获得多视点摄像机下不同手势图像，依据视点关系建立手势图像库树形模型，采用计算机图像处理方法提取对应手部图像特征，在树形模型下建立手势特征空间与姿态参数空间的映射关系；(2)获得目标手势图像特征：采取与手势图像库相同视点布置摄像机拍摄目标手部图像，提取手部区域后采用步骤(1)中的图像处理技术提取目标手势不同视点下图像特征；(3)Pareto优化查询：将步骤(2)拍摄得到的目标手势各视点图像特征与树形模型中对应视点层各个图像特征进行比较，不同视点层图像可以并行计算与目标手势对应视点下的图像不相似度，与同一手势不同视点图像的不相似度构成了一个多维空间数据点，称为Pareto点，与不同手势的比较就构成了多维空间的Pareto点集，然后通过点集中的严格支配关系求解出Pareto最优点集；(4)手部姿态识别：在查询获得的Pareto最优点集中，根据欧式距离选取与圆心最近距离点，依据在树形模型下手势特征空间与姿态参数空间的映射关系获得最近距离点对应的手部姿态参数，实现手部姿态识别。2.根据权利要求1所述的基于Pareto优化查询的手部姿态识别方法，其特征在于，步骤(3)中所述Pareto点集及Pareto最优点集的形成方法，包括如下步骤：步骤A：根据需要布置n个视点Ci，其中i＝1,2,3,...n，利用Poser软件获得手部模型在不同视点下的图像构成手势图像库树形模型，每个叶子节点和它的祖先节点是同一个手势在不同视点下拍摄的图像，每一层节点是同一视点下不同手势的图像；步骤B：按照模型库摄像机视点位置布置摄像机实拍目标手势，分...

【专利技术属性】
技术研发人员：孙瑾，张哲，杨刘涛，丁永晖，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32