本发明专利技术公开了一种自动检测非手势模式的手势分割识别方法及系统，该方法包括：步骤1，基于摄像头和传感器采集的异构数据训练手势动作识别模型，利用所述手势动作识别模型构建阈值模型，手势动作识别模型和阈值模型构成手势分割模型；步骤2，利用所述手势分割模型从输入的连续动作序列中自动检测非手势模式；步骤3，利用所述非手势模式训练非手势动作识别模型；步骤4，基于非手势动作识别模型扩展手势分割模型，对输入的连续动作序列进行分割识别。本发明专利技术，使得手势分割识别系统能够更好的表征非手势模式，减少了将非手势模式误判为手势模式的概率，提高了手势分割算法的准确性。
【技术实现步骤摘要】
一种自动检测非手势模式的手势分割识别方法及系统
本专利技术属于人机交互领域，特别涉及一种自动检测非手势模式的手势分割识别方法及系统。
技术介绍
人机交互是一门涉及计算机科学、行为心理学、社会伦理学、图形界面设计以及工业设计学等众多专业背景的交叉学科，以用户体验为终极目标，是连接人与计算机的桥梁。 随着计算机技术水平的提高以及社会不同领域的生产需求和人们生活需求的不断扩大，新型智能人机交互方式成为必然。在人机交互的多种方式中，手势动作是最为自然、直观且易于学习的方式之一。智能感知动作语义的手势交互技术，是实现自然、高效的人机交互的必然趋势。手势分割，是识别手势的前提，分割的正确合理性直接影响识别结果的好坏。但是由于用户手势动作的任意性和随机性，手势分割一直是一个研究难点，目前手势分割的主要方法有I.通过用户协同实现分割，具体分两种情况一种是制定手势规则，或者开始和结束时让手脱离摄像头视线，或者定义手势由起始姿态，轨迹曲线和选择姿态构成；另外一种是通过用户按压专门的按钮实现分割，例如在用户输入动作时按住该按钮，完成动作时松开按钮，这样就能够较为准确地得到一个手势动作所对应的特征序列。2.通过数据分析实现分割，具体分两种情况一种是基于特征的方法，或者统计手势转换时的特征，如果某一时刻采集的手势特征与某个已知的手势转换特征相匹配， 该处就是一个分割点，或者分别统计手势起始时和结束时的特征约束条件，以判定手势的起点和终点；另外一种是基于模型的方法，常用的模型有神经网络(NN)，连续动态规划(CDP)，动态时间规整(DTW)，隐马尔科夫模型(HMM)，条件模型(最大熵马尔科夫模型 (MEMM)和条件随机场(CRF ))。第一种方法需要用户的合作，多余的规则或按压动作会增加用户的负担，减少交互体验的愉悦感，第二种方法中基于特征的分割，要求手势之间有非手势的运动模式，不适用于连续手势运动的分割，而基于模型的分割则不存在该限制，因此是目前手势分割的首选方法。在基于模型的分割算法中，基于神经网络(NN)的分割算法采用了固定窗口的分割算法，不能容忍手势长度的变化，而基于连续动态规划(CDP)的分割算法计算时间复杂度高，基于动态时间规整(DTW)的分割算法不能应用于手势变化的动态系统中，基于最大熵马尔科夫模型(MEMM)的分割算法存在标记偏差的问题，而基于条件随机场(CRF)的分割算法虽然性能要好于基于隐马尔科夫模型(HMM)的分割算法，但是其收敛速度慢，扩展性差，故而现在最流行的分割算法仍然是基于HMM的算法。经典的基于HMM的分割算法都是使用一个通用的阈值模型作为自适应的似然值阈值，以从连续的动作序列中区分出手势动作序列。它的基本原理是，实时的使用韦特比算法计算连续输入的动作序列针对各个手势模型和通用阈值模型的似然值，当手势模型的最大似然值高于通用阈值模型的似然值时，将当前时刻记为似然值最大的手势模型对应的手势模式的终点，再通过韦特比算法解码该手势模式，找到手势模式的起点，从而实现了手势动作序列的分割。然而仅适用通用阈值模型作为自适应的似然值阈值，很可能将那些复杂的非手势动作序列也误判为手势动作序列，因为通用的阈值模型只是一个由系统中的所有手势模型的所有状态完全连接而成的遍历模型，它只能与预定义的手势子模式以任意次序组合而成的模式匹配，而不能与非预定义的手势子模式构成的非手势模式匹配，故而当某个手势模型针对当前输入动作序列计算出来的似然值高于通用的阈值模型时，并不能武断地判定当前输入动作序列属于某个手势模式。基于以上原因，检测和建模非手势运动模式成为基于HMM分割手势的难点。
技术实现思路
本专利技术的目的是克服传统的基于HMM的手势分割算法在表征非手势模式上存在的缺陷，并在采集了大量的非手势模式后对其进行了聚类和建模。本专利技术将训练的非手势模型导入到手势分割识别系统中，使得手势分割识别系统能够更好的表征非手势模式，减少了将非手势模式误判为手势模式的概率，提高了手势分割算法的准确性。为实现上述目的，本专利技术提出了一种自动检测非手势模式的手势分割识别方法， 包括步骤1，基于摄像头和传感器采集的异构数据训练手势动作识别模型，利用所述手势动作识别模型构建阈值模型，手势动作识别模型和阈值模型构成手势分割模型；步骤2，利用所述手势分割模型从输入的连续动作序列中自动检 测非手势模式；步骤3，利用所述非手势模式训练非手势动作识别模型；步骤4，基于非手势动作识别模型扩展手势分割模型，对输入的连续动作序列进行分割识别。所述步骤2包括步骤21，利用所述的手势分割模型从输入的连续动作序列中分割和识别出有效的手势1吴式；步骤22，将所述手势模式的起点与前一个动作模式的终点之间的观测序列作为一个非手势模式从动作序列中检测出来；步骤23，计算所述手势模式的似然值，并对其进行判断若似然值小于 Υ，则判定当前的手势模式为伪手势模式，并将其作为一个非手势模式从动作序列中检测出来，否则判定当前的手势模式为一个真手势模式，对其进行分割识别，其中 Υ是一个小于训练手势的最低似然值的似然值阈值。所述步骤21包括步骤201，通过摄像头和多个传感器检测手势动作，获得用于训练手势动作识别模型的第一样本数据，其中所述第一样本数据是记录某一手势动作的三维位置、三轴角速度、 三轴加速度的数据序列；步骤202，结合所述摄像头和多个传感器的特性，对所述第一样本数据中的各个数据序列进行预处理，得到第二样本数据；步骤203，从所述第二样本数据中提取不受动作幅度和空间跨度影响的特征向量， 其中所述特征向量融合了动作的位移方向、转动角度和加速度的特征，并利用所述特征向量训练手势动作识别模型；步骤204，设定初始时间t=l，并将观测序列和手势栈置为空，同时将所述特征向量作为t时刻的观测值增添到观测序列中，对于隐马尔科夫模型，数据序列统称为观测序列；步骤205，分别使用所有手势动作识别模型和阈值模型对t时刻的观测序列采用韦特比算法进行解码，分别得到所述观测序列的似然值；步骤206，找到所述似然值最大的第一手势动作识别模型；步骤207，判断所述第一手势动作识别模型的似然值是否高于阈值模型的似然值； 若高于则将所述t时刻记为所述第一手势动作识别模型对应的手势模式的候选终点，并利用韦特比回馈算法找出该手势模式的起点，同时执行步骤208 ;否则执行步骤209 ；步骤208，将上述手势模式与手势栈栈顶缓存的手势模式进行对比，当两者相同时，返回步骤201采集下一时刻的第一样本数据，否则按下述情况进行判断和操作当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点的前面，则弹出手势栈栈顶缓存的手势模式，并压入上述手势模式及其起点和候选终点，同时返回步骤201采集下一时刻的第一样本数据；当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点和最后一个候选终点之间，则弹出手势栈顶缓存的手势模式，并将上述手势模式的起点的前一时刻作为手势栈栈顶缓存的手势模式的终点，同时将上述手势模式及其起点和候选终点压栈，并执行步骤210 ；步骤209，弹出手势栈栈顶手势模式，并将t-Ι时刻设为该手势模式的终点，然后执行步骤210 ；步骤210，对手势栈弹出的手势模式的长度进行判别，如若手势模式的长度满足约束条件本文档来自技高网...
【技术保护点】
一种自动检测非手势模式的手势分割识别方法，其特征在于，包括：步骤1，基于摄像头和传感器采集的异构数据训练手势动作识别模型，利用所述手势动作识别模型构建阈值模型，手势动作识别模型和阈值模型构成手势分割模型；步骤2，利用所述手势分割模型从输入的连续动作序列中自动检测非手势模式；步骤3，利用所述非手势模式训练非手势动作识别模型；步骤4，基于非手势动作识别模型扩展手势分割模型，对输入的连续动作序列进行分割识别。
【技术特征摘要】
【专利技术属性】
技术研发人员：黄美玉，陈益强，纪雯，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。