本发明专利技术公开了一种基于异构数据融合的传感器协同手势识别方法及系统，该方法包括：步骤1，基于摄像头和传感器采集的异构数据训练手势动作识别模型；步骤2，利用所述手势动作识别模型构建阈值模型；步骤3，基于所述手势动作识别模型和阈值模型对输入的连续动作序列进行分割识别。本发明专利技术克服了基于视觉的技术普遍对周围环境和位置有强烈依赖性和对翻转动作不敏感的问题，同时解决了基于传感器的手势识别中手势识别精度和效率不高，经常会出现错判和漏判的问题，提供了一种识别准确率高、鲁棒性强，手势动作识别可靠的手势识别方法及系统。
【技术实现步骤摘要】
本专利技术涉及人机交互领域，特别是涉及一种基于异构数据融合的传感器协同手势识别方法及系统。
技术介绍
人机交互是一门涉及计算机科学、行为心理学、社会伦理学、图形界面设计以及工业设计学等众多专业背景的交叉学科，以用户体验为终极目标，是连接人与计算机的桥梁。随着计算机技术水平的提高以及社会不同领域的生产需求和人们生活需求的不断扩大，新型智能人机交互方式成为必然。在人机交互的多种方式中，手势动作是最为自然、直观且易于学习的方式之一。智能感知动作语义的手势交互技术，是实现自然、高效的人机交互的必然趋势。目前传统的手势识别方法主要有2种方式I.基于视觉的手势识别，通过摄像头采集手势图像并加以处理进而对手势进行识另Ij，是一种比较直观的手段。该方法的主要优点是设备造价低廉，输入方式为非接触式；2.基于传感器的手势识别，此类方法是将传感器穿戴在手上，实时提取手势特征并采用特定的模式识别算法完成手势动作的识别。该方法的特点是能较好的获取稳定的手势信号，且不受背景影响，抗干扰能力较强。在第一种方法中，需要利用图像信息来实现手势动作识别，而基于视觉的技术普遍对周围环境的光线和用户所处的位置和方向有强烈的依赖性，跟踪过程中经常会出现手部目标丢失的情况，另外，基于视觉的手势识别方法对于翻转动作也不敏感。在第二种方法中，由于加速度计在低速和匀速操作中灵敏度不高，而角速度传感器对平移动作不敏感，因此基于这些传感器的手势识别精度和效率不高，经常会出现错判和漏判现象。
技术实现思路
本专利技术的目的是克服使用单一的手势识别方法的缺点，并发扬基于视觉和传感器手势识别各自的优点，提出一种结合视觉和多传感器的手势识别方法，使其识别准确率高、鲁棒性强，手势动作识别可靠，以达到更好的识别结果。为实现上述目的，本专利技术提出了一种基于异构数据融合的传感器协同手势识别方法，包括步骤I，基于摄像头和传感器采集的异构数据训练手势动作识别模型；步骤2，利用所述手势动作识别模型构建阈值模型；步骤3，基于所述手势动作识别模型和阈值模型对输入的连续动作序列进行分割识别。所述步骤I包括步骤11，通过摄像头和多个传感器检测手势动作，获得用于训练手势动作识别模型的第一样本数据，其中所述第一样本数据是记录某一手势动作的三维位置、三轴角速度、三轴加速度的数据序列；步骤12，结合所述摄像头和多个传感器的特性，对所述第一样本数据中的各个数据序列进行预处理，得到第二样本数据；步骤13，从所述第二样本数据中提取不受动作幅度和空间跨度影响的特征向量，其中所述特征向量融合了动作的位移方向、转动角度和加速度的特征，并利用所述特征向量训练手势动作识别模型。进一步的，所述手势动作识别模型为左-右结构的连续隐马尔科夫模型。其中所述步骤11中采用用户协同实现的分割方法以区分手势对应的数据序列。所述步骤12中的所诉预处理包括空闲数据和异常数据剔除以及数据平滑滤波。所述步骤2中所述阈值模型是由系统中所有手势动作识别模型的隐状态完全连接的遍历结构的隐马尔可夫模型，且对于给定的一个手势动作识别模式，所述阈值模型的似然值都小于任意一个手势模式的手势动作识别模型的似然值。·进一步的，所述步骤3包括步骤301，设定初始时间t=l，并将观测序列和手势栈置为空，同时将所述特征向量作为t时刻的观测值增添到观测序列中，对于隐马尔科夫模型，数据序列统称为观测序列；步骤302，分别使用所有手势动作识别模型和阈值模型对t时刻的观测序列采用韦特比算法进行解码，分别得到所述观测序列的似然值；步骤303，找到所述似然值最大的第一手势动作识别模型；步骤304，判断所述第一手势动作识别模型的似然值是否高于阈值模型的似然值；若高于则将所述t时刻记为所述第一手势动作识别模型对应的手势模式的候选终点，并利用韦特比回馈算法找出该手势模式的起点，同时执行步骤305 ;否则执行步骤306 ；步骤305，将所述手势模式与手势栈栈顶缓存的手势模式进行对比，当两者相同时，返回步骤11采集下一时刻的第一样本数据，否则按下述情况进行判断和操作当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点的前面，则弹出手势栈栈顶缓存的手势模式，并压入上述手势模式及其候选终点，同时返回步骤11采集下一时刻的第一样本数据；当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点和最后一个候选终点之间，则弹出手势栈顶缓存的手势模式，并将上述手势模式的起点的t-1时刻作为手势栈栈顶缓存的手势模式的终点，同时将上述手势模式及其候选终点压栈，，执行步骤307 ；步骤306，弹出手势栈栈顶手势模式，并将t-Ι时刻设为该手势模式的终点，并利用韦特比回馈算法找出该手势模式的起点，然后执行步骤307 ；步骤307，对手势栈弹出的手势模式的长度进行判别，如若手势模式的长度满足约束条件，那么其是一个真手势模式，执行步骤308 ;否则返回步骤11采集下一时刻的第一样本数据，其中手势模式的长度记为其终点时刻和起点时刻之间的时间段长度；步骤308，根据相应的手势动作识别模型，对所述真手势模式的起点时刻和终点时刻之间的观测序列中进行标记，同时返回步骤11采集下一时刻的动作数据。本专利技术还提供了一种基于异构数据融合的多传感器协同手势识别系统，其特征在于，包括手势动作识别模型训练模块，基于摄像头和传感器采集的异构数据训练手势动作识别模型；阈值模型构建模块，利用所述手势动作识别模型构建阈值模型；分割识别模块，基于所述手势动作识别模型和阈值模型对输入的连续动作序列进行分割识别。进一步的，所述手势动作识别模型训练模块包括样本数据获得模块，通过单目摄像头和多个传感器检测手势动作，获得用于训练手势动作识别模型的第一样本数据，其中所述第一样本数据是记录某一手势动作的三维位置、三轴角速度、三轴加速度的数据序列；预处理模块，结合所述单目摄像头和多个传感器的特性，对所述第一样本数据中的各个数据序列进行预处理，得到第二样本数据；·特征向量提取模块，用于从所述第二样本数据中提取不受动作幅度和空间跨度影响的特征向量，其中所述特征向量融合了动作的位移方向、转动角度和加速度的特征，利用所述特征向量训练手势动作识别模型。进一步的，所述分割识别模块包括观测序列增添模块，设定初始时间t=l，并将观测序列和手势栈置为空，同时将所述特征向量作为t时刻的观测值增添到观测序列中，对于隐马尔科夫模型，数据序列统称为观测序列；似然值计算模块，分别使用所有手势动作识别模型和阈值模型对t时刻的观测序列采用韦特比算法进行解码，分别得到所述观测序列的似然值；判断模块，找到所述似然值最大的第一手势动作识别模型，判断所述手势动作识别模型的似然值是否高于阈值模型的似然值；若高于则将所述t时刻记为所述第一手势动作识别模型对应的手势模式的候选终点，并利用韦特比回馈算法找出该手势模式的起点，同时执行对比模块；否则执行弹出模块；对比模块，将上述手势模式与手势栈栈顶缓存的手势模式进行对比，当两者相同时，返回样本数据获得模块采集下一时刻的第一样本数据，否则按下述情况进行判断和操作当上述手势模式的起点在手势栈栈顶缓存的手势模式的第一个候选终点的前面，则弹出手势栈栈顶缓存的手势模式，并压入上述手势模式及其候选终点，并利用韦特比回馈算法找出该手势模式的起点本文档来自技高网...
【技术保护点】
一种基于异构数据融合的传感器协同手势识别方法，其特征在于，包括：步骤1，基于摄像头和传感器采集的异构数据训练手势动作识别模型；步骤2，利用所述手势动作识别模型构建阈值模型；步骤3，基于所述手势动作识别模型和阈值模型对输入的连续动作序列进行分割识别。
【技术特征摘要】
【专利技术属性】
技术研发人员：黄美玉，陈益强，纪雯，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。