一种基于手势信号识别的设计意图判别方法及系统技术方案

本发明专利技术公开了一种基于手势信号识别的设计意图判别方法及系统。所述方法利用手势信号采集装置获取用户设计过程中的手势信号，利用训练好的HMM模型从设计者的手势信号中识别出用户的设计意图，通过设计手势驱动CAD软件完成对应的指令操作，达到让计算机理解设计者的设计意图并完成设计任务的效果。采用本发明专利技术方法能够把设计者的双手从设计过程中解放出来，用更加自然并贴合设计需求的手势来表达设计需求，避免了鼠标、键盘等手动操作设备对设计者的工作范围及设计方式的限制，提高了设计过程的智能化水平。

【技术实现步骤摘要】
一种基于手势信号识别的设计意图判别方法及系统
本专利技术涉及产品设计过程中的智能人机交互
，特别是涉及一种基于手势信号识别的设计意图判别方法及系统。
技术介绍
近年来，随着智能设计概念的提出，对产品设计过程中的人机交互技术提出了新的技术要求和挑战。鼠标、键盘等传统交互工具在使用的自然性和友好性等方面存在很大局限性，难以满足智能设计中对人机交互技术的发展需求，也无法准确识别用户在产品设计过程中的设计意图。手势是人类表达非语言类的意图感知的重要载体，近年来随着科学技术的不断发展，对于手势识别技术的研究得到广泛关注。然而，目前针对手势识别的研究工作主要集中在提高手势识别精度和处理效率方面，却鲜有针对产品设计过程中的手势交互技术进行研究，特别是利用手势识别技术对用户的设计意图进行有效判别，以实现产品设计的智能交互过程。
技术实现思路
本专利技术的目的是提供一种基于手势信号识别的设计意图判别方法及系统，以实现产品设计过程中对用户设计意图的判别。为实现上述目的，本专利技术提供了如下方案：一种基于手势信号识别的设计意图判别方法，所述方法包括：获取设计者在设计过程中的待识别手势信号；根据所述待识别手势信号构建待判别的观测序列；获取多个训练好的手势识别模型；采用多个所述训练好的手势识别模型确定所述待判别的观测序列的多个观测概率；确定多个所述观测概率中的最大观测概率对应的所述训练好的手势识别模型为当前识别模型；根据所述当前识别模型和所述最大观测概率从手势特征库提取出对应的CAD操作指令；根据所述CAD操作指令驱动CAD软件完成相应的指令操作。可选的，所述根据所述待识别手势信号构建待判别的观测序列，具体包括：根据所述待识别手势信号构造待判别的手势特征向量N'(C',V')；其中C'＝(c’1,c'2,c'3,c'4,c'5,c'6)，c1'为手心坐标，c'2～c'6分别为拇指指尖到小指指尖的坐标；V'＝(v’1,v'2,v'3,v'4,v'5,v'6)，v’1为手心内法向量，v'2～v'6分别为拇指指尖到小指指尖的法向量；根据所述待判别的手势特征向量N'构建待判别的观测序列O’i(o’1,o'2,...o'T)；其中o’1＝N’1,o'2＝N'2,...o'T＝N'T；N’t表示根据t时刻采集的待识别的手势信号构造的t时刻的待判别的手势特征向量，t＝1,2,...,T；T为采集时刻总数。可选的，在所述获取多个训练好的手势识别模型之前，还包括：通过大量实验采集设计者在设计过程中的大量手势信号；根据大量所述手势信号构建手势特征向量数据集；随机选取所述手势特征向量数据集中80％的手势特征向量作为训练集，其余20％的手势特征向量作为测试集；采用所述训练集对HMM模型的模型参数进行训练，得到多个训练后的HMM模型；采用所述测试集计算多个所述训练后的HMM模型的多个输出观测概率；确定多个所述输出观测概率中的最大输出观测概率对应的训练后的HMM模型为训练好的手势识别模型。可选的，所述采用多个所述训练好的手势识别模型确定所述待判别的观测序列的多个观测概率，具体包括：采用公式计算t时刻的待判别的观测序列的观测概率P(O/λ)；其中αt(i)表示t时刻的待判别的观测序列的隐藏状态为qi的概率。可选的，所述根据所述当前识别模型和所述最大观测概率从手势特征库提取出对应的CAD操作指令，具体包括：判断所述当前识别模型对应的所述最大观测概率是否大于等于0.8，获得第一判断结果；若所述第一判断结果为所述当前识别模型对应的所述最大观测概率大于等于0.8，根据所述当前识别模型从手势特征库提取出对应的CAD操作指令；若所述第一判断结果为所述当前识别模型对应的所述最大观测概率小于0.8，确定所述待识别的手势信号为无效手势。一种基于手势信号识别的设计意图判别系统，所述系统包括：待识别手势信号获取模块，用于获取设计者在设计过程中的待识别手势信号；观测序列构建模块，用于根据所述待识别手势信号构建待判别的观测序列；手势识别模型获取模块，用于获取多个训练好的手势识别模型；观测概率计算模块，用于采用多个所述训练好的手势识别模型确定所述待判别的观测序列的多个观测概率；当前识别模型判别模块，用于确定多个所述观测概率中的最大观测概率对应的所述训练好的手势识别模型为当前识别模型；操作指令提取模块，用于根据所述当前识别模型和所述最大观测概率从手势特征库提取出对应的CAD操作指令；指令操作模块，用于根据所述CAD操作指令驱动CAD软件完成相应的指令操作。可选的，所述观测序列构建模块具体包括：手势特征向量构造单元，用于根据所述待识别手势信号构造待判别的手势特征向量N'(C',V')；其中C'＝(c’1,c'2,c'3,c'4,c'5,c'6)，c’1为手心坐标，c'2～c'6分别为拇指指尖到小指指尖的坐标；V'＝(v’1,v'2,v'3,v'4,v'5,v'6)，v1'为手心内法向量，v'2～v'6分别为拇指指尖到小指指尖的法向量；观测序列构建单元，用于根据所述待判别的手势特征向量N'构建待判别的观测序列O’i(o’1,o'2,...o'T)；其中o’1＝N’1,o'2＝N'2,...o'T＝N'T；N’t表示根据t时刻采集的待识别的手势信号构造的t时刻的待判别的手势特征向量，t＝1,2,...,T；T为采集时刻总数。可选的，所述系统还包括手势识别模型构建模块，所述手势识别模型构建模块具体包括：大量手势信号采集单元，用于通过大量实验采集设计者在设计过程中的大量手势信号；手势特征向量数据集构建单元，用于根据大量所述手势信号构建手势特征向量数据集；训练集和测试集选取单元，用于随机选取所述手势特征向量数据集中80％的手势特征向量作为训练集，其余20％的手势特征向量作为测试集；HMM模型训练单元，用于采用所述训练集对HMM模型的模型参数进行训练，得到多个训练后的HMM模型；HMM模型观测概率计算单元，用于采用所述测试集计算多个所述训练后的HMM模型的多个输出观测概率；手势识别模型建立单元，用于确定多个所述输出观测概率中的最大输出观测概率对应的训练后的HMM模型为训练好的手势识别模型。可选的，所述观测概率计算模块具体包括：观测概率计算单元，用于采用公式计算t时刻的待判别的观测序列的观测概率P(O/λ)；其中αt(i)表示t时刻的待判别的观测序列的隐藏状态为qi的概率。可选的，所述操作指令提取模块具体包括：观测概率判断单元，用于判断所述当前识别模型对应的所述最大观测概率是否大于等于0.8，获得第一判断结果；操作指令提取单元，用于若所述第一判断结果为所述当前识别模型对应的所述最大观测概率大于等于0.8，根据所述当前识别模型从手势特征库提取出对应的CAD操作指令；无效手势确定单元，用于若所述第一判断结果为所述当前识别模型对应的所述最大观测概率小于0.8，确定所述待识别的手势信号为无效手势。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术提供一种基于手势信号识别的设计意图判别方法及系统，在目前的设计者设计交互过程中，主要依赖的设备是鼠标和键盘，这些设备极大的限制了设计者的工作范围及设计方式，因为设计过程主要依赖于设计者大脑的想象，双手被限制在鼠标和键盘上，对于设计者的思维和表达方式造成了本文档来自技高网...

【技术保护点】
1.一种基于手势信号识别的设计意图判别方法，其特征在于，所述方法包括：获取设计者在设计过程中的待识别手势信号；根据所述待识别手势信号构建待判别的观测序列；获取多个训练好的手势识别模型；采用多个所述训练好的手势识别模型确定所述待判别的观测序列的多个观测概率；确定多个所述观测概率中的最大观测概率对应的所述训练好的手势识别模型为当前识别模型；根据所述当前识别模型和所述最大观测概率从手势特征库提取出对应的CAD操作指令；根据所述CAD操作指令驱动CAD软件完成相应的指令操作。

【技术特征摘要】
1.一种基于手势信号识别的设计意图判别方法，其特征在于，所述方法包括：获取设计者在设计过程中的待识别手势信号；根据所述待识别手势信号构建待判别的观测序列；获取多个训练好的手势识别模型；采用多个所述训练好的手势识别模型确定所述待判别的观测序列的多个观测概率；确定多个所述观测概率中的最大观测概率对应的所述训练好的手势识别模型为当前识别模型；根据所述当前识别模型和所述最大观测概率从手势特征库提取出对应的CAD操作指令；根据所述CAD操作指令驱动CAD软件完成相应的指令操作。2.根据权利要求1所述的基于手势信号识别的设计意图判别方法，其特征在于，所述根据所述待识别手势信号构建待判别的观测序列，具体包括：根据所述待识别手势信号构造待判别的手势特征向量N'(C',V')；其中C'＝(c'1,c'2,c'3,c'4,c'5,c'6)，c'1为手心坐标，c'2～c'6分别为拇指指尖到小指指尖的坐标；V'＝(v'1,v'2,v'3,v'4,v'5,v'6)，v1'为手心内法向量，v'2～v'6分别为拇指指尖到小指指尖的法向量；根据所述待判别的手势特征向量N'构建待判别的观测序列O'i(o'1,o'2,...o'T)；其中o'1＝N'1,o'2＝N'2,...o'T＝N'T；N't表示根据t时刻采集的待识别的手势信号构造的t时刻的待判别的手势特征向量，t＝1,2,...,T；T为采集时刻总数。3.根据权利要求1所述的基于手势信号识别的设计意图判别方法，其特征在于，在所述获取多个训练好的手势识别模型之前，还包括：通过大量实验采集设计者在设计过程中的大量手势信号；根据大量所述手势信号构建手势特征向量数据集；随机选取所述手势特征向量数据集中80％的手势特征向量作为训练集，其余20％的手势特征向量作为测试集；采用所述训练集对HMM模型的模型参数进行训练，得到多个训练后的HMM模型；采用所述测试集计算多个所述训练后的HMM模型的多个输出观测概率；确定多个所述输出观测概率中的最大输出观测概率对应的训练后的HMM模型为训练好的手势识别模型。4.根据权利要求3所述的基于手势信号识别的设计意图判别方法，其特征在于，所述采用多个所述训练好的手势识别模型确定所述待判别的观测序列的多个观测概率，具体包括：采用公式计算t时刻的待判别的观测序列的观测概率P(O/λ)；其中αt(i)表示t时刻的待判别的观测序列的隐藏状态为qi的概率。5.根据权利要求4所述的基于手势信号识别的设计意图判别方法，其特征在于，所述根据所述当前识别模型和所述最大观测概率从手势特征库提取出对应的CAD操作指令，具体包括：判断所述当前识别模型对应的所述最大观测概率是否大于等于0.8，获得第一判断结果；若所述第一判断结果为所述当前识别模型对应的所述最大观测概率大于等于0.8，根据所述当前识别模型从手势特征库提取出对应的CAD操作指令；若所述第一判断结果为所述当前识别模型对应的所述最大观测概率小于0.8，确定所述待识别的手势信号为无效手势。6.一种基于手势信号识别的设计意图判别系统，其特征在于，所述系统包括：待识别手势信号获取模块，用于获取设计者在设计过程中的待识别手势信号；观测序列构建模块，用于根据所述待识...

【专利技术属性】
技术研发人员：龙辉，郝佳，牛红伟，王国新，吉庆，王璐，阎艳，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11