本发明专利技术实施例提供了一种手势的识别方法、装置和系统，所述方法包括：分别获取至少一种第一类传感器和至少一种第二类传感器针对同一用户展示同一手势的动态手势数据和静态手势数据；从每种动态手势数据中提取对应的第一特征矩阵，以及从每种静态手势数据中提取对应的第二特征矩阵；融合所有的第一特征矩阵，得到第一融合特征矩阵，并将第一融合特征矩阵输入预置的第一预测模型中，得到手势的第一识别结果；融合所有的第二特征矩阵，得到第二融合特征矩阵，将第二融合特征矩阵输入预置的第二预测模型中，得到手势的第二识别结果；根据第一识别结果和第二识别结果，得到手势的目标识别结果。别结果。别结果。
【技术实现步骤摘要】
一种手势的识别方法、装置和系统
[0001]本专利技术涉及数据识别的
，特别是涉及一种手势的识别方法、装置和系统。
技术介绍
[0002]随着信息和通讯技术发展，传统的人机交互方案例如鼠标、键盘，已经不能满足于人们在动态交互场景下更加灵活的与机器进行交互。为了满足用户的需求，越来越多新的交互方式逐渐被研发出来，例如：基于手势的交互。
[0003]针对基于手势的交互中，如何准确的确定用户当前手势所对应的意图，成了当前手势交互场景下亟需解决的问题之一。
[0004]在手势交互的场景中，为了使机器具备灵活的感知能力，会安装多种不同类型的传感器。在得到不同类型的传感器针对同一手势的手势数据后，可以采用不同的方式来确定该手势所对应的用户意图。
[0005]第一种方式：早期融合，即先将特征进行融合，然后基于融合后的特征进行手势的识别；这种方式在模态之间相关性比较大时性能较高，适用于低维特征表达；但是，不同的数据流所包含的信息之间往往在较高层次才能找到相关性。此外，多模态早期融合方法还需要解决不同数据源之间的时间同步问题。
[0006]第二种方式：晚期融合，即先分别进行特征的提取，然后将特征输入至不同的模型进行识别；之后再融合不同模型所输出的识别结果；这种方式的优点是多个模型不相关，不需要处理过拟合问题；但是也存在一定的缺点，例如：当模态之间相关性比较大时性能低于早期融合，且不允许分类器同时训练所有数据。
[0007]第三种方式：混合融合，即将不同的模态数据先转化为高维特征表达，再于模型的中间层进行融合；尽管使用混合融合方法非常灵活，但不同模态转向高维的数据进行融合，增加了模型的复杂度以及降低了一定的性能。
技术实现思路
[0008]鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种手势的识别方法、装置和一种手势识别系统，包括：
[0009]一种手势的识别方法，所述方法包括：
[0010]分别获取至少一种第一类传感器和至少一种第二类传感器针对同一用户展示同一手势的手势数据；每种所述第一类传感器采集的手势数据为动态手势数据，每种所述第二类传感器采集的手势数据为静态手势数据；
[0011]从每种所述动态手势数据中提取对应的第一特征矩阵，以及从每种所述静态手势数据中提取对应的第二特征矩阵；
[0012]融合所有的第一特征矩阵，得到第一融合特征矩阵，并将所述第一融合特征矩阵输入预置的第一预测模型中，得到所述手势的第一识别结果；
[0013]融合所有的第二特征矩阵，得到第二融合特征矩阵，并将所述第二融合特征矩阵
输入预置的第二预测模型中，得到所述手势的第二识别结果；
[0014]根据所述第一识别结果和所述第二识别结果，得到所述手势的目标识别结果。
[0015]可选地，所述融合所有的第一特征矩阵，得到第一融合特征矩阵，包括：
[0016]对每个第一特征矩阵进行降维处理，得到对应的降维特征矩阵；
[0017]融合所有的降维特征矩阵，得到所述第一融合特征矩阵。
[0018]可选地，所述第一类传感器包括微型惯性传感器和手指弯曲传感器，所述第二类传感器包括摄像头传感器；
[0019]所述动态手势数据包括所述微型惯性传感器采集的第一手势数据，和所述手指弯曲传感器采集的第二手势数据；
[0020]所述静态手势数据包括所述摄像头传感器采集的第三手势数据。
[0021]可选地，当所述动态手势数据为微型惯性传感器采集的第一手势数据时，所述从每种所述动态手势数据中提取对应的第一特征矩阵，包括：
[0022]对所述第一手势数据进行第一滤波处理；
[0023]从第一滤波处理后的第一手势数据中，提取对应的第一特征矩阵。
[0024]可选地，当所述动态手势数据为微型惯性传感器采集的第二手势数据时，所述从每种所述动态手势数据中提取对应的第一特征矩阵，包括：
[0025]对所述第二手势数据进行第二滤波处理，得到第一形变信号数据；
[0026]对所述第一形变数据进行分割，得到多个形变信号片段；
[0027]从所述多个形变信号片段中，提取对应的第一特征矩阵。
[0028]可选地，所述从每种所述静态手势数据中提取对应的第二特征矩阵，包括：
[0029]对所述第三手势数据进行图像处理，得到目标图像数据；
[0030]从所述目标图像数据中，提取对应的第二特征矩阵。
[0031]本专利技术实施例还提供了一种手势识别系统，所述系统包括：至少一种第一类传感器、至少一种第二类传感器和微处理器模块；
[0032]每种所述第一类传感器设置在目标用户的手上，用于采集所述目标用户展示的目标手势的动态手势数据；
[0033]每种所述第二类传感器，用于采集目标用户展示的所述目标手势的静态手势数据；
[0034]所述微处理器模块，用于从每种所述动态手势数据中提取对应的第一特征矩阵，以及从每种所述静态手势数据中提取对应的第二特征矩阵；融合所有的第一特征矩阵，得到第一融合特征矩阵，并将所述第一融合特征矩阵输入预置的第一预测模型中，得到所述手势的第一识别结果；融合所有的第二特征矩阵，得到第二融合特征矩阵，将所述第二融合特征矩阵输入预置的第二预测模型中，得到所述手势的第二识别结果；根据所述第一识别结果和所述第二识别结果，得到所述手势的目标识别结果。
[0035]本专利技术实施例还提供了一种手势的识别装置，所述装置包括：
[0036]获取模块，用于分别获取至少一种第一类传感器和至少一种第二类传感器针对同一用户展示同一手势的手势数据；每种所述第一类传感器采集的手势数据为动态手势数据，每种所述第二类传感器采集的手势数据为静态手势数据；
[0037]矩阵提取模块，用于从每种所述动态手势数据中提取对应的第一特征矩阵，以及
从每种所述静态手势数据中提取对应的第二特征矩阵；
[0038]第一识别模块，用于融合所有的第一特征矩阵，得到第一融合特征矩阵，并将所述第一融合特征矩阵输入预置的第一预测模型中，得到所述手势的第一识别结果；
[0039]第二识别模块，用于融合所有的第二特征矩阵，得到第二融合特征矩阵，并将所述第二融合特征矩阵输入预置的第二预测模型中，得到所述手势的第二识别结果；
[0040]识别结果生成模块，用于根据所述第一识别结果和所述第二识别结果，得到所述手势的目标识别结果。
[0041]可选地，所述第一识别模块，包括：
[0042]融合子模块，用于对每个第一特征矩阵进行降维处理，得到对应的降维特征矩阵；融合所有的降维特征矩阵，得到所述第一融合特征矩阵。
[0043]可选地，所述第一类传感器包括微型惯性传感器和手指弯曲传感器，所述第二类传感器包括摄像头传感器；
[0044]所述动态手势数据包括所述微型惯性传感器采集的第一手势数据，和所述手指弯曲传感器采集的第二手势数据；
[0本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种手势的识别方法，其特征在于，所述方法包括：分别获取至少一种第一类传感器和至少一种第二类传感器针对同一用户展示同一手势的手势数据；每种所述第一类传感器采集的手势数据为动态手势数据，每种所述第二类传感器采集的手势数据为静态手势数据；从每种所述动态手势数据中提取对应的第一特征矩阵，以及从每种所述静态手势数据中提取对应的第二特征矩阵；融合所有的第一特征矩阵，得到第一融合特征矩阵，并将所述第一融合特征矩阵输入预置的第一预测模型中，得到所述手势的第一识别结果；融合所有的第二特征矩阵，得到第二融合特征矩阵，并将所述第二融合特征矩阵输入预置的第二预测模型中，得到所述手势的第二识别结果；根据所述第一识别结果和所述第二识别结果，得到所述手势的目标识别结果。2.根据权利要求1所述的方法，其特征在于，所述融合所有的第一特征矩阵，得到第一融合特征矩阵，包括：对每个第一特征矩阵进行降维处理，得到对应的降维特征矩阵；融合所有的降维特征矩阵，得到所述第一融合特征矩阵。3.根据权利要求1或2所述的方法，其特征在于，所述第一类传感器包括微型惯性传感器和手指弯曲传感器，所述第二类传感器包括摄像头传感器；所述动态手势数据包括所述微型惯性传感器采集的第一手势数据，和所述手指弯曲传感器采集的第二手势数据；所述静态手势数据包括所述摄像头传感器采集的第三手势数据。4.根据权利要求3所述的方法，其特征在于，当所述动态手势数据为微型惯性传感器采集的第一手势数据时，所述从每种所述动态手势数据中提取对应的第一特征矩阵，包括：对所述第一手势数据进行第一滤波处理；从第一滤波处理后的第一手势数据中，提取对应的第一特征矩阵。5.根据权利要求3所述的方法，其特征在于，当所述动态手势数据为微型惯性传感器采集的第二手势数据时，所述从每种所述动态手势数据中提取对应的第一特征矩阵，包括：对所述第二手势数据进行第二滤波处理，得到第一形变信号数据；对所述第一形变数据进行分割，得到多个形变信号片段；从所述多个形变信号片段中，提取对应的第一特征矩阵。6.根据权利要求3所述的方法，其特征在于，所述从每种所述静态手势数据中提取对应的第二特征矩阵，包括：对所述第三手势数据进行图像处理，得到目标图像数据；从所述...
【专利技术属性】
技术研发人员：阳傲傲，
申请(专利权)人：中科创达软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。