手势交互方法及系统技术方案

本发明专利技术提供了一种手势交互方法及系统，涉及图像处理的技术领域，其中，一种手势交互方法，包括以下步骤：实时采集手势的三维图像；对三维图像进行预处理得到预处理后的三维图像；对预处理后的三维图像进行边缘提取和二值化生成边缘矩阵和二值矩阵；对边缘矩阵进行目标封闭区域填充，并将目标封闭区域填充后的边缘矩阵与二值矩阵进行与计算，生成修正二值矩阵；修正二值矩阵经深度卷积神经网络处理输出交互向量；交互类状态机根据输出交互向量进行状态更新；判断更新后的状态有无设定的改变，若无则直接结束交互；若有则触发交互动作，并结束交互。解决了现有技术的手势交互方法均存在实时性不够理想的问题，达到了提高手势交互实时性的技术效果。

【技术实现步骤摘要】
手势交互方法及系统
本专利技术涉及图像处理
，尤其是涉及一种手势交互方法及系统。
技术介绍
部分现有的游戏设备(如xbox、Kinect等产品)实现了手势交互操作。现有的实时手势交互基于模式识别或运动检测模拟简单的交互操作。当前流行的手势识别算法有以下三种:(1)基于模式匹配的手势识别。将手势的区域特征用作待识别的特征，使用预设环境参数对目标进行仿射变换后匹配预设模板。该方法有较强稳定性，但识别不够灵活，容错度很低，实时性能较低，当遇到变异的目标时表现得无能为力。(2)基于隐马尔可夫模型(HMM)的手势识别。用于动态手势识别能够较好的地描述手势的时空变化，但其算法时间复杂度较大，效率低下，不能很好地满足实时交互的需求。(3)基于人工神经网络的手势识别。计算速度更快，鲁棒性和泛化能力都比较有优势，但由于其对时间序列的处理能力不强，对于动态手势的识别效果不佳。综上所述，现有技术的手势交互方法均存在实时性不够理想的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种手势交互方法及系统，以解决现有技术的授时交互方法存在的实时性不理想的技术问题。第一方面，本专利技术实施例提供了手势交互方法，其特征在于，包括以下步骤：实时采集手势的三维图像；对三维图像进行预处理，得到预处理后的三维图像；对预处理后的三维图像进行边缘提取和二值化，生成边缘矩阵和二值矩阵；对边缘矩阵进行目标封闭区域填充，并将目标封闭区域填充后的边缘矩阵与二值矩阵进行与计算，生成修正二值矩阵；修正二值矩阵经深度卷积神经网络处理输出交互向量；交互类状态机根据输出交互向量进行状态更新；判断更新后的状态有无设定的改变，若无，则直接结束交互；若有，则触发交互动作，并结束交互。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，修正二值矩阵经深度卷积神经网络处理输出交互向量，具体为：步骤1.对修正二值矩阵进行卷积和下采样；步骤2.判断卷积和下采样的次数是否大于设定次数，若是，则执行步骤3，若否，执行步骤1；步骤3.将卷积和下采样后的卷积向量进行全连接计算，并输出交互向量。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，对修正二值矩阵进行卷积和下采样，具体为：将修正二值矩阵作为卷积神经网络的输入值进行卷积得到特征矩阵：其中，f为激活函数，所述激活函数为tanh、Sigmoid或ReLU，k为权值，b为偏置；对特征矩阵进行下采样，具体如下：其中，d为采样函数。结合第一方面，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，全连接计算通过反向传播算法调整权值。结合第一方面，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，预处理方法为快速傅里叶变换、局部自适应阈值算法和形态学中的一种或多种，且形态学预处理方法优选膨胀和腐蚀。结合第一方面及其上述实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，深度卷积神经网络为决策树融合深度卷积神经网络。第二方面，本专利技术实施例还提供一种手势交互系统，包括：图像采集模块，用于实时采集手势的三维图像；预处理模块，用于对三维图像进行预处理，得到预处理后的三维图像；图像分割模块，用于对预处理后的三维图像进行边缘提取和二值化，生成边缘矩阵和二值矩阵；修正模块，用于对边缘矩阵进行目标封闭区域填充，并将目标封闭区域填充后的边缘矩阵与二值矩阵进行与计算，生成修正二值矩阵；深度卷积神经网络模块，用于使修正二值矩阵经深度卷积神经网络处理输出交互向量；交互类状态机模块，用于根据输出交互向量进行状态更新；判断模块，用于判断更新后的状态有无设定的改变，若有，则触发交互动作，并结束交互；若无，则直接结束交互。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，深度卷积神经网络模块包括卷积和下采样单元、判断单元和全连接计算单元；卷积和下采样单元用于对修正二值矩阵进行卷积和下采样；判断单元用于判断卷积和下采样的次数是否大于设定次数，若否，则通过卷积和下采样单元继续对修正二值矩阵进行卷积和下采样；若是，则通过全连接计算单元将卷积和下采样后的卷积向量进行全连接计算，并输出交互向量。结合第二方面，本专利技术实施例提供了第二方面的第二种可能的实施方式，其中，卷积和下采样单元包括卷积子单元和下采样子单元；卷积子单元用于将修正二值矩阵作为卷积神经网络的输入值进行卷积得到特征矩阵，如下：其中，f为激活函数，激活函数为tanh、Sigmoid或ReLU，k为权值，b为偏置；下采样子单元用于对特征矩阵进行所述下采样，如下：其中，d为采样函数。结合第二方面，本专利技术实施例提供了第二方面的第三种可能的实施方式，其中，全连接计算单元通过反向传播算法调整权值。本专利技术实施例带来了以下有益效果：本专利技术实施例提供的一种手势交互方法，对实时采集的手势三维图像进行预处理，得到预处理后的三维图像；对预处理后的三维图像进行边缘提取和二值化，生成边缘矩阵和二值矩阵；对边缘矩阵进行目标封闭区域填充，并将目标封闭区域填充后的边缘矩阵与二值矩阵进行与计算，生成修正二值矩阵；修正二值矩阵经深度卷积神经网络处理输出交互向量，且修正二值矩阵大量的点为0值，大大降低了数据计算的复杂度，进而降低了运算时间；交互类状态机根据输出交互向量进行状态更新，然后判断更新后的状态是否有设定的改变，并根据判断结果执行相应的动作，深度卷积神经网络通过其高分类水平提高了交互类状态机状态更新的准确性，降低了算法的时间复杂度，实现了不需要太高的硬件配置即可实现实时手势交互的目标。本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的手势交互方法的流程图；图2为本专利技术实施例提供的深度卷积神经网络的流程图；图3为本专利技术实施例提供的手势交互系统的示意图；图4为本专利技术实施例提供的深度卷积神经网络模块的示意图。图标：100-图像采集模块；101-预处理模块；102-图像分割模块；103-修正模块；104-深度卷积神经网络模块；1041-卷积和下采样单元；1042-判断单元；1043-全连接计算单元；105-交互类状态机模块；106-判断模块。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。目前的手势交互方法存在实时性不理想的问题，基于此，本专利技术实施例提供了一种手势交互方法及系统，实现手势交互的实时性。为便本文档来自技高网...

【技术保护点】
一种手势交互方法，其特征在于，包括以下步骤：实时采集手势的三维图像；对所述三维图像进行预处理，得到预处理后的三维图像；对所述预处理后的三维图像进行边缘提取和二值化，生成边缘矩阵和二值矩阵；对所述边缘矩阵进行目标封闭区域填充，并将目标封闭区域填充后的所述边缘矩阵与所述二值矩阵进行与计算，生成修正二值矩阵；所述修正二值矩阵经深度卷积神经网络处理输出交互向量；交互类状态机根据所述输出交互向量进行状态更新；判断更新后的状态有无设定的改变，若无，则直接结束交互；若有，则触发交互动作，并结束交互。

【技术特征摘要】
1.一种手势交互方法，其特征在于，包括以下步骤：实时采集手势的三维图像；对所述三维图像进行预处理，得到预处理后的三维图像；对所述预处理后的三维图像进行边缘提取和二值化，生成边缘矩阵和二值矩阵；对所述边缘矩阵进行目标封闭区域填充，并将目标封闭区域填充后的所述边缘矩阵与所述二值矩阵进行与计算，生成修正二值矩阵；所述修正二值矩阵经深度卷积神经网络处理输出交互向量；交互类状态机根据所述输出交互向量进行状态更新；判断更新后的状态有无设定的改变，若无，则直接结束交互；若有，则触发交互动作，并结束交互。2.根据权利要求1所述的方法，其特征在于，所述修正二值矩阵经深度卷积神经网络处理输出交互向量，具体为：步骤1.对所述修正二值矩阵进行卷积和下采样；步骤2.判断所述卷积和下采样的次数是否大于设定次数，若是，则执行步骤3，若否，执行步骤1；步骤3.将所述卷积和下采样后的卷积向量进行全连接计算，并输出交互向量。3.根据权利要求2所述的方法，其特征在于，所述对所述修正二值矩阵进行卷积和下采样，具体为：将所述修正二值矩阵作为深度卷积神经网络的输入值进行卷积得到特征矩阵：其中，f为激活函数，所述激活函数为tanh、Sigmoid或ReLU，k为权值，b为偏置；对所述特征矩阵进行下采样，具体如下：其中，d为采样函数。4.根据权利要求2所述的方法，其特征在于，所述全连接计算通过反向传播算法调整权值。5.根据权利要求1所述的方法，其特征在于，所述预处理方法为快速傅里叶变换、局部自适应阈值算法和形态学中的一种或多种。6.根据权利要求1-5任一项所述的方法，其特征在于，所述深度卷积神经网络为决策树融合深度卷积神经网络。7.一种手势交互系...

【专利技术属性】
技术研发人员：肖志勇，
申请(专利权)人：深圳市石代科技有限公司，
类型：发明
国别省市：广东,44