基于双路分割的MA-YOLO动态手势快速识别方法技术

本发明专利技术提供一种基于双路分割MA‑YOLO的动态手势快速识别方法，所述方法包括：101、提出MA‑YOLO算法，将YOLO主干网络换为更轻量的resnet‑34网络进行特征提取，加入了ASPP模块来改变感受野，同时也加入了注意力机制，可更好的进行自主学习；102、提出基于双路分割的复杂环境手势识别技术，可通过双路分割结合深度信息分割图与肤色分割图实现复杂环境下的手势识别。本发明专利技术相比于前人的基础方法精度提高了5.4％，识别速度降低到了50ms以下。

【技术实现步骤摘要】
基于双路分割的MA-YOLO动态手势快速识别方法
本专利技术属于图像处理领域，具体设计一种基于双路分割的MA-YOLO动态手势快速识别方法。
技术介绍
随着科学技术的发展，计算机已经渗透到平民百姓生活之中，且在各个领域发挥日愈重要的作用。当前科学研究领域越发重视与计算机的互动交流。近年来虚拟现实技术快速发展，极大地提高了人类的研究热情。现有研究主要集中在识别面部表情、嘴部、检测头部方向、跟踪视线、识别手势以及定位技术、解释人体姿势等方面。在科学领域、日常生活中普遍应用到各种手势，当前手势识别已经成为重点研究课题。与此同时，学术界结合研究目标，引入各类科学技术进行处理。手势作为普遍存在的交流方式，具有直观、自然等属性特点。因此，手势识别作为关键技术在人与计算机交流互动中充分发挥作用。然而由于手本身是复杂的人体部位，其存在空间位置差异性及多样性、复杂性的特点，加之人体本身的不适应性。而且在手势识别过程中，现有的手势识别技术受外部环境、背景等因素影响较大，缺少降低手势识别中外部因素对识别过程的影响的办法，这是手势识别的一大瓶颈。同时，现有的手势识别技术在识别过程中耗费的时间过多，没有办法实时的完成手势指令的实施，然而无法实时的完成指令实施，手势识别对现实日常生活的作用就降低了很多，无法满足日常生活中的使用。因此，我们需要一种新的手势识别方法以实现在复杂环境下的动态手势快速识别。
技术实现思路
本专利技术要解决的技术问题是提供一种新的基于双路分割的MA-YOLO动态手势快速识别方法，可实现复杂背景下的动态手势快速识别。本专利技术的目的是这样实现的：一种基于双路分割的MA-YOLO动态手势快速识别方法，包括如下步骤：步骤1：利用RGB、TOF摄像头采集目标的RGBD信息，通过肤色分割和动态阈值法来处理RGB信息和深度信息，将两路信息融合得到最终分割图像；步骤2：构建MA-YOLO网络模型：将分割后的图像进行分类信息以及检测框的标注，再将图像输入改进的MA-YOLO网络中进行训练，通过梯度下降等方法调整迭代过程中的参数值，最终获得训练完毕的MA-YOLO网络模型；步骤3：将视频流截取图片先根据RGBD信息进行手部分割，再将分割好的图片送入训练好的模型中进行检测，输出检测后手部位置以及手势类型的分类信息，将分类信息传递给云端，再从云端传入终端，从而实现手势指令对信息设备、系统的控制本专利技术还包括这样一些特征：所述步骤一具体为：步骤1.1：取得彩色图像后在HSV颜色空间与YCbCr颜色空间分别进行肤色阈值分割，取并集的肤色分割图；步骤1.2：取得深度图像后求取前景背景最大方差，然后进行最佳阈值分割，得到深度信息分割图；步骤1.3：将取得的肤色分割图与深度信息分割图取并集得到最终的分割图像；所述步骤二中MA-YOLO模型包括：ResNet-34网络、ASPP模块和注意力机制；输入图像进入主干网络进行特征提取，将不同层次的特征图输出后分别进入一个ASPP模块来增加感受野以解决尺度变化的问题，将低级特征与高级特征融合以获得更多的图像信息，然后进入一个通道注意力模块来提升手势识别精度，最后将处理好的特征送入检测模块获得最终结果。述ResNet-34网络作为特征提取网络，网络中不同颜色的方块代表不同部分，网络分为四个部分每个部分输出特征图尺寸是上一个部分的1/2，每一个小的方块代表一个残差块，网络使用的卷积核大小都为3*3并且同一部分的通道数相同，分别为64，128，256，512；所述步骤1.1具体为：HSV具体计算公式如下：固定阈值来对肤色进行界定：其中，公式1、公式2中HSV分别代表色调、饱和度、亮度，R、G、B代表红、绿、蓝三个通道的颜色；由此，得到图像I转换到HSV颜色空间进行肤色分割的图像；YCbCr受不同人种的不同肤色区别不大，YCbCr可由RGB颜色数值进行线性变换计算得来，颜色空间计算公式如下：利用人的肤色在YCbCr颜色空间中的分布，可以设定阈值有效地对肤色区域进行定位：其中，公式3、公式4中，YCbCr，Y是亮度特征(Luminance)而Cb和Cr则为蓝色和红色的浓度偏移量成份；所述步骤1.2具体为：所述求取前景背景最大方差，然后进行最佳阈值分割，即图像由前景区域和背景区域两部分组成，计算不同阈值下前景区域和背景区域的灰度直方图，当方差达到最大时，对应的阈值就是要求的最佳阈值，这样便通过阈值分割将背景与手部分割开。与现有技术相比，本专利技术的有益效果是：MA-YOLO的动态手势快速识别方法提出MA-YOLO算法，将YOLO主干网络换为更轻量的resnet-34网络(残差网络)进行特征提取，加入了ASPP模块(多路膨胀卷积)来改变感受野，同时也加入了注意力机制，可更好的进行自主学习，同时提出基于双路分割的复杂环境手势识别技术，可通过双路分割结合深度信息分割图与肤色分割图实现复杂环境下的手势识别。本专利技术相比于前人的基础方法精度提高了5.4％，识别速度降低到了50ms以下。附图说明图1为根据本专利技术实施方案示出的多尺度注意力YOLO总体网络框架图即MA-YOLO总体网络架构图；图2为根据本专利技术实施方案示出的一种基于双路分割的MA-YOLO动态手势快速识别方法的总体流程图；图3为根据本专利技术实施方案示出的ASPP模块图；图4为根据本专利技术实施方案示出的注意力机制流程图；图5为根据本专利技术实施方案示出的双路分割流程图；图6为根据本专利技术实施方案示出的手势视频获取流程图；图7为根据本专利技术实施方案示出的终端图像处理系统框图。具体实施方式下面结合附图与具体实施方式对本专利技术作进一步详细描述。本专利技术通过创建一个新的MA-YOLO网络，同时，创建了一个新的手部图像分割方法，加快了手势识别的速度，也解决了复杂背景下识别精度低的问题。为实现上述目的，本专利技术的技术方案为一种基于双路分割的MA-YOLO动态手势快速识别方法，包括以下步骤：一种基于双路分割的MA-YOLO动态手势快速识别方法，其特征在于，所述方法包括：步骤1：将获取的RGB(R、G、B即是代表红、绿、蓝三个通道的颜色)信息与深度信息进行处理分割；步骤2：将分割后的手部图像数据输入到训练好的MA-YOLO网络模型中；步骤3：将分割好的图片送入训练好的模型中在终端或云端进行检测，得出指令信息。一种基于双路分割的复杂环境手势识别技术，其特征在于，所述方法包括：步骤1：取得彩色图像后在HSV(HSV分别代表Hue(色调)、Saturation(饱和度)、Value(亮度))颜色空间与YCbCr(YCbCr，Y是亮度特征(Luminance)而Cb和Cr则为蓝色和红色的浓度偏移量成份)颜色空间分别进行肤色阈值分割，取并集的肤色分割图；...

【技术保护点】
1.一种基于双路分割的MA-YOLO动态手势快速识别方法，其特征是，包括如下步骤：/n步骤1：利用RGB、TOF摄像头采集目标的RGBD信息，通过肤色分割和动态阈值法来处理RGB信息和深度信息，将两路信息融合得到最终分割图像；/n步骤2：构建MA-YOLO网络模型：将分割后的图像进行分类信息以及检测框的标注，再将图像输入改进的MA-YOLO网络中进行训练，通过梯度下降等方法调整迭代过程中的参数值，最终获得训练完毕的MA-YOLO网络模型；/n步骤3：将视频流截取图片先根据RGBD信息进行手部分割，再将分割好的图片送入训练好的模型中进行检测，输出检测后手部位置以及手势类型的分类信息，将分类信息传递给云端，再从云端传入终端，从而实现手势指令对信息设备、系统的控制。/n

【技术特征摘要】
1.一种基于双路分割的MA-YOLO动态手势快速识别方法，其特征是，包括如下步骤：
步骤1：利用RGB、TOF摄像头采集目标的RGBD信息，通过肤色分割和动态阈值法来处理RGB信息和深度信息，将两路信息融合得到最终分割图像；
步骤2：构建MA-YOLO网络模型：将分割后的图像进行分类信息以及检测框的标注，再将图像输入改进的MA-YOLO网络中进行训练，通过梯度下降等方法调整迭代过程中的参数值，最终获得训练完毕的MA-YOLO网络模型；
步骤3：将视频流截取图片先根据RGBD信息进行手部分割，再将分割好的图片送入训练好的模型中进行检测，输出检测后手部位置以及手势类型的分类信息，将分类信息传递给云端，再从云端传入终端，从而实现手势指令对信息设备、系统的控制。


2.根据权利要求1所述的基于双路分割的MA-YOLO动态手势快速识别方法，其特征是，所述步骤一具体为：
步骤1.1：取得彩色图像后在HSV颜色空间与YCbCr颜色空间分别进行肤色阈值分割，取并集的肤色分割图；
步骤1.2：取得深度图像后求取前景背景最大方差，然后进行最佳阈值分割，得到深度信息分割图；
步骤1.3：将取得的肤色分割图与深度信息分割图取并集得到最终的分割图像。


3.根据权利要求1所述的基于双路分割的MA-YOLO动态手势快速识别方法，其特征是，所述步骤二中MA-YOLO模型包括：ResNet-34网络、ASPP模块和注意力机制；输入图像进入主干网络进行特征提取，将不同层次的特征图输出后分别进入一个ASPP模块来增加感受野以解决尺度变化的问题，将低级特征与高级特征融合以获得更多的图像信息，然后进入一个通道注意力模块来提升手势识别精度，最后将处理好的特征送入检测模块...

【专利技术属性】
技术研发人员：项建弘，李浩源，陈振兴，王聪，蒋涵宇，相豪，乔立国，臧笑，魏晨，马家辉，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：黑龙江;23