一种基于SSD-MobileNet的实时手势检测和识别方法及系统技术方案

本发明专利技术提供一种基于SSD‑MobileNet的实时手势检测和识别方法及系统，其中，一种基于SSD‑MobileNet的实时手势检测和识别系统包括数据处理单元，用于接收原始egohands视频数据集，原始egohands视频数据集包括多帧原始数据集图像，还用于对多帧原始数据集图像进行扩充处理，建立扩充数据集；SSD‑MobileNet手部数据检测模型，包括SSD网络及Mobilenet网络，用于手势图像提取，使用扩充数据集进行训练及优化，还用于对自建的复杂背景下的数字手势数据集中的图像进行手势图像提取，获取手势识别数据集；改进的CNN的手势识别模型用Ghost模块层代替传统卷积层，对手势图像进行手势识别，使用手势识别数据集进行训练及优化。本发明专利技术引入SSD‑MobileNet和改进的CNN的手势识别模型相结合，具有提高手势检测和识别的工作效率的优点。

【技术实现步骤摘要】
一种基于SSD-MobileNet的实时手势检测和识别方法及系统
本专利技术涉及图像识别的
，具体涉及一种基于SSD-MobileNet的实时手势检测和识别方法及系统。
技术介绍
随着目标检测技术的不断发展和深入，现代检测仪器精度的不断提升，各种先进的检测算法广泛应用于当下的智能设备中，其中手势检测和识别分析一直以来都是人机交互领域研究的重点。可以从不同的手部特征开始利用检测算法对手的表面纹理及外部姿态进行深入分析，达到检测和识别的目的。目前，针对实时手势检测与识别相结合的研究在确保高精度的情况下往往是借助较高端的外部硬件设备实现，如Leap公司制造的LeapMotion体感控制器，微软推出的Kinect体感周边外设，谷歌设计的ProjectSoli雷达芯片以及CyberGlove系统公司提供的数据手套设备等，能够达到良好的识别速度和精度，但不具备普适性。15年MintoL,ZanuttighP.等人在Exploitingsilhouettedescriptorsandsyntheticdataforhandgesturerecognition一文提出了一种实时手势识别方案，针对的是深度相机设备得到深度数据，从采集到的数据中提取出手部轮廓特征，然后输入到多类别支持向量机中，进行手势识别。检测技术的完备随之而来的是检测类别的丰富和完善，越来越多手势数据集的开源，为手势的检测和识别任务提供了很好的数据基础。然而目前对手势数据的整理和利用不是很充分，在检测速度和检测精度上还存在不足，严重制约了实时手势检测和识别的工作效率。
技术实现思路
本专利技术的目的在于克服现有技术中的缺点，提供一种基于SSD-MobileNet的实时手势检测和识别方法及系统，引入SSD-MobileNet和改进的CNN的手势识别模型相结合，具有提高手势检测和识别的工作效率的优点。本专利技术的目的是通过以下技术方案来实现的：一种基于SSD-MobileNet的实时手势检测和识别方法，包括以下步骤：S1：获取原始egohands视频数据集，所述原始egohands视频数据集包括多帧原始数据集图像，对多帧原始数据集图像进行扩充处理，建立扩充数据集，执行S2；S2：建立SSD-MobileNet手部数据检测模型，所述SSD-MobileNet手部数据检测模型用于提取手势图像，所述SSD-MobileNet手部数据检测模型包括SSD网络及Mobilenet网络，对SSD-MobileNet手部数据检测模型进行训练并优化，执行S3；S3：使用SSD-MobileNet手部数据检测模型对自建的复杂背景下的数字手势数据集中的图像进行手势图像提取，获取手势识别数据集，执行S4；S4：建立改进的CNN的手势识别模型，使用手势识别数据集训练并优化改进的CNN的手势识别模型，执行S5；S5：获取待检测视频数据集，使用SSD-MobileNet手部数据检测模型对待检测视频数据集中的图像进行手势图像提取，使用改进的CNN的手势识别模型对手势图像进行手势识别，输出识别结果。本专利技术的有益效果是，在进行实时检测之前，先建立SSD-MobileNet手部数据检测模型及改进的CNN的手势识别模型，训练及优化SSD-MobileNet手部数据检测模型及改进的CNN的手势识别模型。在实时检测时，接收实时视频数据，将实时视频数据中的帧图像处理成一定大小，SSD-MobileNet手部数据检测模型对实时视频数据进行手势提取，按照周期提取手势图并分类别保存，去除所有不完整和模糊的手势图片，将处理好的手势图按照一定大小进行缩放，统一尺寸。改进的CNN的手势识别模型识别手势图中的手势，测试过程中的帧率符合实时检测和识别的要求，达到提高手势检测和识别的工作效率的效果。进一步，所述S1中对多帧原始数据集图像进行扩充处理具体包括，对多帧原始数据集图像进行随机翻转和/或平移和/或剪裁和/或亮度调整和/或对比度调整和/或加噪声和/或高斯模糊，获得不同对比度的手势数据，建立扩充数据集。采用上述进一步方案的有益效果是，对原始数据集中的图像进行随机翻转、平移、剪裁、亮度调整、对比度调整、加噪声、高斯模糊操作中的一种或多种，扩充多次，获得不同对比度的手势数据，减少了原始数据获取的工作量。进一步，所述S2中对SSD-MobileNet手部数据检测模型进行训练并优化具体包括，S231：按照比例，将扩充数据集分为训练集及测试集，抽取训练集中一部分验证集，执行S232；S232：使用训练集训练SSD-MobileNet手部数据检测模型，使用验证集调节SSD-MobileNet手部数据检测模型参数，执行S233；S233：使用测试集判断SSD-MobileNet手部数据检测模型是否完成优化，若否，执行S232，若是，执行S3。采用上述进一步方案的有益效果是，使用训练集训练SSD-MobileNet手部数据检测模型，使用验证集调节SSD-MobileNet手部数据检测模型参数，测试集判断SSD-MobileNet手部数据检测模型的优化程度，有效降低了数据的偶然性。进一步，所述S4具体包括以下步骤，S41：建立改进的CNN的手势识别模型，执行S42；S42：使用手势识别数据集训练并优化改进的CNN的手势识别模型，执行S42；S43：获取改进的CNN的手势识别模型的优化评价参数，所述优化评价参数包括正类预测为正类结果参数TP、负类预测为正类结果参数FP、负类预测为正类结果参数FN、负类预测为负类结果参数TN，执行S44；S44：根据优化评价参数计算改进的CNN的手势识别模型的评价指标，所述评价指标包括准确率、精确率及召回率，执行S45；S45：根据改进的CNN的手势识别模型的评价指标判断改进的CNN的手势识别模型是否优化成功，若否，执行S42，若是执行S5。进一步，所述改进的CNN的手势识别模型用Ghost模块层代替传统卷积层，所述改进的CNN的手势识别模型的损失函数为categorical_crossentropy损失函数，优化函数为Adam优化算法。采用上述进一步方案的有益效果是，Ghost模块层生成特征图操作简单高效，与传统卷积层相比，在同样精度下，计算量明显减少。Adam优化算法是在自适应梯度算法AdaGrad和均方根传播RMSProp两种算法的基础上提出的，其优点是简单高效，梯度变换对参数影响小，适合梯度稀疏和很大噪声问题。一种基于SSD-MobileNet的实时手势检测和识别系统，包括，数据处理单元，用于接收原始egohands视频数据集，所述原始egohands视频数据集包括多帧原始数据集图像，还用于对多帧原始数据集图像进行扩充处理，建立扩充数据集；SSD-MobileNet手部数据检测模型，包括SSD网络及Mobilenet网络，用于手势图像提取，使用扩充数据集进行训练及优化，还用于对自建的复杂背景下的数字手势数据集本文档来自技高网...

【技术保护点】
1.一种基于SSD-MobileNet的实时手势检测和识别方法，其特征在于，包括以下步骤：/nS1：获取原始egohands视频数据集，所述原始egohands视频数据集包括多帧原始数据集图像，对多帧原始数据集图像进行扩充处理，建立扩充数据集，执行S2；/nS2：建立SSD-MobileNet手部数据检测模型，所述SSD-MobileNet手部数据检测模型用于提取手势图像，所述SSD-MobileNet手部数据检测模型包括SSD网络及Mobilenet网络，对SSD-MobileNet手部数据检测模型进行训练并优化，执行S3；/nS3：使用SSD-MobileNet手部数据检测模型对自建的复杂背景下的数字手势数据集中的图像进行手势图像提取，获取手势识别数据集，执行S4；/nS4：建立改进的CNN的手势识别模型，使用手势识别数据集训练并优化改进的CNN的手势识别模型，执行S5；/nS5：获取待检测视频数据集，使用SSD-MobileNet手部数据检测模型对待检测视频数据集中的图像进行手势图像提取，使用改进的CNN的手势识别模型对手势图像进行手势识别，输出识别结果。/n

【技术特征摘要】
1.一种基于SSD-MobileNet的实时手势检测和识别方法，其特征在于，包括以下步骤：
S1：获取原始egohands视频数据集，所述原始egohands视频数据集包括多帧原始数据集图像，对多帧原始数据集图像进行扩充处理，建立扩充数据集，执行S2；
S2：建立SSD-MobileNet手部数据检测模型，所述SSD-MobileNet手部数据检测模型用于提取手势图像，所述SSD-MobileNet手部数据检测模型包括SSD网络及Mobilenet网络，对SSD-MobileNet手部数据检测模型进行训练并优化，执行S3；
S3：使用SSD-MobileNet手部数据检测模型对自建的复杂背景下的数字手势数据集中的图像进行手势图像提取，获取手势识别数据集，执行S4；
S4：建立改进的CNN的手势识别模型，使用手势识别数据集训练并优化改进的CNN的手势识别模型，执行S5；
S5：获取待检测视频数据集，使用SSD-MobileNet手部数据检测模型对待检测视频数据集中的图像进行手势图像提取，使用改进的CNN的手势识别模型对手势图像进行手势识别，输出识别结果。


2.根据权利要求1所述的一种基于SSD-MobileNet的实时手势检测和识别方法，其特征在于，所述S1中对多帧原始数据集图像进行扩充处理具体包括，
对多帧原始数据集图像进行随机翻转和/或平移和/或剪裁和/或亮度调整和/或对比度调整和/或加噪声和/或高斯模糊，获得不同对比度的手势数据，建立扩充数据集。


3.根据权利要求1或2所述的一种基于SSD-MobileNet的实时手势检测和识别方法，其特征在于，所述S2中对SSD-MobileNet手部数据检测模型进行训练并优化具体包括，
S231：按照比例，将扩充数据集分为训练集及测试集，抽取训练集中一部分验证集，执行S232；
S232：使用训练集训练SSD-MobileNet手部数据检测模型，使用验证集调节SSD-MobileNet手部数据检测模型参数，执行S233；
S233：使用测试集判断SSD-MobileNet手部数据检测模型是否完成优化，若否，执行S232，若是，执行S3。


4.根据权利要求1或2所述的一种基于SSD-MobileNet的实时手势检测和识别方法，其特征在于，所述S4具体包括以下步骤，
S41：建立改进的CNN的手势识别模型，执行S42；
S42：使用手势识别数据集训练并优化改进的CNN的手势识别模型，执行S43；
S43：获取改进的CNN的手势识别模型的优化评价参数，所述优化评价参数包括正类预测为正类结果参数TP、负类预测为正类结果参数FP、负类预测为正类结果参数FN、负类预测为负类结果参数TN，执行S44；
S44：根据优化评价参数计算改进的CNN的手势识别模型的评价指标，所述评价指标包括准确率、精确率及召回率，执行S45；
S45：根据改进的CNN的手势识别模型的评价指标判断改进的CNN的手势识别模型是否优化成功，若否，执行S42，若是执行S5。


5...

【专利技术属性】
技术研发人员：程志宇，徐国庆，许犇，张岚斌，付尧，罗京，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：湖北;42