一种有效手势的识别方法、控制方法、装置和电子设备制造方法及图纸

本发明专利技术提供了一种有效手势的识别方法、控制方法、装置和电子设备，其中，识别方法包括S11、获取摄像头采集的当前帧图像；S12、按照预设的识别算法，对当前帧图像进行手势检测与识别，得到当前帧图像中手势的可能区域，手势类别及其置信度；S13、对所述当前帧之后的一固定时间间隔内视频的所有图像帧依次进行手势检测和识别，得到图像中手势的可能区域、手势类别及其置信度；S14、判断所述固定时间间隔内的所述图像帧中存在相同手势的图像帧的占比是否大于预设的占比阈值，如果是，则认为该手势为有效手势。本发明专利技术能够在嵌入式终端有效快速的进行手势检测和识别，进行方便快捷的人机交互。

An effective gesture recognition method, control method, device and electronic equipment

The invention provides an effective gesture recognition method, control method, device and electronic device, wherein, the recognition method includes S11, obtaining the current frame image collected by the camera; S12, detecting and recognizing the gesture of the current frame image according to the preset recognition algorithm, obtaining the possible area, gesture category and confidence of the gesture in the current frame image; S13 All image frames of the video in a fixed time interval after the previous frame are detected and recognized in turn to obtain the possible area, gesture category and confidence of gesture in the image; S14. Judge whether the proportion of image frames with the same gesture in the image frame in the fixed time interval is greater than the preset proportion threshold, if so, the gesture is considered to be an effective gesture. \u3002 The invention can effectively and quickly detect and recognize the gesture in the embedded terminal, and carry out convenient and quick human-computer interaction.

【技术实现步骤摘要】
一种有效手势的识别方法、控制方法、装置和电子设备
本专利技术涉及一种基于人工智能深度学习技术的计算机视觉的实时手势检测判断方法、装置及电子设备。
技术介绍
随着计算机技术的快速发展，深度学习在计算机视觉领域的应用越来越多。其中，使用手势进行人机交互是一种十分便捷的方法，具有非常大的应用价值。通过手势识别和控制技术可以提供一种远程的非接触式的人机交互方式，因此快速和准确的手势识别算法能够为用户带来便捷友好的体验。而目前深度神经网络在嵌入式设备上进行应用的难点在于网络庞大且复杂，嵌入式设备算力不足，存在算法运行速度慢，系统运行不流畅，响应时间长等局限性，为用户带来不好的使用体验。为解决以上问题，本专利技术主要提出了一种基于神经网络的实时手势识别和控制的方法、装置和电子设备。
技术实现思路
本专利技术要解决的技术问题，在于提供一种有效手势的识别方法、控制方法、识别装置和识别的电子设备，能够在嵌入式终端有效快速的进行手势检测和识别，进行方便快捷的人机交互。根据本专利技术的第一方面，提供了一种有效手势的识别方法，包括下述步骤：S11、获取摄像头采集的当前帧图像；S12、按照预设的识别算法，对当前帧图像进行手势检测与识别，得到当前帧图像中手势的可能区域、手势类别及识别结果的置信度，并根据该置信度的大小来判断是否接受该识别结果；S13、对所述当前帧之后的一固定时间间隔内视频的所有图像帧依次进行手势检测和识别，得到图像中手势的可能区域、手势类别及识别结果的置信度，并根据该置信度的大小来判断是否接受该识别结果；S14、判断所述固定时间间隔内的所述图像帧中存在相同的手势类别的图像帧的占比是否大于预设的占比阈值，若是，则认为该手势为有效手势，若为否，则以步骤S13所述当前帧的下一帧作为当前帧，回到步骤S13。可选的，所述步骤S11中还对获取到的当前帧图像进行预处理：先对当前帧图像进行归一化处理，并根据上一帧图像手势检测和识别结果，判断上一帧图像是否检测到手势。可选的，所述步骤S12和所述步骤S13中的检测与识别具体为：根据上一帧图像中的手势检测结果，选择第一神经网络模型或第二神经网络模型，第一神经网络模型为预训练好的卷积网络单次检测模型，用于直接在全图上预测手势的可能区域和类别，第二神经网络模型为预训练好的卷积网络单次检测模型，根据上一帧检测结果对手势进行跟踪；若为首帧图像或上一帧图像中未检测到手势，则将当前帧图像输入到第一神经网络模型进行手势检测和识别，并由所述第一神经网络模型输出当前帧图像中手势的可能区域的坐标、手势的可能类别和识别结果的置信度，若置信度大于等于预设的置信度阈值，则接受第一神经网络模型预测的检测和识别结果，若置信度小于预设的置信度阈值，则忽略；若上一帧图像中检测到了手势，则将上一帧图像中手势的位置映射到到当前帧图像中，将当前帧图像上的映射区域按预设倍数向外进行扩展，将扩展后的映射区域输入到第二神经网络模型进行手势检测和识别，由所述第二神经网络模型输出当前图像中手势的可能区域的坐标、手势的可能类别和结果的置信度，若置信度大于预设的置信度阈值，则接受第二神经网络模型的预测结果，若置信度小于预设的置信度阈值，则忽略。可选的，所述第一神经网络模型的训练方法是：获取第一类训练样本集及手势的标注信息；对第一类训练样本集进行数据预处理：将第一类训练样本按照预设的宽高比进行随机大小的裁剪和镜像翻转；将手势的标注信息根据裁剪和翻转情况进行转换，将裁剪后的图片进行随机颜色增强；使用预处理后的第一类样本集训练第一神经网络模型。可选的，所述第二神经网络模型的训练方法是：获取第二类训练样本集及手势的标注信息；对第二类训练样本集进行数据预处理：将第二类训练样本以手势框的位置加上随机偏移后的位置为中心，随机向外扩3到6倍进行裁剪和镜像翻转，将手势的标注信息根据裁剪和翻转情况进行转换，将裁剪后的图片进行随机颜色增强；使用预处理后的第二类样本集训练第二神经网络模型。根据本专利技术的第二方面，提供了一种有效手势的识别后的控制方法，包括下述步骤：S21、对当前帧之前的固定时间间隔内的所有检测帧的有效手势识别结果进行统计和分析，并判断该固定时间间隔内是否存在连续稳定的有效手势；S22、判断该固定时间间隔内是否存在由一种连续稳定的有效手势类别变到另一种连续稳定的有效手势类别；S23、当发现手势类别产生变化时，则执行与手势变化相对应的控制操作。其中，对手势是否产生类别变化的判断是：对所述固定时间间隔内的所有图像帧进行判断，如果某一图像帧中的检测到的手势从一种类别的稳定状态变到另一种类别的稳定状态，则认为手势类别产生了变化；其中类别的稳定状态是：所述固定时间间隔内视频的所有图像帧中存在相同手势的图像帧所占比例大于预设的占比阈值。根据本专利技术的第三方面，提供了一种有效手势的识别装置，包括：图片获取模块，用于获取摄像头采集的当前帧图像；手势检测和识别模块，用于按照预设的识别算法，对当前帧图像进行手势检测与识别，得到当前帧图像中手势的手势类别及识别结果的置信度，并根据该置信度的大小来判断是否接受该识别结果；并有于对所述当前帧之后的一固定时间间隔内视频的所有图像帧依次进行手势检测和识别，得到图像中手势的手势类别及识别结果的置信度并根据该置信度的大小来判断是否接受该识别结果；还用于判断所述时间间隔内的所述图像帧中存在相同手势的图像帧的占比是否大于预设的占比阈值，如果是，则认为该手势为有效手势，并返回判断结果。可选的，还包括：图像预处理模块，用于对当前帧图像进行归一化处理，并根据上一帧图像手势检测和识别结果，判断上一帧图像是否检测到手势；模型选择模块，用于根据上一帧图像中的手势检测结果，选择第一神经网络模型或第二神经网络模型，第一神经网络模型为预训练好的卷积网络单次检测模型，用于直接在全图上预测手势的可能区域和类别，第二神经网络模型为预训练好的卷积网络单次检测模型，根据上一帧检测结果对手势进行跟踪；若上一帧图像中未检测到手势，则将当前帧图像输入到第一神经网络模型进行手势检测和识别，并由所述第一神经网络模型输出当前帧图像中手势的可能区域的坐标、手势的可能类别和识别结果的置信度，若置信度大于等于预设的置信度阈值，则接受第一神经网络模型预测的检测和识别结果，若置信度小于预设的置信度阈值，则忽略；若是首侦图像或上一帧图像中检测到了手势，则将上一帧图像中手势的位置映射到到当前帧图像中，将当前帧图像上的映射区域按预设倍数向外进行扩展，将扩展后的映射区域输入到第二神经网络模型进行手势检测和识别，由所述第二神经网络模型输出当前图像中手势的可能区域的坐标、手势的可能类别和识别结果的置信度，若置信度大于预设的置信度阈值，则接受第二神经网络模型的预测结果，若置信度小于预设的置信度阈值，则忽略。根据本专利技术的第四方面，提供了一种有效手势的识别电子设备，包括处理器和存储器，所述处理器在运行时能执行如上述的有效手势的识本文档来自技高网...

【技术保护点】
1.一种有效手势的识别方法，其特征在于：包括下述步骤：/nS11、获取摄像头采集的当前帧图像；/nS12、按照预设的识别算法，对当前帧图像进行手势检测与识别，得到当前帧图像中手势的手势类别及识别结果的置信度，并根据该置信度的大小来判断是否接受该识别结果；/nS13、对所述当前帧之后的一固定时间间隔内视频的所有图像帧依次进行手势检测和识别，得到图像中手势的手势类别及识别结果的置信度，并根据该置信度的大小来判断是否接受该识别结果；/nS14、判断所述固定时间间隔内的所述图像帧中存在相同的手势类别的图像帧的占比是否大于预设的占比阈值，若是，则认为该手势为有效手势，若为否，则转入对下一帧图像进行识别，回到步骤S13。/n

【技术特征摘要】
1.一种有效手势的识别方法，其特征在于：包括下述步骤：
S11、获取摄像头采集的当前帧图像；
S12、按照预设的识别算法，对当前帧图像进行手势检测与识别，得到当前帧图像中手势的手势类别及识别结果的置信度，并根据该置信度的大小来判断是否接受该识别结果；
S13、对所述当前帧之后的一固定时间间隔内视频的所有图像帧依次进行手势检测和识别，得到图像中手势的手势类别及识别结果的置信度，并根据该置信度的大小来判断是否接受该识别结果；
S14、判断所述固定时间间隔内的所述图像帧中存在相同的手势类别的图像帧的占比是否大于预设的占比阈值，若是，则认为该手势为有效手势，若为否，则转入对下一帧图像进行识别，回到步骤S13。


2.如权利要求1所述的一种有效手势的识别方法，其特征在于：所述步骤S11中还对获取到的当前帧图像进行预处理：先对当前帧图像进行归一化处理，并根据上一帧图像手势检测和识别结果，判断上一帧图像是否检测到手势。


3.如权利要求2所述的一种有效手势的识别方法，其特征在于：所述步骤S12和所述步骤S13中的检测与识别具体为：
根据上一帧图像中的手势检测结果，选择第一神经网络模型或第二神经网络模型，第一神经网络模型为预训练好的卷积网络单次检测模型，用于直接在全图上预测手势的可能区域和类别，第二神经网络模型为预训练好的卷积网络单次检测模型，根据上一帧检测的手势区域对手势进行跟踪；
若是首侦图像或上一帧图像中未检测到手势，则将当前帧图像输入到第一神经网络模型进行手势检测和识别，并由所述第一神经网络模型输出当前帧图像中手势的可能区域的坐标、手势的可能类别和识别结果的置信度，若置信度大于等于预设的置信度阈值，则接受第一神经网络模型预测的检测和识别结果，若置信度小于预设的置信度阈值，则忽略；
若上一帧图像中检测到了手势，则将上一帧图像中手势的位置映射到到当前帧图像中，将当前帧图像上的映射区域按预设倍数向外进行扩展，将扩展后的映射区域输入到第二神经网络模型进行手势检测和识别，由所述第二神经网络模型输出当前图像中手势的可能区域的坐标、手势的可能类别和识别结果的置信度，若置信度大于预设的置信度阈值，则接受第二神经网络模型的预测结果，若置信度小于预设的置信度阈值，则忽略。


4.如权利要求3所述的一种有效手势的识别后的控制方法，其特征在于：所述第一神经网络模型的训练方法是：
获取第一类训练样本集及手势的标注信息；
对第一类训练样本集进行数据预处理：将第一类训练样本按照预设的宽高比进行随机大小的裁剪和镜像翻转；将手势的标注信息根据裁剪和翻转情况进行转换，将裁剪后的图片进行随机颜色增强；
使用预处理后的第一类样本集训练第一神经网络模型。


5.如权利要求3所述的一种有效手势的识别方法，其特征在于：所述第二神经网络模型的训练方法是：
获取第二类训练样本集及手势的标注信息；
对第二类训练样本集进行数据预处理：将第二类训练样本以手势框的位置加上随机偏移后的位置为中心，随机向外扩3到6倍进行裁剪和镜像翻转，将手势的标注信息根据裁剪和翻转情况进行转换，将裁剪后的图片进行随机颜色增强；
使用预处理后的第二类样本集训练第二神经网络模型。


6.一种有效手...

【专利技术属性】
技术研发人员：徐绍凯，贾宝芝，
申请(专利权)人：厦门瑞为信息技术有限公司，
类型：发明
国别省市：福建;35