一种基于卷积神经网络的实时在线动态手势识别方法技术

一种基于卷积神经网络的实时在线动态手势识别方法，其特征在于，对于连续的视频序列，使用长度为的滑动窗口截取固定长度的图片帧，每一时刻滑动窗口相对于视频流移动步，然后将滑动窗口截取的若干图片帧输入到已离线训练好的卷积神经网络中，输出该时刻对手势识别的类别分数，最后，后处理模块对类别分数向量进行处理，得到最终的识别结果。本发明专利技术的实时动态手势识别方法在自制的舰载无人机转运手势数据集上取得了86.91%的Levenshtein精度，识别速度达到每秒70帧。别速度达到每秒70帧。别速度达到每秒70帧。

【技术实现步骤摘要】
一种基于卷积神经网络的实时在线动态手势识别方法


[0001]本专利技术涉及一种模式识别
，尤其是一种动态手势识别方法，具体地说是一种基于卷积神经网络的实时在线动态手势识别方法。

技术介绍

[0002]目前，随着计算机视觉的兴起，基于计算机视觉的手势识别技术快速发展。与基于可穿戴设备的手势识别技术相比，基于视觉的手势识别使用摄像头采集序列图像中包含的信息完成对手势的识别，这使得用户无需穿戴任何复杂的传感设备，人机交互的方式变得更加自然。基于视觉的手势识别技术主要分为两类：传统的手势识别方法，基于卷积神经网络的手势识别方法。
[0003]图1为传统的手势识别方法流程图，由摄像机采集图像，通过图像处理技术分割出图像中手势的区域，然后进行手势跟踪，以确定手势的运动轨迹，再由特征提取算法对手势的空间和运动特征进行提取，最后将提取到的特征通过分类器或者统计概率模型进行手势的分类。传统的手势识别方法主要包含手势分割、手势跟踪、特征提取、手势分类四个环节，各环节所使用的方法都是基于传统的图像处理或者统计学的方法，例如通过肤色分割或者手部轮廓来分割本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的实时在线动态手势识别方法，其特征在于，对于连续的视频序列，使用长度为size的滑动窗口截取固定长度的图片帧，每一时刻滑动窗口相对于视频流移动stride步，然后将滑动窗口截取的若干图片帧输入到已离线训练好的卷积神经网络中，输出该时刻对手势识别的类别分数，最后，后处理模块对类别分数向量进行处理，得到最终的识别结果。2.根据权利要求1所述的方法，其特征在于它包括以下步骤：(1)利用长度为size的滑动窗口在连续的视频序列上截取固定长度的图片帧，每一时刻该滑动窗口移动stride步，获得原始的图片序列Imgs；(2)对原始的图片序列Imgs进行数据预处理，以获得满足卷积神经网络输入特征的数据Imgs
*
；(3)将Imgs
*
输入到已离线训练好的基于卷积神经网络的动态手势识别模型中，得到类别分数向量F
i
；(4)手势起始位置检测：输入类别分数向量F
i
，若判定为手势开始，则输出当前最有可能的手势类别C和相应的手势分数P；若判定手势结束，跳过步骤(5)，直接进行一次循环；(5)单次响应：输入步骤(4)得到的手势类别C和相应的手势分数P，若满足输出条件，则输出手势识别最终的结果res，进行下次循环。3.根据权利要求2所述的方法，其特征在于，所述步骤(4)手势起始位置检测采用以下方法：1)初始化长度为l缓冲队列和阈值th
s
；2)当队列未满时，将该时刻卷积神经网络输出的类别分数向量加入到缓冲队列队尾中；若队列添加满，则对缓冲队列中的类别分数向量在第一维度求平均值，得到类别分数平均向量F
r
；3)由步骤2)中的类别分数平均向量F
r
求得最大类别分数P，及其相对应的手势类别C；4)如果P大于或等于th
s
，代表手势开始，输出手势类别C和相应的手势分数P；否则，代表手势结束；5)当阈值判决完成后，清空缓冲队列，进行下一步循环。若卷积神经网络在i(t<i≤t+l)时刻输出的类别分数向量为F
i
∈R1×
N
，则在t+l时刻的类别分数...

【专利技术属性】
技术研发人员：赵康，黎向锋，李高扬，尹志浩，金玉超，吴同一，梁铖，余浩东，左敦稳，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：