一种面向水下设备的手势识别方法技术

本发明专利技术公开了一种面向水下设备的手势识别方法，包括：(1)通过手势图像采集模块获得待测手势图像序列，并通过帧分离的方式将手势从图像序列中截取出来，输入手势识别模块；(2)基于手势识别模块提取手势特征并完成对手势的识别；(3)根据指令转换模块将手势识别结果转换成相应的系统指令，并根据指令完成相应工作，从而完成采用手势进行控制的功能。本发明专利技术通过设计新型的深度卷积神经网络架构对手势图像进行识别，以至少解决现有手势识别方法所存在的实现过程较为繁琐、实时性差、且识别率低等问题，进而使得潜水员可以通过手势与水下设备进行交互，提高作业效率，具有较高的实际应用价值。

A gesture recognition method for underwater equipment

【技术实现步骤摘要】
一种面向水下设备的手势识别方法
本专利技术属于基于视觉的手势识别
，具体涉及一种面向水下设备的手势识别方法。
技术介绍
现有技术中，对于水下设备(如无人潜水器、水下机械臂等)的控制一般都是在岸机端，通过按键或手柄控制水下设备的活动。然而，在岸上控制水下设备具有较大的缺陷：水下环境使得声学和无线电通信变得复杂、昂贵和不可行，一些在岸上给设备发送命令的控制方式很难实现；水下设备在接收岸上的命令信号时可能会出现延时或偏差等错误情况；设备不能及时与潜水员进行交互。对于一项实际要求较高的实践性工作，水下设备交互控制技术的重要性不言而喻。然而，由于在水下环境中，触屏、手柄等交互控制方式受到极大限制，而有时需要潜水员在水下实时控制设备。因此，采用具有智能形式的人机交互技术解决水下设备的人机交互控制方式问题就显得尤为重要。近年来深度学习在计算机视觉应用中高速发展，人机交互的方式得到了极大的丰富，给人们的操作带来了便利和极佳的使用体验。在众多的人机交互方式中，基于视觉的手部交互技术凭借其良好的舒适性和自然性被广泛研究和应用。手势识别是手势交本文档来自技高网...

【技术保护点】
1.一种面向水下设备的手势识别方法，其特征在于，包括以下步骤：/n步骤A、采集水下手势图像以获得待测手势图像序列，并通过帧分离的方式将手势信息从图像序列中截取出来；/n步骤B、对步骤A中所获手势信息，基于深度卷积神经网络模型对手势信息提取其手势特征，以对其进行手势识别；/n所述深度卷积神经网络模型构建过程如下：/n步骤B1、获取训练样本集，并对其依据手势类别设定标签，所述手势类别包括拳头、手掌；/n步骤B2、训练样本集预处理；/n步骤B3、将经步骤B2处理后数据作为训练样本，构建深度卷积神经网络模型：/n所述深度卷积神经网络模型包括依次相连的初始模块、掩模模块和分类模块，经过初始模块、掩模模块...

【技术特征摘要】
1.一种面向水下设备的手势识别方法，其特征在于，包括以下步骤：
步骤A、采集水下手势图像以获得待测手势图像序列，并通过帧分离的方式将手势信息从图像序列中截取出来；
步骤B、对步骤A中所获手势信息，基于深度卷积神经网络模型对手势信息提取其手势特征，以对其进行手势识别；
所述深度卷积神经网络模型构建过程如下：
步骤B1、获取训练样本集，并对其依据手势类别设定标签，所述手势类别包括拳头、手掌；
步骤B2、训练样本集预处理；
步骤B3、将经步骤B2处理后数据作为训练样本，构建深度卷积神经网络模型：
所述深度卷积神经网络模型包括依次相连的初始模块、掩模模块和分类模块，经过初始模块、掩模模块和分类模块完成对手势特征的提取与分类，根据分类结果判断输入图像属于哪种手势类别，从而完成手势识别；
步骤C、依据指令转换模块将手势识别结果转换成相应的系统指令，以控制水下设备动作，所述指令转换模块用以定义手势映射模型，建立手势交互的对应关系。


2.根据权利要求1所述的面向水下设备的手势识别方法，其特征在于：所述步骤B3包括：(B31)手势图像x首先经过初始模块，进行初步特征提取；
所述初始模块包括卷积层、最大池化层、合并层、规范化层和激活层，其中，卷积层和最大池化层并行连接，输入的手势图像经卷积层和最大池化层两层的输出，经合并层合并后依次输入规范化层和激活层，激活层的输出I(x)作为初始模块最终输出；
初始模块表示为：
I(x)＝ReLU(BN(Cat(Conv(x),Maxpooling(x))))
其中，Conv表示卷积层，Maxpooling表示最大池化层，Cat表示合并层，BN表示规范化层，ReLU表示激活层；
(B32)初始模块提取的特征I(x)输入掩模模块，完成进一步的特征提取，对特征I(x)进行细化和完善，得到细化后的特征T(x)；
(B33)经掩模模块细化后的特征T(x)输入分类模块，分类模块在细化后的手势特征T(x)的基础上进行特征提取和分类；
(B34)基于交叉熵函数预测网络模型误差，以得到最优的网络模型结构；
所述交叉熵函数为：



其中，yi为样本真实数字标签，为网络模型预测标签。


3.根据权利要求2所述的面向水下设备的手势识别方法，其特征在于：所述步骤B32中，所述掩模模块包括输入特征层、软掩模分支层、相乘层、合并层以及卷积层，输入特征层接收初始模块提取的特征I(x)，经软掩模分支层后生成手势掩模M(x)；输入特征层、软掩模分支层依次连接并将结果输出至相乘层，所述输入特征层包括一条快捷连接通向相乘层，I(x)和M(x)经相乘层输出得到经掩模细化修饰后的手势特征，相乘层的输出与所述输入层输出I(x)经合并层合并后输入卷积层，卷积层输出作为掩模模块最终输出T(x)，即：
所述掩模模块表示为：



式中，i表示特征点的空间位置，c为特征通道的索引，掩模Mi,c(x)作为初始模块输出特征Ii,c(x)的控制门，用以突出手势特征，减弱背景特征；SMBranch表示软掩模分支层，Cat表示合并层，Conv表示卷积层。


4.根据权利要求3所述的面向水下设备的手势识别方法...

【专利技术属性】
技术研发人员：何波，李凯歌，王淇，武玫含，
申请(专利权)人：中国海洋大学，
类型：发明
国别省市：山东;37