基于DenseNet网络改进的手势图像特征提取方法技术

本发明专利技术公开了一种基于DenseNet网络改进的手势图像特征提取方法。对手势采集获得原始手势图像；经卷积降采样网络结构卷积降采样，选取较浅层和深层的特征张量，分别输入融合Drop

【技术实现步骤摘要】
基于DenseNet网络改进的手势图像特征提取方法


[0001]本专利技术涉及一种手势图像的提取方法，具体涉及了一种基于DenseNet网络所改进的手势图像特征提取方法。

技术介绍

[0002]手势识别是近年来大热的人机交互方式，广泛应用在手语识别、智能监控和虚拟现实等各个领域。最初的手势识别主要是利用可穿戴设备，直接检测手、胳膊各关节的角度和空间位置，这些设备虽可提供良好的检测效果，但将其应用在常用领域则价格昂贵。近年来手势识别技术从可穿戴设备转向机器视觉的手势识别方法以及基于深度学习的手势识别方法两大类。尽管手势识别技术已经取得很大进步，在真实环境中还面临着许多挑战，如光照、目标大小等诸多因素都会影响手势识别的性能。基于机器视觉的手势特征融合方法能在一定程度上实现对复杂手势特征提取和融合，但是其提取的特征易受光照和背景的影响，使融合得到的特征难以精确描述手势图像，且处理速度较慢。目前基于深度学习的手势识别方法逐渐成为主流，一般使用卷积神经网络通过卷积层自动提取手势的轮廓肤色纹理等深度特征，并通过卷积层进行融合,但通过单一卷积神经网络较难提取到手势目标占比不同的图像的多尺度特征，正确率表现不佳。

技术实现思路

[0003]针对传统手势图像特征融合与识别方法得到的特征难以精确识别复杂背景下手势目标占比不同的图像的问题以及DenseNet网络中密集连接可能产生的信息冗余问题，本专利技术的目的在于提出一种适应手势目标占比不同的图像的有效特征提取与融合方法，能够满足复杂背景下的针对占比不同的手势目标进行高精度识别的需求。
[0004]本专利技术含有降采样网络结构中不同深度的特征张量，对大目标、小目标物体均能精确识别，同时在DenseNet网络中融合Drop
‑
Path模块，在不降低精度的同时有效减少参数量，提高模型训练的速度，防止过拟合，提高了手势识别的准确率。
[0005]本专利技术的技术方案包括如下步骤：
[0006]1)对各种手势进行图像采集获得原始图像，对原始图像进行尺寸归一化处理获得原始手势图像；
[0007]2)对原始手势图像经过卷积降采样网络结构处理进行多次卷积降采样，选取卷积降采样网络结构中较浅层的特征张量和深层的特征张量；
[0008]3)将较浅层的特征张量和深层的特征张量分别输入到融合了Drop
‑
Path模块的DenseNet
‑
B模块中得到两种包含不同尺度语义信息的通道数扩增后的特征张量；
[0009]4)将获得的两种包含不同尺度语义信息的通道数扩增后的特征张量进行融合，得到多尺度特征融合的特征张量；所述的融合是指通道的叠加。
[0010]5)将获得的多尺度特征融合的特征张量经过过渡层进行压缩，压缩后再次输入到融合了Drop
‑
Path模块的DenseNet
‑
B模块中，得到包含多尺度高维度的特征张量；
[0011]6)将多尺度高维度特征张量经过全局平均池化层，再经过全连接层，再通过softmax分类器得到手势图像的分类结果。
[0012]所述的卷积降采样网络结构主要由四个连续的二阶卷积模块和一个三阶卷积模块和一个上采样层依次连接构成；
[0013]所述的二阶卷积模块主要由进行降采样的stride＝2的第一个卷积层、1
×
1的第二个卷积层、批量归一化层和RELU激活层依次连接构成；通过第一个卷积层处理能够降低池化带来的梯度负面效果而代替池化层进行降采样，通过第二个卷积层能够提高非线性程度、灵活改变网络结构，通过所述的批量归一化层和RELU激活层能够加快网络训练和收敛速度。
[0014]所述的三阶卷积模块是在二阶卷积模块基础上添加了一个瓶颈层后组成，瓶颈层的具体位置是在二阶卷积模块中两个卷积层之后、批量归一化层之前，通过瓶颈层能够压缩维度、大幅减少计算量；
[0015]所述的上采样层是采用最近邻(nearest)插值算法进行；
[0016]选取第三个二阶卷积模块和上采样层的输出分别作为较浅层的特征张量和深层的特征张量。
[0017]所述的二阶卷积模块f2(z)和三阶卷积模块f3(z)具体按照以下公式设置表示：
[0018][0019][0020]其中，z代表输入的图像，代表卷积核尺寸为i
×
i、输出通道数为n的卷积函数，a、b、c表示卷积降采样网络结构中不同卷积模块第一个卷积层、第二个卷积层和瓶颈层输出特定的通道数；BN(*)代表批量归一化函数；δ(*)代表RELU激活函数。
[0021]原始手势图像经过第一个二阶卷积模块后输出相当于原始图像1/2大小的通道数为8的特征张量，经过第二个二阶卷积模块后输出相当于原始图像1/4大小的通道数为16的特征张量，经过第三个二阶卷积模块后输出相当于原始图像1/8大小的通道数为32的特征张量，经过第四个二阶卷积模块后输出相当于原始图像1/16大小的通道数为64的特征张量，经过一个三阶卷积模块后输出相当于原始图像1/32大小的通道数为32的特征张量，经过上采样层输出相当于原始图像1/8大小的通道数为32的特征张量。
[0022]所述的DenseNet
‑
B模块主要由多个密集层组成，每一个密集层是由两个连续的卷积模块BRC组成，两个卷积模块BRC拓扑结构相同但参数不同，卷积模块BRC是由一个批量归一化层、RELU激活层和一个单卷积层顺序连接而成；两个卷积模块BRC的区别在于单卷积层中卷积核的大小不同，其中一个卷积模块BRC的单卷积层中卷积核是1
×
1，另一个卷积模块BRC的单卷积层中卷积核是3
×
3；卷积模块BRC由以下公式设置表示：
[0023][0024]其中，z代表输入的图像，BN(*)代表批量归一化函数；δ(*)代表RELU激活函数，代表卷积核尺寸为i
×
i、输出通道数为n的卷积函数；BRC(*)表示卷积模块BRC的函数。
[0025]所述的DenseNet
‑
B模块中，第一密集层的输入是卷积降采样网络结构中选取的特
征张量，其余每个密集层的输入均包括卷积降采样网络结构中选取的特征张量和位于自身前面的所有密集层的输出，由卷积降采样网络结构中选取的特征张量和所有密集层的输出共同连接作为DenseNet
‑
B模块的输出；
[0026]具体实施中设置四个密集层，第一密集层的输入是卷积降采样网络结构中选取的特征张量，第二密集层的输入是卷积降采样网络结构中选取的特征张量和第一密集层的输出，第三密集层的输入是卷积降采样网络结构中选取的特征张量、第一密集层的输出和第二密集层的输出，第四密集层的输入是卷积降采样网络结构中选取的特征张量、第一密集层的输出、第二密集层的输出和第三密集层的输出，以此类推。
[0027]最终由卷积降采样网络结构中选取的特征张量和第一到第四密集层的输出在通道维度上融合，融合后的特征张本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DenseNet网络改进的手势图像特征提取方法，其特征在于：包括如下步骤：1)对各种手势进行图像采集获得原始图像，对原始图像进行尺寸归一化处理获得原始手势图像；2)对原始手势图像经过卷积降采样网络结构处理进行多次卷积降采样，选取卷积降采样网络结构中较浅层的特征张量和深层的特征张量；3)将较浅层的特征张量和深层的特征张量分别输入到融合了Drop
‑
Path模块的DenseNet
‑
B模块中得到两种包含不同尺度语义信息的通道数扩增后的特征张量；4)将获得的两种包含不同尺度语义信息的通道数扩增后的特征张量进行融合，得到多尺度特征融合的特征张量；5)将获得的多尺度特征融合的特征张量经过过渡层进行压缩，压缩后再次输入到融合了Drop
‑
Path模块的DenseNet
‑
B模块中，得到包含多尺度高维度的特征张量；6)将多尺度高维度特征张量经过全局平均池化层，再经过全连接层，再通过softmax分类器得到手势图像的分类结果。2.根据权利要求1所述的一种基于DenseNet网络改进的手势图像特征提取方法，其特征在于：所述的卷积降采样网络结构主要由四个连续的二阶卷积模块和一个三阶卷积模块和一个上采样层依次连接构成；所述的二阶卷积模块主要由进行降采样的stride＝2的第一个卷积层、1
×
1的第二个卷积层、批量归一化层和RELU激活层依次连接构成；所述的三阶卷积模块是在二阶卷积模块基础上添加了一个瓶颈层后组成，瓶颈层的具体位置是在二阶卷积模块中两个卷积层之后、批量归一化层之前；所述的上采样层是采用最近邻(nearest)插值算法进行；选取第三个二阶卷积模块和上采样层的输出分别作为较浅层的特征张量和深层的特征张量。3.根据权利要求2所述的一种基于DenseNet网络改进的手势图像特征提取方法，其特征在于：所述的二阶卷积模块f2(z)和三阶卷积模块f3(z)具体按照以下公式设置表示：(z)具体按照以下公式设置表示：其中，z代表输入的图像，代表卷积核尺寸为i
×
i、输出通道数为n的卷积函数，a、b、c表示卷积降采样网络结构中不同卷积模块第一个卷积层、第二个卷积层和瓶颈层输出特定的通道数；BN(*)代表批量归一化函数；δ(*)代表RELU激活函数。4.根据权利要求1所述的一种基于DenseNet网络改进的手势图像特征提取方法，其特征在于：所述的DenseNet
‑
B模块主要由多...

【专利技术属性】
技术研发人员：周梓豪，田秋红，
申请(专利权)人：浙江理工大学，
类型：发明
国别省市：