本发明专利技术公开了一种基于深度学习的手语理解视觉手势识别方法、系统、计算机装置及存储介质，包括将待处理手势图像输入至经过训练的卷积神经网络中进行处理，获取卷积神经网络输出的识别结果等步骤，其中卷积神经网络经过以下训练过程：使用包含多个中文手语手势图像的第一数据集以及对中文手语手势图像标记得到的标签，对卷积神经网络进行训练。本发明专利技术可以识别出待处理手势图像中的手势内容，从而实现对中文手语手势的识别，由于对中文手语手势的识别是通过图像处理的方式进行的，而在获取待处理手势图像时可以使用摄像机等设备进行，无需做手语者佩戴特定的传感设备，因此具有使用成本低以及使用便利等优点。本发明专利技术广泛应用于手势识别技术领域。手势识别技术领域。手势识别技术领域。
【技术实现步骤摘要】
基于深度学习的手语理解视觉手势识别方法、系统、计算机装置及存储介质
[0001]本专利技术涉及手势识别
，尤其是一种基于深度学习的手语理解视觉手势识别方法、系统、计算机装置及存储介质。
技术介绍
[0002]手语是一种人与人之间交流的方式，随着计算机技术的发展，手语也成了人机交互的方式。在通过手语进行人机交互时，需要计算机具有手势识别的功能。手语中使用的手势可以分为两种，即静态手势和动态手势。静态手势是指手在空间中的位置，而动态手势是指手在空间中的连续运动时间。手语翻译中的手势识别过程可以通过两种不同的方式来完成：基于视觉的和基于接触的识别。在基于接触的过程中，手语译员需要佩戴电子电路，例如：数据手套、加速度计、频带等设备。这些组件测量运动中的变化，并将细节转移到计算机进行进一步处理。但是，对于日常人机交互界面的用户来说，所佩戴的电子电路昂贵且不方便。
[0003]基于视觉的方法对用户更友好，其不要求手语译员佩戴电子电路，手语译员的手部更灵活，有利于做出更准确的手势。目前基于视觉的方法中，计算机拍摄手语译员做出的手势，获得手势图片，对手势图片进行基于特征提取的图像分析，从而识别出手势内容。特征提取是将输入数据的重要信息转化为紧凑的特征向量的过程。传统的特征提取技术(如移位不变特征变换(SIFT)、主成分分析(PCA)、梯度直方图(HOG)、局部二值模式(LBP)等)与机器学习模型相结合，需要数学算子和人工观察来提取关键特征。这些数学运算本质上是复杂的。对于有限类别的中文手语，获得的识别精度较低。尤其对于中文手语手势的识别来说，由于与其他常用手语相比，中文手语的手势格式更为复杂，因此，采用现有的手势识别方法对中文手语不会得到相同的结果即现有的手势识别方法对中文手语手势的识别不稳定；由于中文手语的复杂结构，用于中文手语识别的手势识别技术受到的关注较少。
技术实现思路
[0004]针对目前的中文手语视觉手势识别识别精度较低以及数据处理过程较复杂等技术问题，本专利技术的目的在于提供一种基于深度学习的手语理解视觉手势识别方法、系统、计算机装置及存储介质。
[0005]一方面，本专利技术实施例包括一种基于深度学习的手语理解视觉手势识别方法，包括：
[0006]获取待处理手势图像；
[0007]将所述待处理手势图像输入至经过训练的卷积神经网络中进行处理；
[0008]获取所述卷积神经网络输出的识别结果；
[0009]所述卷积神经网络经过以下训练过程：
[0010]获取第一数据集；所述第一数据集包括多个中文手语手势图像；
[0011]对所述第一数据集中的各所述中文手语手势图像进行标记，确定各所述中文手语手势图像各自对应的标签；
[0012]使用所述第一数据集以及对应的各所述标签，对所述卷积神经网络进行训练。
[0013]进一步地，所述卷积神经网络包括依次连接的第一卷积层、第一最大池化层、第二卷积层、第三卷积层、第二最大池化层、第四卷积层、第三最大池化层、第一dropout层、第一全连接层、第二全连接层、第二dropout层和softmax层。
[0014]进一步地，所述获取第一数据集，包括：
[0015]获取包含拼写的中文手语手势图像以及包含孤立词的中文手语手势图像；
[0016]以所述包含拼写的中文手语手势图像和所述包含孤立词的中文手语手势图像，组成所述第一数据集。
[0017]进一步地，在使用所述第一数据集以及对应的各所述标签，对所述卷积神经网络进行训练之后，所述卷积神经网络还经过以下训练过程：
[0018]获取第二数据集；所述第二数据集包括多个英文手语手势图像；
[0019]对所述第二数据集中的各所述英文手语手势图像进行标记，确定各所述英文手语手势图像各自对应的标签；
[0020]使用所述第二数据集以及对应的各所述标签，对所述卷积神经网络进行训练。
[0021]进一步地，所述卷积神经网络还经过以下训练过程：
[0022]获取第二数据集；所述第二数据集包括多个英文手语手势图像；
[0023]对所述第二数据集中的各所述英文手语手势图像进行标记，确定各所述英文手语手势图像各自对应的标签；
[0024]将所述第一数据集中的各中文手语手势图像以及所述第二数据集中的各英文手语手势图像，按顺序排列组合成第三数据集；所述第三数据集中，任意多个相邻的中文手语手势图像的个数不超过第一阈值，任意多个相邻的英文手语手势图像的个数不超过第二阈值；
[0025]按照在所述第三数据集中的排列顺序，依次使用各所述中文手语手势图像和各所述英文手语手势图像以及对应的各所述标签，对所述卷积神经网络进行训练。
[0026]进一步地，所述第二数据集为Jochen
‑
Triesch数据集。
[0027]进一步地，在使用所述第一数据集以及对应的各所述标签，对所述卷积神经网络进行训练之前，所述基于深度学习的手语理解视觉手势识别方法还包括：
[0028]从所述第一数据集中的各所述中文手语手势图像中裁剪手势；
[0029]将各所述中文手语手势图像下采样至相同大小。
[0030]另一方面，本专利技术实施例还包括一种基于深度学习的手语理解视觉手势识别系统，所述基于深度学习的手语理解视觉手势识别系统包括：
[0031]第一模块，用于获取待处理手势图像；
[0032]第二模块，用于将所述待处理手势图像输入至经过训练的卷积神经网络中进行处理；
[0033]第三模块，用于获取所述卷积神经网络输出的识别结果；
[0034]所述卷积神经网络经过以下训练过程：
[0035]获取第一数据集；所述第一数据集包括多个中文手语手势图像；
[0036]对所述第一数据集中的各所述中文手语手势图像进行标记，确定各所述中文手语手势图像各自对应的标签；
[0037]使用所述第一数据集以及对应的各所述标签，对所述卷积神经网络进行训练。
[0038]另一方面，本专利技术实施例还包括一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例中的基于深度学习的手语理解视觉手势识别方法。
[0039]另一方面，本专利技术实施例还包括一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行实施例中的基于深度学习的手语理解视觉手势识别方法。
[0040]本专利技术的有益效果是：实施例中的基于深度学习的手语理解视觉手势识别方法，通过使用经过中文手语手势图像训练的卷积神经网络对待处理手势图像进行处理，可以识别出待处理手势图像中的手势内容，从而实现对中文手语手势的识别，由于对中文手语手势的识别是通过图像处理的方式进行的，而在获取待处理手势图像时可以使用摄像机等设备进行，无需做手语者佩戴特定的传感设备，因此具有使用成本低以及使用便利等优点。
附图说明
[004本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的手语理解视觉手势识别方法，其特征在于，所述基于深度学习的手语理解视觉手势识别方法包括：获取待处理手势图像；将所述待处理手势图像输入至经过训练的卷积神经网络中进行处理；获取所述卷积神经网络输出的识别结果；所述卷积神经网络经过以下训练过程：获取第一数据集；所述第一数据集包括多个中文手语手势图像；对所述第一数据集中的各所述中文手语手势图像进行标记，确定各所述中文手语手势图像各自对应的标签；使用所述第一数据集以及对应的各所述标签，对所述卷积神经网络进行训练。2.根据权利要求1所述的基于深度学习的手语理解视觉手势识别方法，其特征在于，所述卷积神经网络包括依次连接的第一卷积层、第一最大池化层、第二卷积层、第三卷积层、第二最大池化层、第四卷积层、第三最大池化层、第一dropout层、第一全连接层、第二全连接层、第二dropout层和softmax层。3.根据权利要求1所述的基于深度学习的手语理解视觉手势识别方法，其特征在于，所述获取第一数据集，包括：获取包含拼写的中文手语手势图像以及包含孤立词的中文手语手势图像；以所述包含拼写的中文手语手势图像和所述包含孤立词的中文手语手势图像，组成所述第一数据集。4.根据权利要求1所述的基于深度学习的手语理解视觉手势识别方法，其特征在于，在使用所述第一数据集以及对应的各所述标签，对所述卷积神经网络进行训练之后，所述卷积神经网络还经过以下训练过程：获取第二数据集；所述第二数据集包括多个英文手语手势图像；对所述第二数据集中的各所述英文手语手势图像进行标记，确定各所述英文手语手势图像各自对应的标签；使用所述第二数据集以及对应的各所述标签，对所述卷积神经网络进行训练。5.根据权利要求1所述的基于深度学习的手语理解视觉手势识别方法，其特征在于，所述卷积神经网络还经过以下训练过程：获取第二数据集；所述第二数据集包括多个英文手语手势图像；对所述第二数据集中的各所述英文手语手势图像进行标记，确定各所述英文手语手势图像各自对应的标签；将所述第一数据集中的各中文手语手势图像以及所述第二数据集中的各英文手语...
【专利技术属性】
技术研发人员：杨继武，
申请(专利权)人：广州创一网络传媒有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。