一种基于深度学习的纯视觉轻量手语识别系统技术方案

本发明专利技术属于手语识别领域，尤其公开了一种基于深度学习的纯视觉轻量手语识别系统，现提出如下方案，包括数据获取、手势特征提取、时序特征提取和句子生成，所述数据获取为待识别手语视频的获取及图像预处理，所述手势特征提取为从手语视频中各帧获取手势特征向量，所述时序特征提取为从手势特征向量序列中提取手语词信息，所述句子生成为对所有手语词信息按照上下文组合成文本句子。本发明专利技术只需要输入图像数据即可通过运算输出句子，无需额外附加信息，总体网络结构简单高效，训练周期短，适合在移动端部署。只需要一个终端设备即可运行该程序，大大提高了使用便利性，有利于大面积推广。

【技术实现步骤摘要】
一种基于深度学习的纯视觉轻量手语识别系统
本专利技术涉及手语识别
，尤其涉及一种基于深度学习的纯视觉轻量手语识别系统。
技术介绍
手语是聋哑人与健听人之间重要的沟通方式，为了促进聋哑人与健听人的沟通便利性，设计一款能够在移动端实时运行的手语识别系统显得尤为重要。但由于手语语义丰富、动作幅度相比于其他人体行为具有局部性和细节性，同时又受到光照、背景及运动速度等影响，传统的模式识别及机器学习方法难以实现较理想的精度与鲁棒性。此外，受限于移动端的硬件条件包括CPU、GPU及内存等，运算量较大的实验室环境下的手语识别算法难以部署在移动端并实现高效运行。对于连续语句手语识别任务，近年来基于图像的深度学习方法取得越来越好的成绩。连续语句手语识别需要建立更为可靠的长期时序依赖。通常采用双向长短时记忆网络模型更好的对手语长时序序列进行上下文语义信息的建模。相比于BLSTM网络模型的复杂度，基于1维卷积网络模型和3维卷积网络模型的连续手语识别避开了BLSTM网络的复杂建模，在同样能进行时序建模的基础上节省了复杂的计算量。以往的手语语句时序分割方法过本文档来自技高网...

【技术保护点】
1.一种基于深度学习的纯视觉轻量手语识别系统，其特征在于，包括数据获取、手势特征提取、时序特征提取和句子生成，所述数据获取为待识别手语视频的获取及图像预处理，所述手势特征提取为从手语视频中各帧获取手势特征向量，所述时序特征提取为从手势特征向量序列中提取手语词信息，所述句子生成为对所有手语词信息按照上下文组合成文本句子；/n识别系统还包括以下使用步骤：/nS1，应用程序打开手机相机拍摄获取手语视频、或者从文件夹中直接获取手语视频，点击开始识别按钮片刻后，将手语识别结果显示在屏幕上；/nS2，获取到手语视频后，首先进行四倍下采样得到的图像序列作为手语识别模型的源输入，进行八倍下采样得到的图像序列作...

【技术特征摘要】
1.一种基于深度学习的纯视觉轻量手语识别系统，其特征在于，包括数据获取、手势特征提取、时序特征提取和句子生成，所述数据获取为待识别手语视频的获取及图像预处理，所述手势特征提取为从手语视频中各帧获取手势特征向量，所述时序特征提取为从手势特征向量序列中提取手语词信息，所述句子生成为对所有手语词信息按照上下文组合成文本句子；
识别系统还包括以下使用步骤：
S1，应用程序打开手机相机拍摄获取手语视频、或者从文件夹中直接获取手语视频，点击开始识别按钮片刻后，将手语识别结果显示在屏幕上；
S2，获取到手语视频后，首先进行四倍下采样得到的图像序列作为手语识别模型的源输入，进行八倍下采样得到的图像序列作为人体检测模型的源输入，预测出人体坐标，再以人体为中心裁剪源输入图像并缩放至高224、宽224个像素，最后进行归一化，数据准备完毕；
S3，在手势特征提取部分，首先第一个特征提取层采用一个2D卷积层和一个最大池化层用于缩放图像，利于减少计算量，具体参数为：卷积核大小7x7、步长2、全零填充3、通道64，第二个特征提取层采用两个基础残差块，具体参数为：卷积核大小3x3、步长1、全零填充1、通道64，第三个特征提取层采用两个基础残差块，具体参数为：卷积核大小...

【专利技术属性】
技术研发人员：吴宗正，李凌，刘云云，辜嘉，
申请(专利权)人：深圳市热丽泰和生命科技有限公司，
类型：发明
国别省市：广东;44