手势语识别方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种手势语识别方法、装置、电子设备及存储介质，该方法包括：对待识别视频进行抽帧处理，得到抽取到的多个视频帧画面；通过手势检测模型分别对多个视频帧画面进行手势检测，得到多个视频帧画面的多个手势标签；通过语言模型对所述多个手势标签进行手势语识别，得到手势语文本信息；输出所述手势语文本信息。本公开可以提高手势语的识别效率，实现了端到端的实时识别。实现了端到端的实时识别。实现了端到端的实时识别。

【技术实现步骤摘要】
手势语识别方法、装置、电子设备及存储介质


[0001]本公开涉及图像识别技术，尤其涉及一种手势语识别方法、装置、电子设备及存储介质。

技术介绍

[0002]随着网络的飞速发展，当前短视频平台的规模日益变大，越来越多的用户倾向于拍视频分享自己的日常生活。但是有一些特殊的群体使用短视频平台分享生活会存在一些困难，他们就是聋哑人群体。在我国有数以千万计的聋哑人群体，这是一个庞大的规模。因此如果有方法能自动化将聋哑人的手势语翻译成正常文字或者是声音供和其他用户交流，那将成为聋哑人群体的福音。
[0003]相关技术中，可以使用人工翻译、基于硬件设备(可穿戴设备等)或基于软件方法(比如基于图片特征值计算，复杂效率低的深度算法，库匹配的算法)来进行手势语的识别。其中，人工翻译主要基于人工进行实时翻译；基于硬件设备的方法需要手势语的使用人员穿戴可以识别手势语的可穿戴设备(例如可穿戴手套等)；软件方法需要设计手势对应的数据库、一些针对手势姿势设计的一些算子，或者是一些基于深度学习的一些分类模型来进行识别。
[0004]人工翻译成本较高而且翻译效率本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势语识别方法，其特征在于，包括：对待识别视频进行抽帧处理，得到抽取到的多个视频帧画面；通过手势检测模型分别对所述多个视频帧画面进行手势检测，得到所述多个视频帧画面的多个手势标签；通过语言模型对所述多个手势标签进行手势语识别，得到手势语文本信息；输出所述手势语文本信息。2.根据权利要求1所述的方法，其特征在于，所述输出所述手势语文本信息，包括：以文本形式展示所述手势语文本信息；或者将所述手势语文本信息转换为语音信息，并播放所述语音信息。3.根据权利要求1所述的方法，其特征在于，所述对待识别视频进行抽帧处理，包括：从待识别视频中每隔预设间隔抽取一帧视频帧画面；或者确定所述待识别视频中相邻两帧视频帧画面的变化值，并根据所述变化值抽取视频帧画面。4.根据权利要求1所述的方法，其特征在于，所述手势检测模型为学生手势检测模型；在所述通过手势检测模型分别对所述多个视频帧画面进行手势检测，得到所述多个视频帧画面的多个手势标签之前，还包括：获取手势训练数据集，所述手势训练数据集中每个手势数据样本包括样本图像、手势部位标注和手势标签标注；根据所述手势训练数据集，对教师手势检测模型进行训练，得到训练完成的教师手势检测模型；根据所述手势训练数据集和所述教师手势检测模型，对学生手势检测模型进行蒸馏训练，得到蒸馏训练后的学生手势检测模型，所述学生手势检测模型的层数小于所述教师手势检测模型的层数。5.根据权利要求4所述的方法，其特征在于，所述根据所述手势训练数据集和所述教师手势检测模型，对学生手势检测模型进行蒸馏训练，得到蒸馏训练后的学生手势检测模型，包括：通过学生手势检测模型对所述手势数据样本中的样本图像进行手势检测，获取所述学生手势检测模型输出的第一检测结果和中间层的第一输出向量；通过训练完成的教师手势检测模型对所述手势数据样本中的样本图像进行手势检测，获取所述教师手势检测模型输出...

【专利技术属性】
技术研发人员：张恒，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：