手语识别方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种手语识别方法、装置、电子设备和存储介质。其中方法包括：对待识别视频中的各帧图像进行姿态关键点检测，得到各帧图像对应的姿态关键点图，任一姿态关键点图包括多个姿态关键点；对各姿态关键点图的多个姿态关键点进行分类标记，得到各姿态关键点图对应的姿态图；对各姿态图进行手语识别，得到待识别视频的手语识别结果。本发明专利技术提供的方法、装置、电子设备和存储介质，对待识别视频中的各帧图像进行姿态关键点检测，以去除待识别视频中的冗余信息，从而提高手语识别的准确性；并对各姿态关键点图的多个姿态关键点进行分类标记，从而将各姿态关键点彼此区分，并将分组的姿态关键点显式构建出来，从而进一步提高手语识别的准确性。语识别的准确性。语识别的准确性。

【技术实现步骤摘要】
手语识别方法、装置、电子设备和存储介质


[0001]本专利技术涉及手语翻译
，尤其涉及一种手语识别方法、装置、电子设备和存储介质。

技术介绍

[0002]随着计算机视觉技术的快速发展，手语识别的应用场景越来越广泛。手语识别是将采集到的手语视频翻译成文字文本，或者翻译成语音进行播报。
[0003]目前，大多基于RGBD深度摄像头获取的人体姿态动作信息，进行手语识别，然而，其对成像硬件有较高的要求，导致手语识别的成本较高。而对RGB视频进行手语识别，现有技术是对RGB图像所表征的各信息平权对待，导致手语识别过程未考虑图像中各信息的相互关系，进而导致手语识别的准确性不高。

技术实现思路

[0004]本专利技术提供一种手语识别方法、装置、电子设备和存储介质，用以解决现有技术中手语识别准确性不高的缺陷，实现高准确的手语识别。
[0005]本专利技术提供一种手语识别方法，包括：
[0006]对待识别视频中的各帧图像进行姿态关键点检测，得到所述各帧图像对应的姿态关键点图，任一所述姿态关键点图包括多个姿态关键点；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手语识别方法，其特征在于，包括：对待识别视频中的各帧图像进行姿态关键点检测，得到所述各帧图像对应的姿态关键点图，任一所述姿态关键点图包括多个姿态关键点；对各所述姿态关键点图的所述多个姿态关键点进行分类标记，得到各所述姿态关键点图对应的姿态图；对各所述姿态图进行手语识别，得到所述待识别视频的手语识别结果。2.根据权利要求1所述的手语识别方法，其特征在于，所述对各所述姿态关键点图的所述多个姿态关键点进行分类标记，得到各所述姿态关键点图对应的姿态图，包括：基于预设关键点分类规则，对各所述姿态关键点图的所述多个姿态关键点进行分类，得到各所述姿态关键点图对应的关键点分类结果，所述预设关键点分类规则用于表征人体的各肢干所包括的姿态关键点，所述各肢干为与手语动作相关的肢干；基于各所述关键点分类结果，对各所述姿态关键点图的所述多个姿态关键点进行连接，得到各所述姿态关键点图对应的连接图；基于各所述关键点分类结果，对各所述连接图的肢干连接部分进行标记，得到各所述连接图对应的姿态图。3.根据权利要求2所述的手语识别方法，其特征在于，所述基于各所述关键点分类结果，对各所述连接图的肢干连接部分进行标记，得到各所述连接图对应的姿态图，包括：基于肢干
‑
颜色映射关系和各所述关键点分类结果，对各所述连接图的肢干连接部分进行颜色标记，得到各所述连接图对应的姿态图；其中，所述肢干
‑
颜色映射关系用于表征所述各肢干与不同颜色的映射关系。4.根据权利要求1所述的手语识别方法，其特征在于，所述手语识别结果包括句子级别识别结果和/或词级别识别结果；所述句子级别识别结果是对句子级别编码向量进行解码得到的，所述句子级别编码向量是基于各所述姿态图的上下文信息确定的；所述词级别识别结果是对各所述姿态图的词级别编码向量进行解码得到的。5.根据权利要求4所述的手语识别方法，其特征在于，所述句子级别识别结果是基于如下步骤识别得到：对各所述姿态图进行词级别编码，得到各所述姿态图的词级别编码向量；基于各所述词级别编码向量的上下文信息，对各所述词级别编码向量进行句子...

【专利技术属性】
技术研发人员：陈茂东，王啸天，马骥腾，程大龙，
申请(专利权)人：科大讯飞华南人工智能研究院广州有限公司，
类型：发明
国别省市：