手语识别方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种手语识别方法、装置、电子设备和存储介质。其中方法包括：对待识别视频中的各帧图像进行姿态关键点检测，得到各帧图像对应的姿态关键点图，任一姿态关键点图包括多个姿态关键点；对各姿态关键点图的多个姿态关键点进行分类标记，得到各姿态关键点图对应的姿态图；对各姿态图进行手语识别，得到待识别视频的手语识别结果。本发明专利技术提供的方法、装置、电子设备和存储介质，对待识别视频中的各帧图像进行姿态关键点检测，以去除待识别视频中的冗余信息，从而提高手语识别的准确性；并对各姿态关键点图的多个姿态关键点进行分类标记，从而将各姿态关键点彼此区分，并将分组的姿态关键点显式构建出来，从而进一步提高手语识别的准确性。语识别的准确性。语识别的准确性。

【技术实现步骤摘要】
手语识别方法、装置、电子设备和存储介质


[0001]本专利技术涉及手语翻译
，尤其涉及一种手语识别方法、装置、电子设备和存储介质。

技术介绍

[0002]随着计算机视觉技术的快速发展，手语识别的应用场景越来越广泛。手语识别是将采集到的手语视频翻译成文字文本，或者翻译成语音进行播报。
[0003]目前，大多基于RGBD深度摄像头获取的人体姿态动作信息，进行手语识别，然而，其对成像硬件有较高的要求，导致手语识别的成本较高。而对RGB视频进行手语识别，现有技术是对RGB图像所表征的各信息平权对待，导致手语识别过程未考虑图像中各信息的相互关系，进而导致手语识别的准确性不高。

技术实现思路

[0004]本专利技术提供一种手语识别方法、装置、电子设备和存储介质，用以解决现有技术中手语识别准确性不高的缺陷，实现高准确的手语识别。
[0005]本专利技术提供一种手语识别方法，包括：
[0006]对待识别视频中的各帧图像进行姿态关键点检测，得到所述各帧图像对应的姿态关键点图，任一所述姿态关键点图包括多个姿态关键点；
[0007]对各所述姿态关键点图的所述多个姿态关键点进行分类标记，得到各所述姿态关键点图对应的姿态图；
[0008]对各所述姿态图进行手语识别，得到所述待识别视频的手语识别结果。
[0009]根据本专利技术提供的一种手语识别方法，所述对各所述姿态关键点图的所述多个姿态关键点进行分类标记，得到各所述姿态关键点图对应的姿态图，包括：
[0010]基于预设关键点分类规则，对各所述姿态关键点图的所述多个姿态关键点进行分类，得到各所述姿态关键点图对应的关键点分类结果，所述预设关键点分类规则用于表征人体的各肢干所包括的姿态关键点，所述各肢干为与手语动作相关的肢干；
[0011]基于各所述关键点分类结果，对各所述姿态关键点图的所述多个姿态关键点进行连接，得到各所述姿态关键点图对应的连接图；
[0012]基于各所述关键点分类结果，对各所述连接图的肢干连接部分进行标记，得到各所述连接图对应的姿态图。
[0013]根据本专利技术提供的一种手语识别方法，所述基于各所述关键点分类结果，对各所述连接图的肢干连接部分进行标记，得到各所述连接图对应的姿态图，包括：
[0014]基于肢干
‑
颜色映射关系和各所述关键点分类结果，对各所述连接图的肢干连接部分进行颜色标记，得到各所述连接图对应的姿态图；
[0015]其中，所述肢干
‑
颜色映射关系用于表征所述各肢干与不同颜色的映射关系。
[0016]根据本专利技术提供的一种手语识别方法，所述手语识别结果包括句子级别识别结果
和/或词级别识别结果；
[0017]所述句子级别识别结果是对句子级别编码向量进行解码得到的，所述句子级别编码向量是基于各所述姿态图的上下文信息确定的；
[0018]所述词级别识别结果是对各所述姿态图的词级别编码向量进行解码得到的。
[0019]根据本专利技术提供的一种手语识别方法，所述句子级别识别结果是基于如下步骤识别得到：
[0020]对各所述姿态图进行词级别编码，得到各所述姿态图的词级别编码向量；
[0021]基于各所述词级别编码向量的上下文信息，对各所述词级别编码向量进行句子级别编码，得到句子级别编码向量；
[0022]对所述句子级别编码向量进行解码，得到所述句子级别识别结果。
[0023]根据本专利技术提供的一种手语识别方法，所述对所述句子级别编码向量进行解码，得到所述句子级别识别结果，包括：
[0024]若当前解码轮次不为第一个解码轮次，基于上一解码轮次的词识别结果，对所述句子级别编码向量进行解码，得到所述当前解码轮次的词识别结果；
[0025]将所述上一解码轮次更新为所述当前解码轮次，直至所述当前解码轮次为最后一个解码轮次；
[0026]基于各解码轮次的词识别结果，确定所述句子级别识别结果；
[0027]若当前解码轮次为第一个解码轮次，对所述句子级别编码向量进行解码，得到所述当前解码轮次的词识别结果；
[0028]将所述当前解码轮次作为上一解码轮次。
[0029]根据本专利技术提供的一种手语识别方法，所述待识别视频中的任一帧图像是基于如下步骤进行姿态关键点检测：
[0030]若所述任一帧图像不为第一帧图像，将所述任一帧图像与上一帧姿态图进行聚合处理，得到聚合图像数据；
[0031]对所述聚合图像数据进行姿态关键点检测，得到所述任一帧图像对应的姿态关键点图；
[0032]将所述上一帧姿态图更新为所述任一帧图像对应的姿态关键点图对应的姿态图，直至所述任一帧图像为最后一帧图像；
[0033]若所述任一帧图像为第一帧图像，对所述任一帧图像进行姿态关键点检测，得到所述任一帧图像对应的姿态关键点图。
[0034]本专利技术还提供一种手语识别装置，包括：
[0035]检测模块，用于对待识别视频中的各帧图像进行姿态关键点检测，得到所述各帧图像对应的姿态关键点图，任一所述姿态关键点图包括多个姿态关键点；
[0036]分类模块，用于对各所述姿态关键点图的所述多个姿态关键点进行分类标记，得到各所述姿态关键点图对应的姿态图；
[0037]识别模块，用于对各所述姿态图进行手语识别，得到所述待识别视频的手语识别结果。
[0038]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述手语识别方
法。
[0039]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述手语识别方法。
[0040]本专利技术提供的手语识别方法、装置、电子设备和存储介质，对待识别视频中的各帧图像进行姿态关键点检测，得到各帧图像对应的姿态关键点图，从而去除待识别视频中的冗余信息，提取出与手语动作相关的姿态信息，从而提高手语识别的准确性；对各姿态关键点图的多个姿态关键点进行分类标记，得到各姿态关键点图对应的姿态图，从而将各姿态关键点彼此区分，显式地将姿态关键点进行分组，并将分组的姿态关键点显式构建出来，以对各姿态图进行手语识别时，能够识别到姿态关键点分组后所表征的人体各部分与手语词的动作特性的关联关系，从而进一步提高手语识别的准确性。
附图说明
[0041]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1为本专利技术提供的手语识别方法的流程示意图之一；
[0043]图2为本专利技术提供的姿态关键点的布局示意图；
[0044]图3为本专利技术提供的手语识别方法的流程示意图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手语识别方法，其特征在于，包括：对待识别视频中的各帧图像进行姿态关键点检测，得到所述各帧图像对应的姿态关键点图，任一所述姿态关键点图包括多个姿态关键点；对各所述姿态关键点图的所述多个姿态关键点进行分类标记，得到各所述姿态关键点图对应的姿态图；对各所述姿态图进行手语识别，得到所述待识别视频的手语识别结果。2.根据权利要求1所述的手语识别方法，其特征在于，所述对各所述姿态关键点图的所述多个姿态关键点进行分类标记，得到各所述姿态关键点图对应的姿态图，包括：基于预设关键点分类规则，对各所述姿态关键点图的所述多个姿态关键点进行分类，得到各所述姿态关键点图对应的关键点分类结果，所述预设关键点分类规则用于表征人体的各肢干所包括的姿态关键点，所述各肢干为与手语动作相关的肢干；基于各所述关键点分类结果，对各所述姿态关键点图的所述多个姿态关键点进行连接，得到各所述姿态关键点图对应的连接图；基于各所述关键点分类结果，对各所述连接图的肢干连接部分进行标记，得到各所述连接图对应的姿态图。3.根据权利要求2所述的手语识别方法，其特征在于，所述基于各所述关键点分类结果，对各所述连接图的肢干连接部分进行标记，得到各所述连接图对应的姿态图，包括：基于肢干
‑
颜色映射关系和各所述关键点分类结果，对各所述连接图的肢干连接部分进行颜色标记，得到各所述连接图对应的姿态图；其中，所述肢干
‑
颜色映射关系用于表征所述各肢干与不同颜色的映射关系。4.根据权利要求1所述的手语识别方法，其特征在于，所述手语识别结果包括句子级别识别结果和/或词级别识别结果；所述句子级别识别结果是对句子级别编码向量进行解码得到的，所述句子级别编码向量是基于各所述姿态图的上下文信息确定的；所述词级别识别结果是对各所述姿态图的词级别编码向量进行解码得到的。5.根据权利要求4所述的手语识别方法，其特征在于，所述句子级别识别结果是基于如下步骤识别得到：对各所述姿态图进行词级别编码，得到各所述姿态图的词级别编码向量；基于各所述词级别编码向量的上下文信息，对各所述词级别编码向量进行句子...

【专利技术属性】
技术研发人员：陈茂东，王啸天，马骥腾，程大龙，
申请(专利权)人：科大讯飞华南人工智能研究院广州有限公司，
类型：发明
国别省市：